feat(library): add vocation filter, normalize categories, improve grid layout

Added vocation state and included it in query string builder, updated onFilter to accept a vocation parameter, improved grid layout with grid flow classes, normalized category names for consistent item icons, and refined stats mapping to handle type safety.
This commit is contained in:
Evandro Fonseca Junior committed 2025-10-30 18:44:52 -03:00
1 parent 44d7f8ce81
commit 2b790d8eb4
19 files changed
+2638 -173

No files matched your search

+25
View File
@@ -5,11 +5,14 @@ Extrator de dados completo do TibiaWiki.br que extrai informações de todas as
## 🎯 Funcionalidades
- ✅ Extração completa de todas as categorias de itens
- ✅ Extração de link específico ou múltiplos links via arquivo
- ✅ Detecção automática de categoria baseada no título da página
- ✅ Download e organização de imagens por categoria
- ✅ Armazenamento em banco SQLite (uma tabela por categoria)
- ✅ Pipeline de imagens customizado
- ✅ Rate limiting e respeito ao robots.txt
- ✅ Normalização automática de nomes (sem acentos, lowercase)
- ✅ Validação de URLs e tratamento robusto de erros
## 📋 Pré-requisitos
@@ -29,10 +32,32 @@ pip install -r requirements.txt
**⚠️ IMPORTANTE**: O site bloqueia requisições automatizadas. Use a versão com Selenium.
**Opção A: Usando Selenium (RECOMENDADO)**
### Modo Completo (Todas as Categorias)
```bash
python main_selenium.py
```
### Modo Link Específico
```bash
python main_selenium.py --url "https://www.tibiawiki.com.br/wiki/Espadas"
```
### Modo Múltiplos Links via Arquivo
```bash
# Criar arquivo links.txt com:
# https://www.tibiawiki.com.br/wiki/Espadas
# https://www.tibiawiki.com.br/wiki/Machados
# # Comentários são ignorados
python main_selenium.py --file links.txt
```
### Modo Headless (sem interface gráfica)
```bash
python main_selenium.py --url "https://www.tibiawiki.com.br/wiki/Espadas" --headless
```
Este script abre um navegador Chrome automaticamente e extrai os dados visualmente.
**Opção B: Comando Scrapy (pode ter erro 403)**