feat(library): add vocation filter, normalize categories, improve grid layout
Added vocation state and included it in query string builder, updated onFilter to accept a vocation parameter, improved grid layout with grid flow classes, normalized category names for consistent item icons, and refined stats mapping to handle type safety.
This commit is contained in:
1 parent
44d7f8ce81
commit
2b790d8eb4
19 files changed
+2638
-173
No files matched your search
@@ -5,11 +5,14 @@ Extrator de dados completo do TibiaWiki.br que extrai informações de todas as
|
||||
## 🎯 Funcionalidades
|
||||
|
||||
- ✅ Extração completa de todas as categorias de itens
|
||||
- ✅ Extração de link específico ou múltiplos links via arquivo
|
||||
- ✅ Detecção automática de categoria baseada no título da página
|
||||
- ✅ Download e organização de imagens por categoria
|
||||
- ✅ Armazenamento em banco SQLite (uma tabela por categoria)
|
||||
- ✅ Pipeline de imagens customizado
|
||||
- ✅ Rate limiting e respeito ao robots.txt
|
||||
- ✅ Normalização automática de nomes (sem acentos, lowercase)
|
||||
- ✅ Validação de URLs e tratamento robusto de erros
|
||||
|
||||
## 📋 Pré-requisitos
|
||||
|
||||
@@ -29,10 +32,32 @@ pip install -r requirements.txt
|
||||
**⚠️ IMPORTANTE**: O site bloqueia requisições automatizadas. Use a versão com Selenium.
|
||||
|
||||
**Opção A: Usando Selenium (RECOMENDADO)**
|
||||
|
||||
### Modo Completo (Todas as Categorias)
|
||||
```bash
|
||||
python main_selenium.py
|
||||
```
|
||||
|
||||
### Modo Link Específico
|
||||
```bash
|
||||
python main_selenium.py --url "https://www.tibiawiki.com.br/wiki/Espadas"
|
||||
```
|
||||
|
||||
### Modo Múltiplos Links via Arquivo
|
||||
```bash
|
||||
# Criar arquivo links.txt com:
|
||||
# https://www.tibiawiki.com.br/wiki/Espadas
|
||||
# https://www.tibiawiki.com.br/wiki/Machados
|
||||
# # Comentários são ignorados
|
||||
|
||||
python main_selenium.py --file links.txt
|
||||
```
|
||||
|
||||
### Modo Headless (sem interface gráfica)
|
||||
```bash
|
||||
python main_selenium.py --url "https://www.tibiawiki.com.br/wiki/Espadas" --headless
|
||||
```
|
||||
|
||||
Este script abre um navegador Chrome automaticamente e extrai os dados visualmente.
|
||||
|
||||
**Opção B: Comando Scrapy (pode ter erro 403)**
|
||||
|
||||
Reference in new issue
Block a user