Evandro Fonseca Junior
29ba5aece0
Integrates a Scrapy-based TibiaWiki scraper (spider, pipelines, SQLite/Images settings, README). Updates .gitignore to exclude generated data directories (/iconScript/data, /data/images) to keep the repository clean.
1.7 KiB
1.7 KiB
Comandos para Rodar o Projeto
1️⃣ Instalar Dependências
cd D:\Documents\GitHub\pagodera\iconScript
pip install -r requirements.txt
⚠️ Nota: O webdriver do Chrome será baixado automaticamente na primeira execução.
2️⃣ Executar o Spider
⭐ Opção A: Usando Selenium (RECOMENDADO)
python main_selenium.py
O que acontece:
- Abre um navegador Chrome automaticamente
- Navega pelas páginas do TibiaWiki
- Extrai dados e salva no banco
- Você pode acompanhar visualmente o processo
Opção B: Usando Scrapy (pode ter erro 403)
python main.py
Opção C: Modo headless (Selenium sem interface)
# Edite main_selenium.py e mude:
headless=True # Esconde o navegador
3️⃣ Verificar Resultados
# Navegar até a pasta de dados
cd data
# Ver banco SQLite (usando sqlite3 CLI)
sqlite3 tibiawiki.db
# Dentro do sqlite3:
.tables # Lista todas as tabelas
SELECT * FROM capacetes LIMIT 10; # Ver alguns itens
4️⃣ Ver Logs Durante Execução
O spider mostra logs em tempo real. Para salvar em arquivo:
python main.py 2>&1 | tee scraper.log
5️⃣ Parar o Spider
Pressione Ctrl+C para parar o scraping de forma graciosa.
⏱️ Tempo Estimado
- Extração completa: 30 minutos a 1 hora
- Modo teste (50 itens): 2-5 minutos
📊 Progresso
Durante a execução, você verá logs como:
[scrapy.core.engine] INFO: Spider opened
[tibiawiki_items] INFO: Parseando página principal
[tibiawiki_items] INFO: Encontradas 25 categorias
[tibiawiki_items] INFO: Parseando categoria: Capacetes
[scrapy.downloadermiddlewares.retry] DEBUG: Retrying...
[scrapy.middleware] INFO: Item scraped from <200 https://...>