0 Fork 0

Files

T

Evandro Fonseca Junior 29ba5aece0 feat: add TibiaWiki scraper project and update .gitignore

Integrates a Scrapy-based TibiaWiki scraper (spider, pipelines, SQLite/Images settings, README). Updates .gitignore to exclude generated data directories (/iconScript/data, /data/images) to keep the repository clean.

2025-10-30 00:55:25 -03:00

3.0 KiB

Raw Permalink Blame History

🚀 Execução com Selenium

Por que Selenium?

O TibiaWiki está bloqueando requisições automatizadas com erro 403 Forbidden. O Selenium resolve isso ao simular um navegador real.

⚙️ Requisitos

✅ Chrome instalado no sistema
✅ Python 3.7+
✅ Dependências instaladas (pip install -r requirements.txt)

🎯 Como Executar

Passo 1: Navegue até a pasta do projeto

cd D:\Documents\GitHub\pagodera\iconScript

Passo 2: Execute o script

python main_selenium.py

O que vai acontecer:

Chrome abre automaticamente (não precisa ficar apertando nada)
Navega para o TibiaWiki e extrai categorias
Processa cada categoria automaticamente
Salva dados no banco SQLite em tempo real
Baixa imagens organizadas por pasta

⏱️ Tempo estimado: 30min - 1h

👀 Acompanhamento

Você pode assistir o processo acontecendo:

Ver o navegador navegando pelas páginas
Ver mensagens no terminal sobre progresso
Acompanhar itens sendo extraídos

⏸️ Parar o Processo

Pressione Ctrl+C no terminal para parar de forma segura.

📊 Ver Resultados

Após o término:

# Abrir o banco SQLite
cd data
sqlite3 tibiawiki.db

# Dentro do sqlite3:
.tables                          # Ver todas as tabelas
SELECT * FROM capacetes LIMIT 5; # Ver alguns capacetes

🔧 Modo Headless (sem interface)

Se quiser que o Chrome rode em background (sem mostrar janela):

Edite main_selenium.py linha 24:

headless=True  # Mude para True

🐛 Problemas Comuns

Erro: "ChromeDriver not found"

O webdriver será baixado automaticamente
Certifique-se de ter internet na primeira execução

Chrome não fecha automaticamente

Feche manualmente: Ctrl+C várias vezes
Se travar, feche o Chrome manualmente

Erro de permissão no Windows

Execute o terminal como Administrador

Processo muito lento

É normal! Cada página espera 3-4 segundos para não sobrecarregar
O processo demora mas é mais seguro

📝 Logs

Mensagens importantes que você verá:

INFO: Iniciando scraping com Selenium...
INFO: Driver do Chrome configurado com sucesso
INFO: Conectado ao banco SQLite: data/tibiawiki.db
INFO: Carregando página: https://www.tibiawiki.com.br/wiki/Itens
INFO: Categoria encontrada: Capacetes -> https://...
INFO: Processando categoria: Capacetes
INFO: Total de itens extraídos: 10
INFO: Total de itens extraídos: 20
...
INFO: Scraping concluído!
INFO: Total de itens extraídos: 1500

✅ Verificação Final

Após terminar, verifique:

# Listar tabelas criadas
sqlite3 data/tibiawiki.db ".tables"

# Ver exemplo de dados
sqlite3 data/tibiawiki.db "SELECT nome, nivel, peso FROM capacetes LIMIT 5;"

# Ver imagens baixadas
ls data/images/

# Contar quantas imagens por categoria
ls data/images/capacetes/ | wc -l

🎉 Pronto!

Agora você tem:

✅ Banco SQLite com todos os itens
✅ Imagens organizadas por categoria
✅ Dados prontos para usar

3.0 KiB Raw Permalink Blame History