Evandro Fonseca Junior
29ba5aece0
Integrates a Scrapy-based TibiaWiki scraper (spider, pipelines, SQLite/Images settings, README). Updates .gitignore to exclude generated data directories (/iconScript/data, /data/images) to keep the repository clean.
82 lines
1.7 KiB
Markdown
82 lines
1.7 KiB
Markdown
# Comandos para Rodar o Projeto
|
|
|
|
## 1️⃣ Instalar Dependências
|
|
|
|
```bash
|
|
cd D:\Documents\GitHub\pagodera\iconScript
|
|
pip install -r requirements.txt
|
|
```
|
|
|
|
⚠️ **Nota**: O webdriver do Chrome será baixado automaticamente na primeira execução.
|
|
|
|
## 2️⃣ Executar o Spider
|
|
|
|
### ⭐ Opção A: Usando Selenium (RECOMENDADO)
|
|
|
|
```bash
|
|
python main_selenium.py
|
|
```
|
|
|
|
**O que acontece:**
|
|
- Abre um navegador Chrome automaticamente
|
|
- Navega pelas páginas do TibiaWiki
|
|
- Extrai dados e salva no banco
|
|
- Você pode acompanhar visualmente o processo
|
|
|
|
### Opção B: Usando Scrapy (pode ter erro 403)
|
|
|
|
```bash
|
|
python main.py
|
|
```
|
|
|
|
### Opção C: Modo headless (Selenium sem interface)
|
|
```python
|
|
# Edite main_selenium.py e mude:
|
|
headless=True # Esconde o navegador
|
|
```
|
|
|
|
## 3️⃣ Verificar Resultados
|
|
|
|
```bash
|
|
# Navegar até a pasta de dados
|
|
cd data
|
|
|
|
# Ver banco SQLite (usando sqlite3 CLI)
|
|
sqlite3 tibiawiki.db
|
|
|
|
# Dentro do sqlite3:
|
|
.tables # Lista todas as tabelas
|
|
SELECT * FROM capacetes LIMIT 10; # Ver alguns itens
|
|
```
|
|
|
|
## 4️⃣ Ver Logs Durante Execução
|
|
|
|
O spider mostra logs em tempo real. Para salvar em arquivo:
|
|
|
|
```bash
|
|
python main.py 2>&1 | tee scraper.log
|
|
```
|
|
|
|
## 5️⃣ Parar o Spider
|
|
|
|
Pressione `Ctrl+C` para parar o scraping de forma graciosa.
|
|
|
|
## ⏱️ Tempo Estimado
|
|
|
|
- Extração completa: **30 minutos a 1 hora**
|
|
- Modo teste (50 itens): **2-5 minutos**
|
|
|
|
## 📊 Progresso
|
|
|
|
Durante a execução, você verá logs como:
|
|
|
|
```
|
|
[scrapy.core.engine] INFO: Spider opened
|
|
[tibiawiki_items] INFO: Parseando página principal
|
|
[tibiawiki_items] INFO: Encontradas 25 categorias
|
|
[tibiawiki_items] INFO: Parseando categoria: Capacetes
|
|
[scrapy.downloadermiddlewares.retry] DEBUG: Retrying...
|
|
[scrapy.middleware] INFO: Item scraped from <200 https://...>
|
|
```
|
|
|