feat: add TibiaWiki scraper project and update .gitignore
Integrates a Scrapy-based TibiaWiki scraper (spider, pipelines, SQLite/Images settings, README). Updates .gitignore to exclude generated data directories (/iconScript/data, /data/images) to keep the repository clean.
This commit is contained in:
1 parent
bf12f2c6f1
commit
29ba5aece0
27 files changed
+1702
-4
No files matched your search
@@ -0,0 +1,81 @@
|
||||
# Comandos para Rodar o Projeto
|
||||
|
||||
## 1️⃣ Instalar Dependências
|
||||
|
||||
```bash
|
||||
cd D:\Documents\GitHub\pagodera\iconScript
|
||||
pip install -r requirements.txt
|
||||
```
|
||||
|
||||
⚠️ **Nota**: O webdriver do Chrome será baixado automaticamente na primeira execução.
|
||||
|
||||
## 2️⃣ Executar o Spider
|
||||
|
||||
### ⭐ Opção A: Usando Selenium (RECOMENDADO)
|
||||
|
||||
```bash
|
||||
python main_selenium.py
|
||||
```
|
||||
|
||||
**O que acontece:**
|
||||
- Abre um navegador Chrome automaticamente
|
||||
- Navega pelas páginas do TibiaWiki
|
||||
- Extrai dados e salva no banco
|
||||
- Você pode acompanhar visualmente o processo
|
||||
|
||||
### Opção B: Usando Scrapy (pode ter erro 403)
|
||||
|
||||
```bash
|
||||
python main.py
|
||||
```
|
||||
|
||||
### Opção C: Modo headless (Selenium sem interface)
|
||||
```python
|
||||
# Edite main_selenium.py e mude:
|
||||
headless=True # Esconde o navegador
|
||||
```
|
||||
|
||||
## 3️⃣ Verificar Resultados
|
||||
|
||||
```bash
|
||||
# Navegar até a pasta de dados
|
||||
cd data
|
||||
|
||||
# Ver banco SQLite (usando sqlite3 CLI)
|
||||
sqlite3 tibiawiki.db
|
||||
|
||||
# Dentro do sqlite3:
|
||||
.tables # Lista todas as tabelas
|
||||
SELECT * FROM capacetes LIMIT 10; # Ver alguns itens
|
||||
```
|
||||
|
||||
## 4️⃣ Ver Logs Durante Execução
|
||||
|
||||
O spider mostra logs em tempo real. Para salvar em arquivo:
|
||||
|
||||
```bash
|
||||
python main.py 2>&1 | tee scraper.log
|
||||
```
|
||||
|
||||
## 5️⃣ Parar o Spider
|
||||
|
||||
Pressione `Ctrl+C` para parar o scraping de forma graciosa.
|
||||
|
||||
## ⏱️ Tempo Estimado
|
||||
|
||||
- Extração completa: **30 minutos a 1 hora**
|
||||
- Modo teste (50 itens): **2-5 minutos**
|
||||
|
||||
## 📊 Progresso
|
||||
|
||||
Durante a execução, você verá logs como:
|
||||
|
||||
```
|
||||
[scrapy.core.engine] INFO: Spider opened
|
||||
[tibiawiki_items] INFO: Parseando página principal
|
||||
[tibiawiki_items] INFO: Encontradas 25 categorias
|
||||
[tibiawiki_items] INFO: Parseando categoria: Capacetes
|
||||
[scrapy.downloadermiddlewares.retry] DEBUG: Retrying...
|
||||
[scrapy.middleware] INFO: Item scraped from <200 https://...>
|
||||
```
|
||||
|
||||
Reference in new issue
Block a user