Evandro Fonseca Junior
29ba5aece0
Integrates a Scrapy-based TibiaWiki scraper (spider, pipelines, SQLite/Images settings, README). Updates .gitignore to exclude generated data directories (/iconScript/data, /data/images) to keep the repository clean.
48 lines
1.1 KiB
Python
48 lines
1.1 KiB
Python
"""
|
|
Script principal para executar o spider do TibiaWiki
|
|
"""
|
|
import sys
|
|
import os
|
|
|
|
# Adiciona o diretório raiz ao path do Python
|
|
sys.path.insert(0, os.path.dirname(os.path.abspath(__file__)))
|
|
|
|
from scrapy.crawler import CrawlerProcess
|
|
from scrapy.utils.project import get_project_settings
|
|
|
|
|
|
def main():
|
|
"""
|
|
Executa o spider tibiawiki_items
|
|
"""
|
|
# Configurações do projeto
|
|
settings = get_project_settings()
|
|
|
|
# Processo do crawler
|
|
process = CrawlerProcess(settings)
|
|
|
|
# Adiciona spider para ser executado
|
|
process.crawl('tibiawiki_items')
|
|
|
|
# Inicia crawling
|
|
process.start()
|
|
|
|
|
|
if __name__ == '__main__':
|
|
print("=" * 80)
|
|
print("TibiaWiki Scraper - Iniciando extração de dados")
|
|
print("=" * 80)
|
|
print("\nEste processo pode demorar vários minutos.")
|
|
print("Aguarde...\n")
|
|
|
|
main()
|
|
|
|
print("\n" + "=" * 80)
|
|
print("Extração concluída!")
|
|
print("=" * 80)
|
|
print("\nDados salvos em:")
|
|
print("- Banco SQLite: data/tibiawiki.db")
|
|
print("- Imagens: data/images/")
|
|
print("\n")
|
|
|