feat: add TibiaWiki scraper project and update .gitignore
Integrates a Scrapy-based TibiaWiki scraper (spider, pipelines, SQLite/Images settings, README). Updates .gitignore to exclude generated data directories (/iconScript/data, /data/images) to keep the repository clean.
This commit is contained in:
1 parent
bf12f2c6f1
commit
29ba5aece0
27 files changed
+1702
-4
No files matched your search
@@ -0,0 +1,47 @@
|
||||
"""
|
||||
Script principal para executar o spider do TibiaWiki
|
||||
"""
|
||||
import sys
|
||||
import os
|
||||
|
||||
# Adiciona o diretório raiz ao path do Python
|
||||
sys.path.insert(0, os.path.dirname(os.path.abspath(__file__)))
|
||||
|
||||
from scrapy.crawler import CrawlerProcess
|
||||
from scrapy.utils.project import get_project_settings
|
||||
|
||||
|
||||
def main():
|
||||
"""
|
||||
Executa o spider tibiawiki_items
|
||||
"""
|
||||
# Configurações do projeto
|
||||
settings = get_project_settings()
|
||||
|
||||
# Processo do crawler
|
||||
process = CrawlerProcess(settings)
|
||||
|
||||
# Adiciona spider para ser executado
|
||||
process.crawl('tibiawiki_items')
|
||||
|
||||
# Inicia crawling
|
||||
process.start()
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
print("=" * 80)
|
||||
print("TibiaWiki Scraper - Iniciando extração de dados")
|
||||
print("=" * 80)
|
||||
print("\nEste processo pode demorar vários minutos.")
|
||||
print("Aguarde...\n")
|
||||
|
||||
main()
|
||||
|
||||
print("\n" + "=" * 80)
|
||||
print("Extração concluída!")
|
||||
print("=" * 80)
|
||||
print("\nDados salvos em:")
|
||||
print("- Banco SQLite: data/tibiawiki.db")
|
||||
print("- Imagens: data/images/")
|
||||
print("\n")
|
||||
|
||||
Reference in new issue
Block a user