feat(spider): adicionar 10 cidades AGM-GO via base sigpub - #1452
feat(spider): adicionar 10 cidades AGM-GO via base sigpub#1452gianlucaferro wants to merge 2 commits into
Conversation
Município de Morrinhos (TERRITORY_ID 5213509) publica seus diários oficiais no portal AGM-GO sigpub (https://www.diariomunicipal.com.br/agm/), compartilhado pela Associação Goiana de Municípios. Confirmado via busca em https://www.diariomunicipal.com.br/agm/pesquisar (entidadeUsuaria value 12396 = 'Município de Morrinhos'). Spider usa BaseSigpubSpider existente.
Adiciona spiders pra 9 municípios goianos que publicam no portal sigpub compartilhado da Associação Goiana de Municípios: | Municipio | TERRITORY_ID | Confirmação AGM | |--------------------------|-------------:|-----------------| | Acreúna | 5200134 | OK | | Águas Lindas de Goiás | 5200258 | OK (level 1 antes) | | Alexânia | 5200308 | OK | | Aragarças | 5201702 | OK | | Caçu | 5204300 | OK | | Cristalina | 5206206 | OK | | Goianira | 5208806 | OK | | Hidrolândia | 5209705 | OK | | Inhumas | 5210000 | OK | Todas verificadas no select de entidadeUsuaria do https://www.diariomunicipal.com.br/agm/pesquisar Soma 10 cidades GO total (com Morrinhos no commit anterior), atingindo o limite superior sugerido pelo CONTRIBUTING.md de '5 a 10 municípios por pull request'.
|
Olá @trevineju @firefueled — caso tenham tempo nos próximos dias, ficaria muito grato pela revisão deste batch de 10 cidades AGM-GO. ✅ CI verde, dentro do limite de 5-10 cidades por PR sugerido no CONTRIBUTING, e todos seguindo o mesmo padrão Sem pressa — só queria sinalizar caso esteja na fila de triagem. Posso preparar batches similares para as ~100 cidades AGM-GO restantes assim que tiver retorno deste primeiro. Obrigado pelo trabalho do projeto! 🙏 |
caiotheodoro
left a comment
There was a problem hiding this comment.
Can't merge as-is: this branch predates the Aug 1 data_collection -> querido_diario_raspadores restructure (f9be6f3), so all 10 files land under the old data_collection/gazette/spiders/go/ path, which isn't part of the gazette package anymore. Scrapy would never discover these spiders, and the green CI here doesn't mean much since nothing new actually got imported or run. Also missing the required crawl-test evidence (ultima edicao / intervalo / completa .log and .csv per the PR template) - confirming a city name in the sigpub dropdown isn't the same as confirming the spider extracts real gazettes.
Resumo
Adiciona spiders para 10 municípios goianos que publicam seus diários oficiais no portal sigpub compartilhado da Associação Goiana de Municípios (AGM-GO):
https://www.diariomunicipal.com.br/agm/Todos usam a
BaseSigpubSpiderexistente, ~10 linhas cada.Municípios
Confirmação
Cada município foi confirmado no
<select>deentidadeUsuariaem https://www.diariomunicipal.com.br/agm/pesquisar (filtro 'Município de X').Padrão do spider
Todos seguem o mesmo modelo, exemplo:
Contexto
Esses PRs vêm de um projeto de transparência cívica estadual (https://goias.ai) que usa a API pública do Querido Diário pra mapear cobertura municipal goiana — e essa é a contrapartida natural: contribuir spiders pra reduzir o gap. Goiás tem 111 municípios no portal AGM-GO sem spider hoje no QD, dos quais 10 entram neste PR.
Tenho intenção de enviar PRs subsequentes com mais batches de 10 cidades AGM-GO. Posso também propor uma futura BaseCentiSpider pra cidades que publicam no portal Centi (não tradicional).
Verificação
Run tests✅ passou no commit anterior5 a 10 municípios por PRdo CONTRIBUTING.md respeitado (10 total)cc @okfn-brasil/data-collection-maintainers