Skip to content

feat(spider): adicionar 10 cidades AGM-GO via base sigpub - #1452

Open
gianlucaferro wants to merge 2 commits into
okfn-brasil:mainfrom
gianlucaferro:feat/go-morrinhos-sigpub
Open

feat(spider): adicionar 10 cidades AGM-GO via base sigpub#1452
gianlucaferro wants to merge 2 commits into
okfn-brasil:mainfrom
gianlucaferro:feat/go-morrinhos-sigpub

Conversation

@gianlucaferro

@gianlucaferro gianlucaferro commented Jun 4, 2026

Copy link
Copy Markdown

Resumo

Adiciona spiders para 10 municípios goianos que publicam seus diários oficiais no portal sigpub compartilhado da Associação Goiana de Municípios (AGM-GO):

https://www.diariomunicipal.com.br/agm/

Todos usam a BaseSigpubSpider existente, ~10 linhas cada.

Municípios

Município TERRITORY_ID
Acreúna 5200134
Águas Lindas de Goiás 5200258
Alexânia 5200308
Aragarças 5201702
Caçu 5204300
Cristalina 5206206
Goianira 5208806
Hidrolândia 5209705
Inhumas 5210000
Morrinhos 5213509

Confirmação

Cada município foi confirmado no <select> de entidadeUsuaria em https://www.diariomunicipal.com.br/agm/pesquisar (filtro 'Município de X').

Padrão do spider

Todos seguem o mesmo modelo, exemplo:

import datetime

from gazette.spiders.base.sigpub import BaseSigpubSpider


class GoMorrinhosSpider(BaseSigpubSpider):
    name = "go_morrinhos"
    TERRITORY_ID = "5213509"
    CALENDAR_URL = "https://www.diariomunicipal.com.br/agm/"
    start_date = datetime.date(2009, 1, 1)

Contexto

Esses PRs vêm de um projeto de transparência cívica estadual (https://goias.ai) que usa a API pública do Querido Diário pra mapear cobertura municipal goiana — e essa é a contrapartida natural: contribuir spiders pra reduzir o gap. Goiás tem 111 municípios no portal AGM-GO sem spider hoje no QD, dos quais 10 entram neste PR.

Tenho intenção de enviar PRs subsequentes com mais batches de 10 cidades AGM-GO. Posso também propor uma futura BaseCentiSpider pra cidades que publicam no portal Centi (não tradicional).

Verificação

  • CI Run tests ✅ passou no commit anterior
  • Limite 5 a 10 municípios por PR do CONTRIBUTING.md respeitado (10 total)

cc @okfn-brasil/data-collection-maintainers

Município de Morrinhos (TERRITORY_ID 5213509) publica seus diários
oficiais no portal AGM-GO sigpub (https://www.diariomunicipal.com.br/agm/),
compartilhado pela Associação Goiana de Municípios.

Confirmado via busca em https://www.diariomunicipal.com.br/agm/pesquisar
(entidadeUsuaria value 12396 = 'Município de Morrinhos').

Spider usa BaseSigpubSpider existente.
Adiciona spiders pra 9 municípios goianos que publicam no portal
sigpub compartilhado da Associação Goiana de Municípios:

| Municipio                | TERRITORY_ID | Confirmação AGM |
|--------------------------|-------------:|-----------------|
| Acreúna                  |      5200134 | OK              |
| Águas Lindas de Goiás    |      5200258 | OK (level 1 antes) |
| Alexânia                 |      5200308 | OK              |
| Aragarças                |      5201702 | OK              |
| Caçu                     |      5204300 | OK              |
| Cristalina               |      5206206 | OK              |
| Goianira                 |      5208806 | OK              |
| Hidrolândia              |      5209705 | OK              |
| Inhumas                  |      5210000 | OK              |

Todas verificadas no select de entidadeUsuaria do
https://www.diariomunicipal.com.br/agm/pesquisar

Soma 10 cidades GO total (com Morrinhos no commit anterior), atingindo
o limite superior sugerido pelo CONTRIBUTING.md de '5 a 10 municípios
por pull request'.
@gianlucaferro gianlucaferro changed the title feat(spider): adicionar Morrinhos-GO via base sigpub feat(spider): adicionar 10 cidades AGM-GO via base sigpub Jun 4, 2026
@gianlucaferro

Copy link
Copy Markdown
Author

Olá @trevineju @firefueled — caso tenham tempo nos próximos dias, ficaria muito grato pela revisão deste batch de 10 cidades AGM-GO. ✅ CI verde, dentro do limite de 5-10 cidades por PR sugerido no CONTRIBUTING, e todos seguindo o mesmo padrão BaseSigpubSpider já existente.

Sem pressa — só queria sinalizar caso esteja na fila de triagem. Posso preparar batches similares para as ~100 cidades AGM-GO restantes assim que tiver retorno deste primeiro.

Obrigado pelo trabalho do projeto! 🙏

@caiotheodoro caiotheodoro left a comment

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Can't merge as-is: this branch predates the Aug 1 data_collection -> querido_diario_raspadores restructure (f9be6f3), so all 10 files land under the old data_collection/gazette/spiders/go/ path, which isn't part of the gazette package anymore. Scrapy would never discover these spiders, and the green CI here doesn't mean much since nothing new actually got imported or run. Also missing the required crawl-test evidence (ultima edicao / intervalo / completa .log and .csv per the PR template) - confirming a city name in the sigpub dropdown isn't the same as confirming the spider extracts real gazettes.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

Status: novo

Development

Successfully merging this pull request may close these issues.

2 participants