Fix Porto Alegre gazette spider

[lucaspmgomess]

Esta PR corrige o spider existente de Porto Alegre/RS e amplia a cobertura histórica do DOPA até 15/03/1995.

Layout do site publicador de diários oficiais

• O layout não se parece com nenhum caso da lista de layouts padrão
• É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
• É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.

O DOPA utiliza duas fontes para disponibilização do acervo:

• o acervo histórico no AtoM da PROCEMPA, para as edições de 15/03/1995 até 29/04/2011;
• a API atual do DOPA, a partir de 02/05/2011.

Código da(s) spider(s)

• O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
• O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
• O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
• Explicitar o atributo de classe end_date não se fez necessário.
• Não utilizo custom_settings em meu raspador.

O start_date foi definido como 15/03/1995, data da primeira edição disponível no acervo histórico do DOPA no AtoM da PROCEMPA.

O custom_settings = {"CONCURRENT_REQUESTS": 8} já existia no spider e foi mantido.

A coleta é dividida automaticamente entre as duas fontes:

• 15/03/1995 a 29/04/2011: AtoM da PROCEMPA;
• a partir de 02/05/2011: API atual do DOPA.

No acervo histórico, os diários são classificados como executive_legislative. Na API atual, Executivo e Legislativo são disponibilizados separadamente e são mapeados para executive e legislative.

Testes

• Uma coleta-teste da última edição foi feita. O arquivo de .log deste teste está anexado na PR.
• Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de .log e .csv deste teste estão anexados na PR.
• Uma coleta-teste completa foi feita. Os arquivos de .log e .csv deste teste estão anexados na PR.

Última edição testada: 20/08/2026, com 4 itens e 4 arquivos baixados, todos com resposta HTTP 200.

No intervalo de 01/07/2026 a 31/07/2026 foram coletadas 72 publicações: 36 do Executivo e 36 do Legislativo, sendo 26 extras e 46 ordinárias. A execução terminou normalmente e os 72 arquivos foram baixados.

Também foram realizadas coletas específicas para validar o acervo histórico:

• 1995: 200 edições;
• 2003: 250 edições;
• 2010: 252 edições;
• transição entre as fontes, de 25/04/2011 a 10/05/2011: 19 itens, incluindo as últimas edições do AtoM e as primeiras edições obtidas pela API.

A coleta completa de 15/03/1995 até 24/08/2026 resultou em 15.215 publicações e 15.215 arquivos.

A execução terminou com finish_reason = finished, item_scraped_count = 15215 e file_count = 15215, sem itens descartados, retries esgotados ou erros registrados.

Os testes automatizados do spider também foram ampliados para cobrir o acervo histórico e a transição entre as duas fontes.

Resultado local:

22 passed

O CI da PR também foi executado com sucesso.

Verificações

• Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
• Eu verifiquei os arquivos .csv gerados pela minha coleta conforme a documentação não encontrando problemas.
• Eu verifiquei os arquivos de .log gerados pela minha coleta conforme a documentação não encontrando problemas.

Foram conferidas manualmente edições de períodos distintos:

• edição 4003, de 02/05/2011;
• edição 5661, de 02/01/2018;
• edição 7676, de 05/01/2026.

Também foi verificado que o PDF da edição 5661 coletado pela API atual é idêntico ao arquivo já armazenado historicamente pelo Querido Diário na data 2018-01-02.

Descrição

Relacionado à #1460.

O spider de Porto Alegre dependia da estrutura HTML do antigo site do DOPA. Após a migração do portal, essa URL passou a redirecionar para a nova aplicação e o spider deixou de encontrar as edições.

Inicialmente, a correção migrou a coleta atual para a API utilizada pelo DOPA:

GET /api/diarios/busca-por-mes-agrupada?mes={mes}&ano={ano}

A resposta da API é processada separadamente para Executivo e Legislativo e preenche date, edition_number, is_extra_edition, power e file_urls.

A PR também passou a recuperar o histórico anterior à API utilizando o acervo do DOPA disponível no AtoM da PROCEMPA.

Com isso, o spider passa a cobrir continuamente o período desde 15/03/1995:

• AtoM: 15/03/1995 a 29/04/2011;
• API DOPA: 02/05/2011 em diante.

Também foram adicionados testes cobrindo geração das requisições, transição entre as fontes, paginação do AtoM, diferentes formatos de títulos históricos, edições extras, URLs de download, filtragem de datas e mapeamento de Executivo/Legislativo.

porto_alegre_interval.csv
porto_alegre_interval.log
porto_alegre_latest.log
full-1995-2026.csv
full-1995-2026.log

[lucaspmgomess]

Concluí as validações da versão atual da PR.

A cobertura histórica foi ampliada até 15/03/1995, utilizando o acervo AtoM da PROCEMPA até 29/04/2011 e a API atual do DOPA a partir de 02/05/2011.

Foram validados, entre outros pontos:

• 1995: 200 edições;
• 2003: 250 edições;
• 2010: 252 edições;
• transição AtoM/API em abril/maio de 2011;
• coleta completa de 1995 a 2026: 15.215 publicações e 15.215 arquivos.

Os 22 testes locais passaram e o CI da PR também passou.

Atualizei a descrição e os anexos da coleta completa.

A PR está pronta para revisão.

[lucaspmgomess]

Oi @diraol ! Quando tiver um tempo, você poderia dar uma olhada nesta PR?

Ela está pronta para revisão e já validei a coleta completa, o histórico desde 1995, a transição entre o AtoM e a API atual do DOPA, além dos testes automatizados e CI.

Como ela corrige o spider de Porto Alegre que está atualmente com a indexação parada, queria ver se conseguimos dar andamento.

Obrigado!

[diraol]

Oi @lucaspmgomess , antes de mais nada, valeu pela contribuição!!!

Nesse fim de semana realizaremos uma migração do banco do QD. Como essa extração de Porto Alegre vai gerar uma demanda razoável, vou deixar para fazer o merge no pós migração ok?

[lucaspmgomess]

Tranquilo, @diraol ! Sem problema.

Faz sentido deixar a extração para depois da migração para evitar acrescentar carga nesse momento.

Obrigado pelo retorno e boa migração neste fim de semana! 🙌

[caiotheodoro]

One risk inline on the API parsing path. Everything else is thorough - the archive/API source split and the transition-period tests give me real confidence in this.

[caiotheodoro]

risk: publication["numeroEdicao"] and isExtra (line 205) use direct key access while linkDownload right above is fetched with .get() and skipped with a warning when missing. If the API ever omits one of these two keys for a single publication, the whole month request raises KeyError and drops every other gazette in that batch. Worth guarding the same way as linkDownload.