Skip to content

feat: adiciona raspador para Rebouças/PR - #1475

Open
caiotheodoro wants to merge 1 commit into
okfn-brasil:mainfrom
caiotheodoro:spider/pr-reboucas
Open

feat: adiciona raspador para Rebouças/PR#1475
caiotheodoro wants to merge 1 commit into
okfn-brasil:mainfrom
caiotheodoro:spider/pr-reboucas

Conversation

@caiotheodoro

Copy link
Copy Markdown

AO ABRIR uma Pull Request de um novo raspador (spider), marque com um X cada um dos items da checklist abaixo. Caso algum item não seja marcado, JUSTIFIQUE o motivo.

Layout do site publicador de diários oficiais

  • O layout não se parece com nenhum caso da lista de layouts padrão
  • É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
  • É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.

Código da(s) spider(s)

  • O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
  • O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
  • O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
  • Explicitar o atributo de classe end_date não se fez necessário.
  • Não utilizo custom_settings em meu raspador.

Testes

  • Uma coleta-teste da última edição foi feita. O arquivo de .log deste teste está anexado na PR.
  • Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de .loge .csv deste teste estão anexados na PR.
  • Uma coleta-teste completa foi feita. Os arquivos de .log e .csv deste teste estão anexados na PR.

Verificações

  • Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
  • Eu verifiquei os arquivos .csv gerados pela minha coleta conforme a documentação não encontrando problemas.
  • Eu verifiquei os arquivos de .log gerados pela minha coleta conforme a documentação não encontrando problemas.

Descrição

Resolve um item da lista da issue #1114 (municípios que usam PTIO).

Município: Rebouças/PR (IBGE 4121505) — fonte: https://pr.portaldatransparencia.com.br/prefeitura/reboucas/

Usa a BasePtioSpider já integrada pela PR #1263, sem nenhuma alteração no código base — o layout do site é idêntico ao dos 3 municípios do RJ já cobertos (rj_areal, rj_comendador_levy_gasparian, rj_sapucaia).

start_date foi definido como 2010-12-01, confirmado navegando até a última página de resultados do site (Total de registros: 4114, última página com edições de 01 a 06/12/2010).

Não estou enviando as demais cidades da lista de #1114 nesta PR (a própria issue diz que não é necessário fazer todas de uma vez); pretendo continuar com mais alguma depois desta.

Coletas de teste

  • Última edição: -a start=2026-09-08 → 1 item, PDF baixado com sucesso (edição 3.709, conferida abrindo o PDF: bate com a data e com "MUNICÍPIO DE REBOUÇAS" no cabeçalho).
  • Intervalo: -a start=2020-01-01 -a end=2020-01-31 → 20 itens, todos dentro do intervalo pedido, sem erros. Uma observação do próprio site, não do raspador: a edição 2126 aparece duas vezes no dia 29/01/2020, com dois PDFs diferentes (checksums distintos) — o site publica dois documentos com o mesmo número de edição nesse dia.
  • Completa (sem filtro de data): em andamento no momento da abertura desta PR — já coletou mais de 1900 diários (de 2026 até 2018) sem nenhum erro registrado no log. Vou atualizar este PR com o resultado final (contagem total e arquivos .log/.csv) assim que terminar.

Município listado na issue okfn-brasil#1114 como usuário do padrão PTIO
(portaldatransparencia.com.br), cujo raspador base foi integrado
pela PR okfn-brasil#1263.
@caiotheodoro

Copy link
Copy Markdown
Author

Arquivos das coletas de última edição e de intervalo (01 a 31/01/2020):
ultima_edicao.csv
ultima_edicao_log.txt
intervalo.csv
intervalo_log.txt

@caiotheodoro

Copy link
Copy Markdown
Author

Coleta completa (sem filtro de data) terminou: 4113 diários, de 01/12/2010 a 08/09/2026, finish_reason: finished, 0 erros reais no log (1 retry de 500 recuperado com sucesso). Os únicos WARNING são avisos de UNIQUE constraint no banco local ao reinserir diários que já tinham sido coletados nos testes anteriores (última edição/intervalo), e alguns casos (ex.: 16 e 19/10/2020) em que o próprio site publica dois PDFs com checksum diferente sob a mesma data — mesmo padrão de duplicidade do site observado no teste de intervalo (edição 2126 em 29/01/2020).

Arquivos:
completa.csv
completa_log.txt

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

Status: novo

Development

Successfully merging this pull request may close these issues.

1 participant