feat: adiciona raspador para Rebouças/PR - #1475
Open
caiotheodoro wants to merge 1 commit into
Open
Conversation
Município listado na issue okfn-brasil#1114 como usuário do padrão PTIO (portaldatransparencia.com.br), cujo raspador base foi integrado pela PR okfn-brasil#1263.
Author
|
Arquivos das coletas de última edição e de intervalo (01 a 31/01/2020): |
Author
|
Coleta completa (sem filtro de data) terminou: 4113 diários, de 01/12/2010 a 08/09/2026, Arquivos: |
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
AO ABRIR uma Pull Request de um novo raspador (spider), marque com um
Xcada um dos items da checklist abaixo. Caso algum item não seja marcado, JUSTIFIQUE o motivo.Layout do site publicador de diários oficiais
Código da(s) spider(s)
custom_settingsem meu raspador.Testes
.logdeste teste está anexado na PR..loge.csvdeste teste estão anexados na PR..loge.csvdeste teste estão anexados na PR.Verificações
.csvgerados pela minha coleta conforme a documentação não encontrando problemas..loggerados pela minha coleta conforme a documentação não encontrando problemas.Descrição
Resolve um item da lista da issue #1114 (municípios que usam PTIO).
Município: Rebouças/PR (IBGE 4121505) — fonte: https://pr.portaldatransparencia.com.br/prefeitura/reboucas/
Usa a
BasePtioSpiderjá integrada pela PR #1263, sem nenhuma alteração no código base — o layout do site é idêntico ao dos 3 municípios do RJ já cobertos (rj_areal,rj_comendador_levy_gasparian,rj_sapucaia).start_datefoi definido como2010-12-01, confirmado navegando até a última página de resultados do site (Total de registros: 4114, última página com edições de 01 a 06/12/2010).Não estou enviando as demais cidades da lista de #1114 nesta PR (a própria issue diz que não é necessário fazer todas de uma vez); pretendo continuar com mais alguma depois desta.
Coletas de teste
-a start=2026-09-08→ 1 item, PDF baixado com sucesso (edição 3.709, conferida abrindo o PDF: bate com a data e com "MUNICÍPIO DE REBOUÇAS" no cabeçalho).-a start=2020-01-01 -a end=2020-01-31→ 20 itens, todos dentro do intervalo pedido, sem erros. Uma observação do próprio site, não do raspador: a edição 2126 aparece duas vezes no dia 29/01/2020, com dois PDFs diferentes (checksums distintos) — o site publica dois documentos com o mesmo número de edição nesse dia..log/.csv) assim que terminar.