Example of web scraping public data using BeatifullSoup and Python. The data used in this example was obtained from a public repository available on https://brasil.io/ This example shows how to obtain the Payroll of Brazilian Courts's magistrates from each state and insert to mongodb.
Exemplo de raspagem de dados públicos utilizando BeatifullSoup em Python. Os dados utilizados neste exemplos foram obtidos do repositório de dados públicos disponibilizados em https://brasil.io/ O exemplo obtém os dados de Pagamentos efetuados aos magistrados dos tribunais de cada estado e insere na base de dados do mongodb.
Python versão 3.7.0
Instalar as dependências: pip install -r requirements.txt
A configuração do database é feita em [DATABASE] do arquivo config.ini
Executar p script
python main.py