Data Pipeline dados financeiros

Pipeline para ingestão, transformação e orquestração de dados utilizando Airflow e DBT, com um modelo escalável e estruturado.

Ajustes e melhorias

O projeto ainda está em desenvolvimento e as próximas atualizações serão voltadas para as seguintes tarefas:

• Estruturação do ambiente
• Captura e ingestão de dados.
• Implementação do modelo DBT para camadas Bronze, Silver e Gold.
• Validação de qualidade de dados.
• PowerBi

💻 Pré-requisitos

Antes de começar, verifique se você atendeu aos seguintes requisitos:

• Docker instalado na máquina (versão mais recente).
• Docker Compose configurado.
• Python 3.9 ou superior.

🚀 Instalando

Para instalar o [(https://github.com/Rodrigo-Henrique21/data-pipeline-airflow-dbt.git)], siga estas etapas:

Linux e macOS:

docker-compose up --build

Windows:

docker-compose up --build

☕ Usando

Para usar , siga estas etapas:

Inicie os contêineres com o comando acima.
Acesse o Airflow pela URL http://localhost:8080 (login padrão: airflow/airflow).
Acompanhe as DAGs configuradas no diretório dags/.

Adicione comandos de execução e exemplos que você acha que os usuários acharão úteis. Forneça uma referência de opções para pontos de bônus!

📫 Contribuindo para

Para contribuir com , siga estas etapas:

1. Bifurque este repositório.
2. Crie um branch: git checkout -b <nome_branch>.
3. Faça suas alterações e confirme-as: git commit -m '<mensagem_commit>'
4. Envie para o branch original: git push origin <nome_do_projeto> / <local>
5. Crie a solicitação de pull.

Como alternativa, consulte a documentação do GitHub em como criar uma solicitação pull.

🤝 Colaboradores

Agradecemos às seguintes pessoas que contribuíram para este projeto:

Rodrigo Henrique

😄 Seja um dos contribuidores

Quer fazer parte desse projeto? Clique AQUI e leia como contribuir.

📝 Licença

Esse projeto está sob licença. Veja o arquivo LICENÇA para mais detalhes.