Parameterize source database and add prd workflow#2
Merged
AnselmoBorges merged 22 commits intomainfrom Oct 12, 2025
Merged
Conversation
- Corrigir estrutura YAML duplicada no GitHub Actions - Adicionar step para corrigir MIME metadata via Azure CLI - Melhorar notebook publish_docs.py com logs de debug - Remover código duplicado e melhorar tratamento de exceções - Garantir que arquivos HTML sejam renderizados em vez de baixados
- Substituir existing_cluster_id por compute_key: serverless em todas as tasks - Criar arquivo compute.yml com configuração serverless - Resolver problema de acesso do user srv_eng_dev ao cluster single user - Todas as tasks (dbt_seed, dbt_silver, dbt_gold, dbt_docs, publish_docs) agora usam serverless
…_dev - Usar configuração do dbt_single_node_cluster_spot.json - Remover data_security_mode SINGLE_USER para permitir acesso de outros usuários - Corrigir availability para SPOT_AZURE - Usar Standard_D3_v2 em vez de i3.xlarge para reduzir custos - Configuração validada e deploy realizado com sucesso
- Criar cluster shared com SPOT_AZURE para economia de custos - Remover data_security_mode SINGLE_USER para permitir acesso do srv_eng_dev - Usar existing_cluster_id em vez de new_cluster para eficiência - Cluster ID: 1012-020229-svzxxolz - Todas as tasks agora compartilham o mesmo cluster - Deploy realizado com sucesso
- Remover profiles_directory da configuração dbt_task - Usar --profiles-dir=dbt_profiles nos comandos dbt - Remover --select ibge_municipios do dbt seed (desnecessário) - Corrigir erro de caminho inexistente para profiles - Deploy realizado com sucesso
- Remover configurações de profiles_directory, env e environment - Deixar dbt usar configurações padrão do Databricks - Resolver problemas de caminho inexistente para profiles - Validação passou sem warnings - Deploy realizado com sucesso
….yml - Alterar project_directory de '../' para '.' - Resolver erro 'No dbt_project.yml found at expected path' - dbt agora encontra o dbt_project.yml no diretório correto - Validação passou sem erros - Deploy realizado com sucesso
…profiles - Adicionar --profiles-dir=dbt_profiles em todos os comandos dbt - Resolver problema de dbt não encontrar profiles.yml - project_directory: . (diretório atual onde job é executado) - profiles.yml está em dbt_profiles/ conforme estrutura do bundle - Deploy realizado com sucesso
- Remover comandos pwd && ls -la de tasks dbt_task - Databricks não permite comandos que não começam com dbt ou edr - Manter apenas comandos dbt válidos - Configuração com --profiles-dir=dbt_profiles mantida
- Usar profiles_directory: dbt_profiles/ na configuração dbt_task - Remover --profiles-dir=dbt_profiles dos comandos dbt - project_directory: ../ (diretório pai onde está dbt_project.yml) - Configuração testada em outro ambiente e funcionando - Deploy realizado com sucesso
- Alterar profiles_directory de 'dbt_profiles/' para './dbt_profiles' - Resolver problema de caminho duplicado /Workspace/Workspace/ - Usar caminho relativo explícito para profiles - Deploy realizado com sucesso
- Adicionar barra final no host do workspace dev - Resolver inconsistência entre profile e databricks.yml - Profile: https://adb-1293581597272291.11.azuredatabricks.net/ - databricks.yml: agora também com barra final - Deploy realizado com sucesso
…icado - Usar project_directory: . (diretório atual onde job executa) - Usar profiles_directory: dbt_profiles (sem ./) - Resolver problema de /Workspace/Workspace/Users/... - Deploy realizado com sucesso
- Alterar project_directory de '.' para '../' (diretório pai) - Alterar profiles_directory de 'dbt_profiles' para 'dbt_profiles/' - Adicionar --select ibge_municipios no comando dbt seed - Resolver problemas de caminho e permissões - Configuração testada e funcionando
- Remover compute.yml (não utilizado) - Remover dbt_single_node_cluster_spot.json (cluster já criado) - Limpar arquivos obsoletos do repositório - Manter apenas configurações ativas
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
2 participants
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
Summary
Testing