Data Engineer Lab

Este foi um projeto criado para estruturar um ambiente que facilitasse o aprendizado ao longo das aulas do MBA de Engenharia de Dados da PUC.

Como subir os serviços

# clone o repositório
$ git clone https://github.com/alfredojoseneto/dataengineer_lab.git

# acesse o diretório
$ cd dataengineer_lab

# crie o arquivo .env

$ cat << EOL >> .env
POSTGRES_HOST="postgres"
POSTGRES_PORT="5433"
POSTGRES_DB_PUC="puc"
POSTGRES_DB="postgres"
POSTGRES_USER="postgres"
POSTGRES_PASSWORD="postgres"
PGADMIN_DEFAULT_EMAIL="postgres@mail.com"
PGADMIN_DEFAULT_PASSWORD="postgres"
MONGO_INITDB_ROOT_USERNAME="root"
MONGO_INITDB_ROOT_PASSWORD="root"
EOL

# realize o build da imagem do jupyter
$ docker compose build

# suba os serviços
$ docker compose up -d

# quando quiser desligar os serviços sem perder os volumes
$ docker compose stop

# quando quiser remover todos os volumes
$ docker compose stop
$ docker volume rm $(docker volume ls -q)

# quando quiser remover todas as imagens
$ docker image rm $(docker image ls -q)

.env file

Crie o Aquivo .env na raiz do projeto com as seguintes variáveis e sugestões de valores:

POSTGRES_HOST="postgres"
POSTGRES_PORT="5433"
POSTGRES_DB_PUC="puc"
POSTGRES_DB="postgres"
POSTGRES_USER="postgres"
POSTGRES_PASSWORD="postgres"
PGADMIN_DEFAULT_EMAIL="postgres@mail.com"
PGADMIN_DEFAULT_PASSWORD="postgres"
MONGO_INITDB_ROOT_USERNAME="root"
MONGO_INITDB_ROOT_PASSWORD="root"

Como acessar os serviços

• Jupyter Lab: localhost:8888
• Mongo Express: localhost:8081
• PgAdmin4: localhost:8080
• Dbeaver Cloud: localhost:8978