Tutorial 7 - Event Sourcing

Repositorio con código base con la implementación de un servicio usando el patrón Event Sourcing.

Este repositorio está basado en el repositorio de liberación de datos visto en el tutorial 6 del curso. Por tal motivo, puede usar ese mismo repositorio para entender algunos detalles que este README no cubre.

Dev Containers

El repositorio incluye configuracion para Dev Containers. Si su editor lo soporta solo debe abrir la carpeta y el contenedor se construira instalando automaticamente todas las dependencias requeridas.

Estructura del proyecto

Este repositorio sigue en general la misma estructura del repositorio de origen. Sin embargo, hay un par de adiciones importante mencionar:

• El archivo src/aeroalpes/config/uow.py ahora incluye una unidad de trabajo para Pulsar, esta nos va ayudar a mantener la consistencia transaccional en el servicio usando Apache Pulsar como nuestro Event Store.
• El archivo src/aeroalpes/modulos/vuelos/infraestructura/proyecciones.py cuenta con las diferentes formas en que podemos hacer proyección de nuestros datos. Una de las proyecciones tiene propósitos analíticos y la otra transaccionales.
• El archivo src/aeroalpes/modulos/vuelos/infraestructura/vistas.py cuenta con el modelo de vistas que podemos exponer a nuestro clientes. Como se puede observar, este es un modelo bastante genérico definido en el seedwork (pero usted puede hacerlo mucho más complejo).
• Los archivos src/aeroalpes/seedwork/infraestructura/proyecciones.py y src/aeroalpes/seedwork/infraestructura/vistas.py proveen las interfaces y definiciones genéricas para las proyecciones, handlers y vistas.

AeroAlpes

Ejecutar Base de datos

Desde el directorio principal ejecute el siguiente comando.

docker-compose --profile db up

Este comando descarga las imágenes e instala las dependencias de la base datos.

Ejecutar Aplicación

Desde el directorio principal ejecute el siguiente comando.

flask --app src/aeroalpes/api run

Siempre puede ejecutarlo en modo DEBUG:

flask --app src/aeroalpes/api --debug run

Ejecutar pruebas

coverage run -m pytest

Ver reporte de covertura

coverage report

Crear imagen Docker

Desde el directorio principal ejecute el siguiente comando.

docker build . -f aeroalpes.Dockerfile -t aeroalpes/flask

Ejecutar contenedora (sin compose)

Desde el directorio principal ejecute el siguiente comando.

docker run -p 5000:5000 aeroalpes/flask

Sidecar/Adaptador

Instalar librerías

En el mundo real es probable que ambos proyectos estén en repositorios separados, pero por motivos pedagógicos y de simpleza, estamos dejando ambos proyectos en un mismo repositorio. Sin embargo, usted puede encontrar un archivo sidecar-requirements.txt, el cual puede usar para instalar las dependencias de Python para el servidor y cliente gRPC.

pip install -r sidecar-requirements.txt

Ejecutar Servidor

Desde el directorio principal ejecute el siguiente comando.

python src/sidecar/main.py 

Ejecutar Cliente

Desde el directorio principal ejecute el siguiente comando.

python src/sidecar/cliente.py 

Compilación gRPC

Desde el directorio src/sidecar/aeroalpes ejecute el siguiente comando.

python -m grpc_tools.protoc -Iprotos --python_out=./pb2py --pyi_out=./pb2py --grpc_python_out=./pb2py protos/vuelos.proto

Crear imagen Docker

Desde el directorio principal ejecute el siguiente comando.

docker build . -f adaptador.Dockerfile -t aeroalpes/adaptador

Ejecutar contenedora (sin compose)

Desde el directorio principal ejecute el siguiente comando.

docker run -p 50051:50051 aeroalpes/adaptador

Microservicio Notificaciones

Ejecutar Aplicación

Desde el directorio principal ejecute el siguiente comando.

python src/notificaciones/main.py

Crear imagen Docker

Desde el directorio principal ejecute el siguiente comando.

docker build . -f notificacion.Dockerfile -t aeroalpes/notificacion

Ejecutar contenedora (sin compose)

Desde el directorio principal ejecute el siguiente comando.

docker run aeroalpes/notificacion

UI Websocket Server

Ejecutar Aplicación

Desde el directorio principal ejecute el siguiente comando.

python src/ui/main.py

Crear imagen Docker

Desde el directorio principal ejecute el siguiente comando.

docker build . -f ui.Dockerfile -t aeroalpes/ui

Ejecutar contenedora (sin compose)

Desde el directorio principal ejecute el siguiente comando.

docker run aeroalpes/ui

CDC & Debezium

Nota: Antes de poder ejectuar todos los siguientes comandos DEBE tener la base de datos MySQL corriendo.

Descargar conector de Debezium

wget https://archive.apache.org/dist/pulsar/pulsar-2.10.1/connectors/pulsar-io-debezium-mysql-2.10.1.nar

Ejecutar Pulsar

docker-compose --profile pulsar up

Ejecutar Debezium

Abrir en una terminal:

docker exec -it broker bash

Ya dentro de la contenedora ejecute:

./bin/pulsar-admin source localrun --source-config-file /pulsar/connectors/debezium-mysql-source-config.yaml --destination-topic-name debezium-mysql-topic

Consumir eventos Debezium

Abrir en una terminal:

docker exec -it broker bash

Ya dentro de la contenedora ejecute:

./bin/pulsar-client consume -s "sub-datos" public/default/aeroalpesdb.reservas.usuarios_legado -n 0

Consultar tópicos

Abrir en una terminal:

docker exec -it broker bash

Ya dentro de la contenedora ejecute:

./bin/pulsar-admin topics list public/default

Cambiar retención de tópicos

Abrir en una terminal:

docker exec -it broker bash

Ya dentro de la contenedora ejecute:

./bin/pulsar-admin namespaces set-retention public/default --size -1 --time -1

Para poder ver que los cambios fueron efectivos ejecute el siguiente comando:

./bin/pulsar-admin namespaces get-retention public/default

Nota: Esto nos dejará con una retención infinita. Sin embargo, usted puede cambiar la propiedad de size para poder usar Tiered Storage

Instrucciones oficiales

Para seguir la guía oficial de instalación y uso de Debezium en Apache Pulsar puede usar el siguiente link

Docker-compose

Para desplegar toda la arquitectura en un solo comando, usamos docker-compose. Para ello, desde el directorio principal, ejecute el siguiente comando:

docker-compose up

Si desea detener el ambiente ejecute:

docker-compose stop

En caso de querer desplegar dicha topología en el background puede usar el parametro -d.

docker-compose up -d

Comandos útiles

Listar contenedoras en ejecución

docker ps

Listar todas las contenedoras

docker ps -a

Parar contenedora

docker stop <id_contenedora>

Eliminar contenedora

docker rm <id_contenedora>

Listar imágenes

docker images

Eliminar imágenes

docker images rm <id_imagen>

Acceder a una contendora

docker exec -it <id_contenedora> sh

Kill proceso que esta usando un puerto

fuser -k <puerto>/tcp

Correr docker-compose usando profiles

docker-compose --profile <pulsar|aeroalpes|ui|notificacion> up