Tutorial 6 - Change Data Capture (CDC) & Outbox

Repositorio con código base para la liberación de datos por medio de eventos con carga de estados usando un mecanismo de logs. El presente repositorio usa un conector de Debezium para poder oir los cambios en el log binario de una base de datos MySQL. Así mismo, se puede ver un ejemplo del patrón Outbox, donde persistimos eventos para poder ser distribuidos en nuestro EventBroker.

Este repositorio está basado en el repositorio de sidecars visto en el tutorial 5 del curso. Por tal motivo, puede usar ese mismo repositorio para entender algunos detalles que este README no cubre.

Estructura del proyecto

Este repositorio sigue en general la misma estructura del repositorio de origen. Sin embargo, hay un par de adiciones importante mencionar:

• El directorio connectors provee los conectores CDC de Debezium y su configuración en YAML. Si desea descargar una versión diferente del conector puede usar el siguiente comando:

  wget https://archive.apache.org/dist/pulsar/pulsar-2.10.1/connectors/pulsar-io-debezium-mysql-2.10.1.nar

  Nota: Puede encontrar las diferentes versiones en esta página.

• El directorio data ahora también cuenta con un nuevo directorio llamado mysql, el cual aloja los datos de la base de datos.

• El archivo init.sql en la raíz del proyecto se usa como punto de entrada de la base datos MySQL para configurar esquemas y tablas.

• El archivo repositorios en el módulo de vuelos de la capa de infraestructura ahora cuenta con un repositorio para persistir eventos en una tabla de Outbox.

• El archivo mapeadores en el módulo de vuelos de la capa de infraestructura ahora cuenta con un mapeador para tranformar de eventos de dominio a eventos de integración.

Nota: Se eliminó el código redundante de servicios de aplicación y endpoints que enrutaban a él.

AeroAlpes

Ejecutar Base de datos

Desde el directorio principal ejecute el siguiente comando.

docker-compose --profiles db up

Este comando descarga las imágenes e instala las dependencias de la base datos.

Ejecutar Aplicación

Desde el directorio principal ejecute el siguiente comando.

flask --app src/aeroalpes/api run

Siempre puede ejecutarlo en modo DEBUG:

flask --app src/aeroalpes/api --debug run

Ejecutar pruebas

coverage run -m pytest

Ver reporte de covertura

coverage report

Crear imagen Docker

Desde el directorio principal ejecute el siguiente comando.

docker build . -f aeroalpes.Dockerfile -t aeroalpes/flask

Ejecutar contenedora (sin compose)

Desde el directorio principal ejecute el siguiente comando.

docker run -p 5000:5000 aeroalpes/flask

Sidecar/Adaptador

Instalar librerías

En el mundo real es probable que ambos proyectos estén en repositorios separados, pero por motivos pedagógicos y de simpleza, estamos dejando ambos proyectos en un mismo repositorio. Sin embargo, usted puede encontrar un archivo sidecar-requirements.txt, el cual puede usar para instalar las dependencias de Python para el servidor y cliente gRPC.

pip install -r sidecar-requirements.txt

Ejecutar Servidor

Desde el directorio principal ejecute el siguiente comando.

python src/sidecar/main.py 

Ejecutar Cliente

Desde el directorio principal ejecute el siguiente comando.

python src/sidecar/cliente.py 

Compilación gRPC

Desde el directorio src/sidecar ejecute el siguiente comando.

python -m grpc_tools.protoc -Iprotos --python_out=./pb2py --pyi_out=./pb2py --grpc_python_out=./pb2py protos/vuelos.proto

Crear imagen Docker

Desde el directorio principal ejecute el siguiente comando.

docker build . -f adaptador.Dockerfile -t aeroalpes/adaptador

Ejecutar contenedora (sin compose)

Desde el directorio principal ejecute el siguiente comando.

docker run -p 50051:50051 aeroalpes/adaptador

Microservicio Notificaciones

Ejecutar Aplicación

Desde el directorio principal ejecute el siguiente comando.

python src/notificaciones/main.py

Crear imagen Docker

Desde el directorio principal ejecute el siguiente comando.

docker build . -f notificacion.Dockerfile -t aeroalpes/notificacion

Ejecutar contenedora (sin compose)

Desde el directorio principal ejecute el siguiente comando.

docker run aeroalpes/notificacion

UI Websocket Server

Ejecutar Aplicación

Desde el directorio principal ejecute el siguiente comando.

python src/ui/main.py

Crear imagen Docker

Desde el directorio principal ejecute el siguiente comando.

docker build . -f ui.Dockerfile -t aeroalpes/ui

Ejecutar contenedora (sin compose)

Desde el directorio principal ejecute el siguiente comando.

docker run aeroalpes/ui

CDC & Debezium

Nota: Antes de poder ejectuar todos los siguientes comandos DEBE tener la base de datos MySQL corriendo.

Descargar conector de Debezium

wget https://archive.apache.org/dist/pulsar/pulsar-2.10.1/connectors/pulsar-io-debezium-mysql-2.10.1.nar

Ejecutar Debezium

Abrir en una terminal:

docker exec -it broker bash

Ya dentro de la contenedora ejecute:

./bin/pulsar-admin source localrun --source-config-file /pulsar/connectors/debezium-mysql-source-config.yaml --destination-topic-name debezium-mysql-topic

Consumir eventos Debezium

Abrir en una terminal:

docker exec -it broker bash

Ya dentro de la contenedora ejecute:

./bin/pulsar-client consume -s "sub-datos" public/default/aeroalpesdb.reservas.usuarios_legado -n 0

Consultar tópicos

Abrir en una terminal:

docker exec -it broker bash

Ya dentro de la contenedora ejecute:

./bin/pulsar-admin topics list public/default

Instrucciones oficiales

Para seguir la guía oficial de instalación y uso de Debezium en Apache Pulsar puede usar el siguiente link

Docker-compose

Para desplegar toda la arquitectura en un solo comando, usamos docker-compose. Para ello, desde el directorio principal, ejecute el siguiente comando:

docker-compose up

Si desea detener el ambiente ejecute:

docker-compose stop

En caso de querer desplegar dicha topología en el background puede usar el parametro -d.

docker-compose up -d

Comandos útiles

Listar contenedoras en ejecución

docker ps

Listar todas las contenedoras

docker ps -a

Parar contenedora

docker stop <id_contenedora>

Eliminar contenedora

docker rm <id_contenedora>

Listar imágenes

docker images

Eliminar imágenes

docker images rm <id_imagen>

Acceder a una contendora

docker exec -it <id_contenedora> sh

Kill proceso que esta usando un puerto

fuser -k <puerto>/tcp

Correr docker-compose usando profiles

docker-compose --profile <pulsar|aeroalpes|ui|notificacion> up