BigData-es002.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "149cb3a8",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Ingesta y almacenamiento de datos"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b6a4ea0b",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Procesos en Big Data "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "92282828",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Existen varias metodologías y modelos disponibles en el mercado para la recopilación, almacenamiento, consulta, visualización de datos, y su posterior acción.\n",
    "- Provienen del mundo de la minería de datos, y entre ellas se pueden mencionar KDD (*Knowledge Discovery in Databases*), SEMMA y CRISP-DM.\n",
    "- CRISP-DM (*Cross Industry Standard Process for Data Mining*) por ejemplo, es un modelo de procesos estandarizado e iterativo centrado en el negocio.\n",
    "- Fue desarrollado para ser distribuido libremente y promueve las mejores prácticas en minería de datos. Más información en la sección {ref}`content:references:CRISP-DM`."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c9d5a326-1b70-4087-8fbe-4f102d1eded5",
   "metadata": {},
   "source": [
    "- Para el NIST Big Data interoperability Framework (NBDIF) - Version 3.0 Final {cite:ps}`249226` (Pág.29), el ciclo de vida del análisis de los datos se compone de cinco fases:\n",
    "    - Captura de los datos en su formato original. Ingestión de datos (*Data Ingestion*).\n",
    "    - Preparación y modelado. Almacenamiento de datos (*Data Storage*).\n",
    "    - Análisis y consulta de datos (*Data Processing / Data Query*).\n",
    "    - Visualización de los datos. (*Data Visualization*).\n",
    "    - Acción con el uso de los mismos."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3c851634",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Veremos a continuación las fases una a una más en detalle."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d8754350",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Ingestión de datos"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "061591d4",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Obtención, procesado (separación, agrupación, filtrado) y limpieza de datos (eliminar duplicados y errores). \n",
    "- Es el primer paso donde se obtienen los datos que provienen de varias fuentes y que irán a dispositivos de almacenamiento para su posterior acceso, uso y análisis por parte de la organización.\n",
    "- En esta etapa los datos son priorizados y categorizados."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c15f3ff3",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Su destinación es generalmente:\n",
    "    - Un almacén de datos (*data warehouse*): *Snowflake, Amazon Redshift, Google BigQuery, Azure Synapse*, o\n",
    "    - Un lago de datos: (*data lake*): *Databricks* con datos estructurados, semi estructurados y no estructurados."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "35be758b",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Cuestiones a considerar"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "05bb1f5a",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Velocidad de la entrada de datos (frecuencia: *Batch, Real-Time*).\n",
    "- Volumen de los datos.\n",
    "- Variedad (formato: datos estructurados, Semi-estructurados, no estructurados)."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "eea743e8",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Otras cuestiones a tener en cuenta son la veracidad de esos datos (si son confiables) y el valor de los mismos. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f6fb23aa",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- La velocidad de datos se ocupa de la velocidad a la que fluyen los datos desde diferentes fuentes, como máquinas, redes, IoT, interacción humana, sitios de medios, redes sociales.\n",
    "- El movimiento de datos puede ser masivo o continuo en la ingestión de datos. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "cb00e284",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- El volumen de los datos gestionados puede ser enorme.\n",
    "- Los datos son generados desde diversas fuentes. \n",
    "- Éstas pueden aumentar cada día tanto en cantidad como en volumen de datos."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "9a74f465",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- En cuanto a la frecuencia los datos se pueden procesar en tiempo real o por lotes.\n",
    "- En tiempo real el procesamiento ocurre cuando los datos se reciben al mismo tiempo que se generan.\n",
    "- Los datos por lotes se almacenan mediante un proceso por lotes fijo en algún intervalo de tiempo y luego se trasladan al flujo del proceso de administración de datos. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a381d390",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- La ingestión de datos se puede realizar utilizando formatos de distinto tipo:\n",
    "    - Datos estructurados (formato tabular). \n",
    "    - Semi-estructurados (ficheros JSON, CSV, etc.). \n",
    "    - No estructurados (imágenes, audio, video, etc.)."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "af2b083a-841c-4cf9-b611-f3045604d36b",
   "metadata": {},
   "source": [
    "Fuente: {cite:ps}`Dumbill2012`"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a3c53ffc",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Buenas prácticas en ingestión de datos"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "94a1a008",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Ancho de banda de la red:\n",
    "- El flujo de datos (*Data Pipeline*) debe poder competir con el tráfico comercial.\n",
    "- A veces el tráfico aumenta o disminuye, por lo que la escalabilidad del ancho de banda de la red es el mayor desafío del *Data Pipeline*.\n",
    "- Se requieren herramientas de ingestión de datos que permitan la limitación y compresión del ancho de banda en base a las necesidades del momento. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e9bffde4",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Soporte para red no confiable:\n",
    "- La canalización en la ingestión de datos toma datos con múltiples estructuras, es decir, archivos de texto, datos de archivos tabulares, archivos XML, archivos de registro, etc. y debido a la velocidad variable de los datos que llegan, es posible que viajen a través de una red poco confiable.\n",
    "- La implementación del flujo de datos o *Data Pipeline* también debería ser capaz de soportar esto. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "158dbb76",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Transmisión de datos:\n",
    "- Las mejores prácticas de ingestión de datos dependen de la necesidad empresarial, ya sea para procesar los datos por lotes, flujos o en tiempo real.\n",
    "- En ocasiones, es posible que se necesiten todos a la vez para el procesamiento a través de la canalización de ingesta de datos, por lo que las herramientas deben ser capaces de admitirlos. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5ba96851",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Tecnologías y Sistemas Heterogéneos:\n",
    "- Las herramientas para la canalización de la ingesta de datos deben poder utilizar diferentes tecnologías de fuentes de datos y diferentes sistemas operativos. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "935a8680",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Elección del formato de datos correcto:\n",
    "- Las herramientas de ingesta de datos deben proporcionar un formato de serialización de datos, lo que significa que, dado que los datos vienen en formatos variables, los convierte a un solo formato para proporcionar una forma más fácil de comprenderlos o relacionarlos. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "1373f499",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Repositorio único:\n",
    "- El análisis crítico es más efectivo cuando se combinan datos de múltiples fuentes.\n",
    "- Para la toma de decisiones de negocio, se debe tener un repositorio único para todos los datos que llegan. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a1f81a2a",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Integraciones:\n",
    "- Todo el tiempo los datos siguen aumentando en el proceso de ingesta de datos, llegan datos nuevos y se modifican los datos antiguos, por lo cual a veces cada nueva integración puede tardar entre unos días y unos meses en completarse. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f016f532",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Alta precisión:\n",
    "- La única forma de generar confianza con los datos es asegurarse de que los datos son auditables.\n",
    "- Una buena práctica que es fácil de implementar es nunca descartar entradas o formularios intermedios al modificar datos en el flujo del proceso de ingesta de datos. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "be85cba1",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Latencia:\n",
    "- Cuanto más actualizados sean los datos, más ágil puede ser la toma de decisiones en la organización, pero hay un coste a considerar.\n",
    "- La extracción de datos de APIs y bases de datos en tiempo real puede ser difícil, y muchas fuentes de datos de destino, incluidos grandes almacenes de objetos como Amazon S3 y bases de datos de análisis como Amazon Redshift, están optimizadas para recibir datos en fragmentos en lugar de una secuencia. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "7b2311f4",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Mantener la escalabilidad:\n",
    "- La ingesta de datos se puede aumentar o disminuir durante algunos períodos de tiempo.\n",
    "- El uso y tratamiento de los datos no es uniforme.\n",
    "- Se debe hacer que la canalización sea tan escalable que pueda manejar cualquier cantidad de datos que lleguen a una velocidad variable. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "9c9e8518",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Problemas en la ingesta de datos"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b441e277",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Cuando existen numerosas fuentes de Big Data con diferentes formatos, el mayor desafío para el negocio es ingerir datos a una velocidad razonable y procesarlos de manera eficiente.\n",
    "- De esta manera los datos pueden priorizarse y en consecuencia mejorar la toma de decisiones de negocio. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b39d3b04",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Las fuentes de datos, las herramientas de ingestión de datos y las aplicaciones de consumo evolucionan permanentemente durante el proceso de ingestión de datos.\n",
    "- Los datos pueden modificar sus atributos sin previo aviso independientemente de la aplicación utilizada. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e3f239d3",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Detección y captura de datos modificados: esta tarea es difícil, no solo por la naturaleza semiestructurada o no estructurada de los datos.\n",
    "- También lo es por tratar con baja latencia (una red informática que está optimizada para procesar un volumen muy alto de mensajes de datos con un retraso mínimo).\n",
    "- Estas redes están diseñadas para admitir operaciones que requieren acceso casi en tiempo real a datos que cambian rápidamente. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "408e5da9",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Procesamiento de datos en tiempo real"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e1ee3ee9-e837-48f4-baa3-4613b41325e1",
   "metadata": {},
   "source": [
    "![Ingesta de datos en Big Data](analitica-datos-fortinux.png 'Ingesta de datos en Big Data.')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b5500be6-f556-4f28-993a-3f05473e1821",
   "metadata": {},
   "source": [
    "- Imagen: Ingesta de datos en tiempo real en Big Data. Autor: M.H.Fortino(2024)."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c4160d11-4855-4655-a004-cc2037c8c3af",
   "metadata": {},
   "source": [
    "## Apache Spark"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "918a4b3d-2618-46a7-bfc6-7a2f4a07cfbf",
   "metadata": {},
   "source": [
    "- Apache Spark es un motor de procesamiento rápido y general compatible con datos de Hadoop. \n",
    "- Puede ejecutarse en clústeres de Hadoop a través de YARN o de modo independiente.\n",
    "- Procesa datos en HDFS, HBase, Cassandra, Hive y cualquier formato de entrada de Hadoop. \n",
    "- Diseñado para realizar tanto procesamiento por lotes (similar a MapReduce) como nuevas cargas de trabajo como *streaming*, consultas interactivas y aprendizaje automático."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "0a5d412d-84fc-488a-afce-08b28989d4fc",
   "metadata": {},
   "source": [
    "- Extraído de las FAQs: <https://spark.apache.org/faq.html>.\n",
    "- Más información en la sección *Motores de consultas* de estos apuntes. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "891674a5-1fad-487f-9547-7ecf8db3b2ae",
   "metadata": {},
   "source": [
    "## Apache Flume"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f59b4c53",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Un servicio distribuido, confiable y de alta disponibilidad que colecta, agrupa y mueve eficientemente grandes cantidades de logs y datos.\n",
    "- Extraído de: <https://flume.apache.org/>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "180f5d98",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Es robusto y tolerante a fallas con mecanismos de confiabilidad ajustables.\n",
    "- Cuenta también con mecanismos de conmutación por error y recuperación.\n",
    "- Utiliza un modelo de datos extensible simple que permite la aplicación analítica en línea. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "55fdbb74",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Un evento Flume se define como una unidad de flujo de datos que tiene una carga útil de bytes y un conjunto opcional de atributos de cadena.\n",
    "- Un agente de Flume es un proceso (JVM) que aloja los componentes a través de los cuales fluyen los eventos desde una fuente externa hasta el siguiente destino (salto). "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "1e2836c8",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Una fuente de Flume consume eventos que le envía una fuente externa como por ej. un servidor web.\n",
    "- La fuente externa envía eventos a Flume en un formato que es reconocido por la fuente de destino de Flume. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f2be5082",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "- Extraído de: <https://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "710925d1-3e59-4245-8129-ae6c88b63050",
   "metadata": {},
   "source": [
    "## Apache Flink"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "35c0745f",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Framework utilizado para el procesamiento de flujos distribuidos (*distributed stream*) que facilita resultados precisos, aún en el caso de datos que están desordenados o que llegan con retraso en la distribución.\n",
    "- Extraído de: <https://flink.apache.org/>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5bd1ab28",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Sistemas de mensajería"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b5b0febb-0fce-4ddf-b50b-7fe79d9ee632",
   "metadata": {},
   "source": [
    "## Apache Kafka"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "8db6d888",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Es una plataforma de transmisión de eventos distribuidos de código abierto utilizada por miles de empresas para canalizaciones de datos de alto rendimiento, análisis de streaming, integración de datos y aplicaciones de misión crítica.\n",
    "- Es también un sistema de mensajería escalable que permite a los usuarios publicar y consumir grandes cantidades de mensajes en tiempo real por suscripción.\n",
    "- Extraído de: <https://kafka.apache.org/>. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "2799373e",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- La transmisión de eventos es el equivalente digital del sistema nervioso central del cuerpo humano.\n",
    "- Es la base tecnológica para el mundo 'siempre activo' donde las empresas están cada vez más definidas por software y automatizadas, y donde el usuario de software es más software (Inteligencia Artificial). "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ec0269d7",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Técnicamente hablando, la transmisión de eventos es la práctica de capturar datos en tiempo real de fuentes de eventos como bases de datos, sensores, dispositivos móviles, servicios en la nube y aplicaciones de software en forma de flujos de eventos; almacenar estos flujos de eventos de forma duradera para su posterior recuperación; manipular, procesar y reaccionar a los flujos de eventos en tiempo real y retrospectivamente; y enrutar los flujos de eventos a diferentes tecnologías de destino según sea necesario."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "17a31356",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- La version comercial de Apache Kafka es Confluent <https://www.confluent.io/es-es/>.\n",
    "- Otro *broker* de mensajería es RabbitMQ <https://www.rabbitmq.com/>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "6499b161-c4a4-4fcd-b9e2-250d875ee8bc",
   "metadata": {},
   "source": [
    "## Apache ActiveMQ"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b2aff9c3",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Es el sistema de mensajería multi protocolo open source más popular del mercado. \n",
    "- Se conecta a clientes escritos en JavaScript, C, C++, Python, .Net, y más.\n",
    "- Integra aplicaciones multiplataforma utilizando el protocolo AMQP. \n",
    "- Intercambia mensajes mediante STOMP sobre *websockets*, gestiona dispositivos IoT con MQTT. \n",
    "- Soporta la infraestructura JMS (*Java Message Service*). "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "2e603f6d",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "- Fuente: <https://activemq.apache.org/>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d1986800-d7e5-49de-b1bd-3878b57498c6",
   "metadata": {},
   "source": [
    "## Apache Pulsar"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "43ff7edb",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Apache Pulsar es una plataforma de eventos distribuidos cloud similar a Kafka originalmente creada por Yahoo!\n",
    "- <https://pulsar.apache.org/>.\n",
    "- La versión comercial de sus creadores es StreamNative <https://streamnative.io/>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e6807189-e0d2-44f2-a6b3-7d2328c472ac",
   "metadata": {},
   "source": [
    "## Pub/Sub"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "67bff654",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Es un sistema de mensajería que combina la escalabilidad horizontal de Apache Kafka y Pulsar con funciones del middleware como colas y filtros de mensajes no entregados de Apache ActiveMQ y RabbitMQ.\n",
    "- Se complementa con Dataflow, que controla la anulación de mensajes duplicados, el procesamiento “solo una vez” y generación de marcas de agua a partir de eventos con marcas de tiempo. \n",
    "- Para usar Dataflow se escribe la canalización con el SDK de Apache Beam y luego se ejecuta.\n",
    "- <https://cloud.google.com/pubsub/docs/overview>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "18982640-769e-4518-9944-6d645cdc7a14",
   "metadata": {},
   "source": [
    "## Otras herramientas"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "0f7a6043-5beb-4443-bc1f-d02a853cdc95",
   "metadata": {},
   "source": [
    "## Logstash"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f4ccc84e",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Canalización (*pipeline*) de procesamiento de datos del lado del servidor de código abierto que ingiere datos de una multitud de fuentes, los transforma simultáneamente y luego los envía al reservatorio (*stash*), por ejemplo Elasticsearch. \n",
    "- Extraído de: <https://www.elastic.co/es/logstash>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "80fa6808-3fa1-4690-8d07-27a7d16a9a27",
   "metadata": {},
   "source": [
    "## Apache Nifi"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "19da143f",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Es una de las mejores herramientas de *data ingestion* del mercado. \n",
    "- Proveee un sistema fácil de usar, poderoso y confiable para procesar y distribuir datos.\n",
    "- Extraído de: <https://nifi.apache.org/>, <https://nifi.apache.org/documentation/v2/>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "7d6fe583",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Documentación: <https://nifi.apache.org/docs/nifi-docs/html/getting-started.html>.\n",
    "- Caso de uso: *Best practices and lessons learnt from Running Apache NiFi at Renault*  \n",
    "<https://fr.slideshare.net/Hadoop_Summit/best-practices-and-lessons-learnt-from-running-apache-nifi-at-renault>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "2f534493-f261-4874-a282-d3b6a130be81",
   "metadata": {},
   "source": [
    "## Apache Beam"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "050bd787",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Es un modelo de programación unificado que permite implementar trabajos de procesamiento de datos por lotes y de *streaming* en cualquier motor de ejecución.\n",
    "- Lee los datos desde diversas fuentes, ejecuta la lógica del negocio para *batch* y *streaming*, y finalmente los deposita en las soluciones de almacenamiento disponibles.\n",
    "- Una canalización de Beam puede ejecutarse en los sistemas de procesamiento de datos distribuidos más populares, como Spark, Flink o Samza."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ccc7f242-2f81-4259-9c7b-6039c2421e10",
   "metadata": {},
   "source": [
    "- Fuente: https://beam.apache.org/."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e4e393bb-7dfe-4de1-93af-568b244b32e2",
   "metadata": {},
   "source": [
    "## Apache Samza"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b977362c",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Permite crear aplicaciones con estado que procesan datos en tiempo real desde múltiples fuentes, incluido Apache Kafka.\n",
    "- Admite opciones de implementación flexibles para ejecutarse en YARN o como una biblioteca independiente.\n",
    "- Tutorial: <https://samza.apache.org/startup/hello-samza/1.6.0/>.\n",
    "- Fuente: <https://samza.apache.org/>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "059453c9-df49-44f6-8d33-5ed57ae18efd",
   "metadata": {},
   "source": [
    "## Apache Airflow"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "9ff9d8c3-3692-48f6-aa64-42b3defee4b8",
   "metadata": {},
   "source": [
    "- Apache Airflow es una plataforma que permite crear, programar temporalmente, y monitorar flujos de trabajo utilizando Python como lenguaje.\n",
    "- Automatiza la ingestas de datos, acciones de mantenimiento periódicas y realiza tareas de administración.\n",
    "- Extraído de: <https://airflow.apache.org/>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "13ccab14-ed8c-42e9-a85b-fd34bed7058b",
   "metadata": {},
   "source": [
    "- Un flujo de trabajo de ejemplo puede ser:\n",
    "    - Obtener datos de una base de datos relacional como PosgreSQL para enviarlos a Kafka. \n",
    "    - Transformar los datos con Apache Spark y finalmente enviar un mensaje de finalización."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "731091e6-1d1c-4ea1-b447-a8b89da1d827",
   "metadata": {},
   "source": [
    "## Otras herramientas"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "93baae7d-cd31-4068-95c8-d7bdde3e0d27",
   "metadata": {},
   "source": [
    "- Mage AI es una herramienta open source orientada a crear canalizaciones para transformar e integrar datos.\n",
    "    - <https://www.mage.ai/>.\n",
    "- Fivetran es una cloud-based platform para ETL. \n",
    "    - <https://www.fivetran.com/>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "2bd5180c",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Stitch Data Loader mueve más de 130 tipos de fuentes al *data warehouse*.\n",
    "    - <https://www.stitchdata.com/>.\n",
    "- Airbyte es una herramienta open-source de integración de datos. \n",
    "    - <https://airbyte.com/>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "7fdbdc14-de65-4a2c-893a-a83bd277e12b",
   "metadata": {},
   "source": [
    "- Materialize es un almacén de datos útil para análisis en tiempo real que ofrece actualizaciones de vista incrementales.\n",
    "    - Extraído de: <https://materialize.com/>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "75d56805",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Modelo semántico de datos (SDM) "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "45164662",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- El modelo semántico de datos (SDM) también cambia con el tiempo.\n",
    "- Se necesita un modelo de datos (*DM*) en el que se incluya información semántica.\n",
    "- Un *DM* que incluya la capacidad de expresar e intercambiar información permite a las partes interpretar el significado (semántica) de las instancias. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "1649ea96",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Extraído de: Semantic Data Model: <https://es.wikipedia.org/wiki/Modelo_sem%C3%A1ntico_de_datos>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "2100ab34",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- En un modelo semántico los hechos generalmente se expresan mediante relaciones binarias entre elementos de datos, mientras que las relaciones de orden superior se expresan como colecciones de relaciones binarias.\n",
    "- Típicamente las relaciones binarias tienen la forma de ternas: Objeto-<Tipo de Relación>-Objeto. \n",
    "- Por ejemplo: La Torre Eiffel `<se encuentra en>` París. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "0ac1e2f7",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Según el conocido trabajo seminal de Smith y Smith (1977), tres abstracciones son muy importantes para el modelado de datos:\n",
    "     - Clasificación: modelo instancia_de_relaciones.\n",
    "     - Agregación: modelo tiene_relaciones.\n",
    "     - Generalización: modelo es_unas_relaciones. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ea85855a",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Extraído de: Semantic Data Modelling: <http://www.jhterbekke.net/SemanticDataModeling.html>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e3c63fee",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Integridad de datos: las especificaciones del modelo de datos implican la validez de ciertas reglas de integridad.\n",
    "- Relatividad: cada atributo en una definición de tipo está relacionado con uno y solo un tipo con el mismo nombre, mientras que cada tipo puede corresponder con varios atributos en otros tipos.\n",
    "- Convertibilidad: Cada definición de tipo es única: no hay definiciones de tipo que lleven el mismo nombre o la misma colección de atributos. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "bbd78697-64b9-4ddd-b7b1-8bcad0b139a4",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "```\n",
    "database warehouse.\n",
    "\n",
    "base description (A16).\n",
    "type product kind (A8) = description.\n",
    "\n",
    "base color (A10).\n",
    "base stock (I8).\n",
    "base price (R4,2).\n",
    "type product (I7) = description, color, stock, price, product kind.\n",
    "\n",
    "base company name (A20).\n",
    "base address (A20).\n",
    "base zip (A6).\n",
    "base city (A16).\n",
    "type supplier (A8) = company name, address, zip, city.\n",
    "\n",
    "type purchased product (A9) = supplier, product, price.\n",
    "\n",
    "...\n",
    "\n",
    "base prepaid (R4,2).\n",
    "type sale (A7) = sold product, quantity, price, customer, date, prepaid.\n",
    "\n",
    "end.\n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "80fa605e",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Artículo Semantic (Big) Data Analysis: An Extensive Literature Review.\n",
    "    - <https://latamt.ieeer9.org/index.php/transactions/article/download/673/207>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c425d9e6",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Almacenamiento de datos (Data Storage)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "8122cb08",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- El almacenamiento se convierte en un desafío cuando el tamaño de los datos es muy grande. \n",
    "- Varias posibles soluciones pueden ayudar a resolver este problema.\n",
    "- Encontrar la solución de almacenamiento más eficiente es el objetivo de este paso."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "fb3b7e89-4ba8-4229-a0b5-c1f6e28a9dad",
   "metadata": {},
   "source": [
    "- Dependiendo de las funciones y características del *dataset* los datos se pueden almacenar de la siguiente forma:\n",
    "    - Almacén de datos (*Data warehouse*) para el almacenamiento persistente.\n",
    "    - *Big Data volume system* para los datos originales antes de la preparación.\n",
    "    - *Big Data velocity application* durante la recoleción, preparación y análisis al vuelo. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "8abdef6a-06b0-4cea-a194-a8b0c026063e",
   "metadata": {},
   "source": [
    "## Persistencia políglota"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f4b9e8df",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Se necesitan diferentes tipos de bases de datos para manejar las diferentes variedades de datos, pero el uso de las mismas crea una sobrecarga en el sistema.\n",
    "- Es por este motivo que hay un nuevo concepto en el mundo de las bases de datos: la persistencia políglota. Es la idea de usar múltiples bases de datos para impulsar una sola aplicación.\n",
    "    - <https://en.wikipedia.org/wiki/Polyglot_persistence>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ebedf4ad",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- La persistencia políglota es la forma de compartir o dividir los datos en múltiples bases de datos y aprovechar su poder juntas.\n",
    "     - BBDDs Relacionales.\n",
    "     - BBDDs No SQL.\n",
    "     - BBDDs de grafos.\n",
    "     - BBDDs en memoria. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5edce8ed",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- *Polyglot Persistance* tiene tiempos de respuesta más rápidos.\n",
    "- Las bases de datos NoSQL escalan bien cuando se modelan correctamente para los datos que se desean almacenar.\n",
    "- La experiencia de usuario es mejor cuando se aprovecha el poder de múltiples bases de datos al mismo tiempo."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3dbbe985",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Por ejemplo, si desea buscar productos en una aplicación de comercio electrónico, se utiliza ElasticSearch, que devuelve los resultados en función de la relevancia, lo que MongoDB no puede hacer fácilmente. \n",
    "- Como contrapartida, tiene como desventaja la necesidad de contratar personal especializado para la integración de las bases de datos y una mayor cantidad de recursos de almacenamiento."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3818626f",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Herramientas de almacenamiento para Big Data"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "39e6aceb",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- HDFS : *Hadoop Distributed File System*.\n",
    "- Ozone: Un *object store* para Hadoop, la próxima generación de HDFS.\n",
    "- GlusterFS: Sistema de archivos distribuido confiable.\n",
    "- Ceph: Proporciona almacenamiento de objetos, bloques y sistemas de archivos en un solo clúster.\n",
    "- MinIO: Un *object store* para la insfraestructura de datos de IA.\n",
    "- *Cloud storage*: Amazon S3 Storage Service, IBM Cloud Object Storage, Azure Blob Storage, Google Cloud Storage."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "16b20d2a",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## HDFS"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c15821ce",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- HDFS es un sistema de ficheros basado en Java que provee almacenamiento confiable y escalable.\n",
    "- Fue diseñado para abarcar grandes grupos de servidores básicos (commodity servers).\n",
    "- HDFS contiene una gran cantidad de datos y proporciona un acceso a los mismos de manera sencilla y fácil.\n",
    "    - Extraído de: <https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "0892dcde",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Para almacenar una inmensa cantidad de datos, los ficheros son guardados en varias máquinas. \n",
    "- Estos ficheros son guardados de forma redundante para poder rescatar el sistema en caso de pérdida de datos a causa de fallos."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "370bc649",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- HDFS también proporciona la disponibilidad de aplicaciones para procesamiento en paralelo durante el paso de ingestión de datos. \n",
    "- HDFS fue construido para soportar aplicaciones con grandes conjuntos de datos, incluyendo ficheros con terabytes de tamaño."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "8f627fb8",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Utiliza una arquitectura maestro/esclavo, en la que cada clúster consta de un solo *Namenode* que administra las operaciones del sistema de archivos y admite *Datanodes* que administran el almacenamiento de datos en nodos de cómputo individuales. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c9f1a5e9",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Cuando HDFS toma datos, divide la información en partes separadas y las distribuye a diferentes nodos en un clúster, lo que permite el procesamiento paralelo. \n",
    "- El sistema de archivos en Ingestión de datos también copia cada pieza de datos varias veces y distribuye las copias a nodos individuales, colocando al menos una copia en un rack de servidor diferente. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "db1c3b76",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Apache Ozone"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "9dffbb96",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Ozone es un *object store* escalable, redundante, y distribuído para Hadoop. \n",
    "- Además de escalar a billones de objetos de cualquier tamaño, Ozone puede trabajar puede funcionar de manera efectiva en entornos en contenedores como Kubernetes y YARN.\n",
    "    - Extraído de: <https://ozone.apache.org/>. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "611ab1bf",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Aplicaciones que utilizan frameworks como Apache Spark, YARN y Hive trabajan de forma nativa sin modificaciones.\n",
    "- Ozone está construido en una capa de almacenamiento en bloques altamente disponible y replicada llamada *Hadoop Distributed Data Store (HDDS)*.\n",
    "- Ozone viene un una biblioteca cliente para Java, soporte para el protocolo S3, y una interfaz de línea de comandos."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "2d67c06f",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Ozone consta de volúmenes, cubos (*buckets*) y claves:\n",
    "    - Los volúmenes son similares a las cuentas de usuario. Solo los administradores pueden crear o eliminar volúmenes.\n",
    "    - Los cubos son similares a los directorios. Un cubo puede contener cualquier cantidad de claves, pero los cubos no pueden contener otros cubos.\n",
    "    - Las claves son similares a los archivos. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e9a19b15",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## GlusterFS"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "788eed78",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Gluster es un sistema de ficheros en red escalable libre y de fuente abierta.\n",
    "    - Extraído de: <https://docs.gluster.org/en/latest/> | <https://www.gluster.org/>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "7ad08e88",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "- Los sistemas de almacenamiento de escalamiento horizontal basados en GlusterFS son adecuados para datos no estructurados, como documentos, imágenes, archivos de audio y video, y archivos de registro. \n",
    "- Con esto, podemos crear grandes soluciones de almacenamiento distribuido para transmisión de medios, análisis de datos, ingesta de datos y otras tareas intensivas en datos y ancho de banda."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "7d68b615",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- La arquitectura GlusterFS agrega recursos informáticos, de almacenamiento y de E/S en un espacio de nombres global.\n",
    "- Cada servidor más el almacenamiento básico adjunto (configurado como almacenamiento adjunto directo, JBOD o utilizando una red de área de almacenamiento) se considera un nodo.\n",
    "     - Extraído de: <https://en.wikipedia.org/wiki/Gluster>. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "62179ebb",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- La capacidad se escala agregando nodos adicionales o agregando almacenamiento adicional a cada nodo.\n",
    "- El rendimiento aumenta al implementar el almacenamiento entre más nodos.\n",
    "- La alta disponibilidad se logra mediante la replicación de datos de *n* vías entre nodos."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4eb20ef5",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Ceph"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "1b73dfe9",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- La base de Ceph es el *Reliable Autonomic Distributed Object Store (RADOS)*\n",
    "- Proporciona a las aplicaciones almacenamiento de objetos, bloques y sistemas de archivos en un solo clúster de almacenamiento unificado.\n",
    "- Esto lo hace altamente confiable y fácil de gestionar.\n",
    "    - Extraído de: <https://ceph.io/>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "14b73559",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- El algoritmo CRUSH de Ceph libera a los clústeres de almacenamiento de las limitaciones de escalabilidad y rendimiento impuestas por el mapeo de tablas de datos centralizados.\n",
    "- Replica y reequilibra los datos dentro del clúster de forma dinámica, eliminando esta tediosa tarea para los administradores, al tiempo que ofrece escalabilidad infinita y alto rendimiento."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c8fbd2a4",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Recursos:\n",
    "    - Democratising Data Storage. DIGITAL REPORT 2021:\n",
    "    - <https://ceph.io/assets/pdfs/report-dec2021.pdf>.\n",
    "    - Ceph Quickstart: <https://rook.io/docs/rook/v1.8/quickstart.html>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "92c53d22-75ad-4718-a0fd-2ed285d0f0a9",
   "metadata": {},
   "source": [
    "## MinIO"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d0299d85-f591-4a4a-9c0a-04eeca1fec16",
   "metadata": {},
   "source": [
    "- MinIO es un *object store* de alto desempeño compatible con S3.\n",
    "- Ha sido construido para cargas de trabajo de larga escala AI/ML en *datalakes* y bases de datos.\n",
    "- Se puede ejecutar en cualquier *cloud vendor* o en infraestructuras *on-premises*.\n",
    "- Tiene licencia dual: open source GNU AGPL v3 y licencia comercial para empresas."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b86e7def-4bb1-4c05-970e-d9ea015c2674",
   "metadata": {},
   "source": [
    "- Fuente: <https://min.io/>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e8b75594",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Amazon Services"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "65e29bbe",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Amazon Simple Storage Service (Amazon S3) es un almacenamiento de objetos con una interfaz web simple que permite almacenar y recuparar cualquier volumen de datos desde cualquier lugar en Internet.\n",
    "- Está diseñado para entregar un 99.999% de durabilidad y escalar a más de trillones de objetos en todo el mundo.\n",
    "    - Extraído de: <https://aws.amazon.com/free/storage/s3/>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "22cd62e5",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Amazon Redshift es un servicio de *data warehouse* en la nube.\n",
    "- Utiliza SQL para analizar datos estructurados y semiestructurados en almacenamientos de datos, bases de datos operativas y lagos de datos, con hardware y machine learning diseñado por AWS.  \n",
    "- Redshift permite guardar los resultados de las consultas en el *S3 data lake* utilizando formatos abiertos como Apache Parquet para su posterior análisis con Amazon EMR, Amazon Athena, y Amazon SageMaker.\n",
    "    - Extraído de: Amazon Redshift <https://aws.amazon.com/redshift/>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "eed2d7b0",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Todos los servicios de Amazon para análisis en Amazon:\n",
    "    - <https://aws.amazon.com/es/big-data/datalakes-and-analytics/>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a51ae8e6",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Microsoft Azure Data Lake Store"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "999b6743",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Lago de datos seguro y escalable de forma masiva para sus cargas de trabajo de análisis de alto rendimiento.\n",
    "- Fuente: <https://azure.microsoft.com/es-es/services/storage/data-lake-storage/>.\n",
    "- Soluciones en Big Data: <https://azure.microsoft.com/es-es/solutions/big-data/>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "010d6ce5",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Microsoft Azure Data Lake Analytics\n",
    "- Servicio de análisis en la nube para desarrollar y ejecutar fácilmente programas de procesamiento y transformación de petabytes de datos en paralelo de forma masiva con los lenguajes U-SQL, R, Python y .NET. \n",
    "- Sin infraestructura para administrar, se procesan los datos a petición, escalando las unidades de análisis de forma instantánea.\n",
    "- Fuente: <https://azure.microsoft.com/es-es/services/data-lake-analytics/#overview>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "924d5bc0",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Google BigQuery"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d675a6fc",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Almacén de datos multinube de alta escalabilidad, rentable y sin servidor.\n",
    "    - <https://cloud.google.com/bigquery>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "dbc22bae",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Google Cloud Smart Analytics Platform:\n",
    "- Es una plataforma de analíticas flexible, abierta y segura que ayuda a convertirse en una organización basada en la inteligencia. \n",
    "- Se basa en décadas de innovación de Google en el sector de la inteligencia artificial y en el desarrollo de servicios a escala de Internet. \n",
    "    - Extraído de <https://cloud.google.com/solutions/smart-analytics>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ea5261af-f191-4faf-aef0-a6de676b7a15",
   "metadata": {},
   "source": [
    "## Data warehouses / Data lakes / Lakehouses"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "9eb77d0e",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Snowflake"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f1291c79",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Nacido como almacén de datos Snowflake facilita el almacenamiento, procesamiento, y brinda soluciones analíticas flexibles y veloces de manera fácil con una escalabilidad casi infinita, habilitada automáticamente o sobre la marcha.\n",
    "- Está alojado en Amazon AWS.\n",
    "    - Fuente: <https://www.snowflake.com/>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "cfbada30",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Databricks"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ba77a0fa",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Fundada en 2013 por los creadores originales de Apache Spark, Delta Lake y MLflow, Databricks reúne ingeniería de datos, ciencia y análisis en una plataforma abierta y unificada para que los equipos de datos puedan colaborar e innovar más rápido. \n",
    "- Está alojado en Microsoft Azure.\n",
    "    - Fuente: <https://databricks.com/>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f3e25bfc-3487-4a4e-be66-9a26866045e8",
   "metadata": {},
   "source": [
    "## Delta Lake"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "fe830d33-a29a-4d71-bc1b-572aa62f5dee",
   "metadata": {},
   "source": [
    "- Delta Lake es un *framework* de almacenamiento de código abierto que permite crear una arquitectura *Lakehouse* independiente del formato sobre un lago de datos con motores informáticos que incluyen Spark, PrestoDB, Flink, Trino, Hive, Snowflake, Google BigQuery, Athena, Redshift, Databricks, y Azure Fabric.\n",
    "- Proporciona transacciones ACID, manejo escalable de metadatos y unifica el procesamiento de datos por lotes y streaming sobre lagos de datos existentes, como S3, ADLS, GCS y HDFS.\n",
    "- Cuenta con una API para los lenguajes de programación Scala, Java, Rust y Python. \n",
    "- Puede además leer tablas Delta con los clientes Iceberg y Hudi utilizando el formato *Delta Universal*, también llamado *UniForm*."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "44de7ed1-26a1-4fb7-b4d2-68e42c4d637b",
   "metadata": {},
   "source": [
    "- Fuente: <https://delta.io/>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d4c7fcbb-7f0b-402a-a685-fbf7f1865270",
   "metadata": {},
   "source": [
    "## Apache Iceberg"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3c66f520-043f-4386-b510-b23b8b50a41a",
   "metadata": {},
   "source": [
    "- *Iceberg es un formato de alto rendimiento para tablas analíticas enormes. Iceberg aporta la confiabilidad y simplicidad de las tablas SQL a big data, al tiempo que hace posible que motores como Spark, Trino, Flink, Presto, Hive e Impala trabajen de forma segura con las mismas tablas al mismo tiempo.*"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "350fb3a6-f98e-4fa0-90c0-fa75fac3912c",
   "metadata": {},
   "source": [
    "- Fuente: <https://iceberg.apache.org/>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a1dc9a0b-cf3c-49a7-a420-285d3cf7e3d1",
   "metadata": {},
   "source": [
    "## Apache Hudi"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "cb39cc11-2cac-46b8-be8e-6825646d6a06",
   "metadata": {},
   "source": [
    "- Apache Hudi es una plataforma de lago de datos transaccional que aporta capacidades de base de datos y almacén de datos al lago de datos. \n",
    "- Hudi reinventa el lento procesamiento de datos por lotes con un nuevo y potente framework de procesamiento incremental para análisis de baja latencia a nivel de minutos."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "6b0de288-fd41-45a2-adb4-742de02bdc40",
   "metadata": {},
   "source": [
    "- Fuente: <https://hudi.apache.org/>.\n",
    "- Comparativa entre Hudi, Delta Lake e Iceberg: \n",
    "- <https://www.onehouse.ai/blog/apache-hudi-vs-delta-lake-vs-apache-iceberg-lakehouse-feature-comparison>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f03b5781-65cd-49e0-8fa6-84ebf74648fe",
   "metadata": {},
   "source": [
    "## Apache XTable"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "40bfb055-b74e-4ada-af4c-75d735e2f2b6",
   "metadata": {},
   "source": [
    "- Apache XTable foca en la interoperabilidad entre los distintos formatos de tablas de lagos de datos como Apache Hudi, Delta Lake, y Apache Iceberg.\n",
    "- Actúa como capa intermedia que traduce los metadatos de los formatos de tablas de la fuente al destino sin necesidad de duplicar o reescribir los ficheros de datos."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ad3f37bd-03af-4764-9696-f5c8c9055dc2",
   "metadata": {},
   "source": [
    "- Fuente: https://xtable.apache.org/."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ee90d9df",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## NoSQL databases"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "fe888dd6",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Las bases de datos NoSQL, (no solo SQL) o no relacionales, se utilizan mayoritariamente para la recopilación y análisis de Big Data.\n",
    "- Permiten la organización dinámica de datos no estructurados.\n",
    "- Las bases de datos relacionales, por otro lado, tienen un diseño estructurado y tabular."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "90e26461-0d77-40b4-b234-c899feff0c2d",
   "metadata": {},
   "source": [
    "- Bases de datos basadas en columnas están optimizadas para los trabajos analíticos intensivos de lectura.\n",
    "    - *Online Analytical Processing (OLAP)*.\n",
    "- Bases de datos basadas en filas son mejores para trabajos intensivos de escritura transaccional.\n",
    "    - *Online Transactional Processing (OLTP)*."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e6bc0302",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Existen diversos tipos de bases de datos No SQL:\n",
    "    - Bases de datos de documentos (MongoDB, Couch DB)\n",
    "    - Pares de valores (Amazon DynamoDB, Redis)\n",
    "    - Columnares (Apache Cassandra, Apache HBase)\n",
    "    - De grafos (Neo4j, Stardog)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "6244c581",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Herramientas Apache para Big Data"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "04414148-4e6c-4629-9cb1-5c9d649b6376",
   "metadata": {},
   "source": [
    "- Algunas de las herramientas de la ASF (*Apache Software Foundation*) <https://apache.org/> para Big Data: "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "246e9036",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Apache Mesos"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "da749aa7",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Un núcleo (*kernel*) de sistemas distribuidos.\n",
    "- Mesos está construido usando los mismos principios que el *kernel* de Linux, solo que en un nivel diferente de abstracción.\n",
    "- abstrae la CPU, la memoria, el almacenamiento y otros recursos informáticos de las máquinas (físicas o virtuales), lo que permite que los sistemas distribuidos elásticos y tolerantes a fallas se construyan fácilmente y se ejecuten de manera efectiva."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3406c42c",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "- El *kernel* de Mesos se ejecuta en todas las máquinas y proporciona aplicaciones (p. ej., Hadoop, Spark, Kafka, Elasticsearch) y una API para la gestión y programación de recursos para todo el centro de datos y entornos de nube.\n",
    "    - Extraído de: <https://mesos.apache.org/>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "9511a64e-1fd9-415a-a044-c3c323143979",
   "metadata": {},
   "source": [
    "- Una comparativa entre las tecnologías Apache Mesos junto al gestor de contenedores Marathon <https://mesosphere.github.io/marathon/> y Kubernetes:\n",
    "    - <https://www.baeldung.com/ops/mesos-kubernetes-comparison>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "759636e6",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Apache Zookeeper"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "786e3754",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- ZooKeeper es un servicio centralizado para mantener la información de configuración, nombrar, brindar sincronización distribuida y servicios grupales.\n",
    "    - Extraído de: <https://zookeeper.apache.org/>. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "60b85ea0",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Apache Ambari"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5930acad",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- El proyecto Apache Ambari tiene como objetivo simplificar la administración de Hadoop mediante el desarrollo de software para el aprovisionamiento, la administración y el monitoreo de clústeres de Apache Hadoop.\n",
    "- Ambari proporciona una interfaz de usuario web de administración de Hadoop intuitiva y fácil de usar respaldada por sus API RESTful. \n",
    "    - Extraído de: <https://ambari.apache.org/>. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "581b2b91",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Apache Ranger"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ec4d5e78",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Apache Ranger™ es un framework para habilitar, monitorear y administrar la seguridad integral de los datos en toda la plataforma Hadoop.\n",
    "    - Extraído de: <https://ranger.apache.org/>. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "86b17935",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Apache Sentry (Attic)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "556db67c",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Apache Sentry™ es un sistema para hacer cumplir la autorización detallada basada en roles para datos y metadatos almacenados en un clúster de Hadoop. Está en el *attic* desde diciembre del 2020.\n",
    "    - Extraído de: <https://sentry.apache.org/>. "
   ]
  }
 ],
 "metadata": {
  "celltoolbar": "Slideshow",
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.12"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": true,
   "sideBar": true,
   "skip_h1_title": false,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {},
   "toc_section_display": true,
   "toc_window_display": false
  },
  "widgets": {
   "application/vnd.jupyter.widget-state+json": {
    "state": {},
    "version_major": 2,
    "version_minor": 0
   }
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}