Home
En esta wiki estará disponible la documentación de las clases que componen la librería BigDataGovernance de Huemul BigData.
Para conocer el detalle de los últimos release click acá
La librería está compuesta por múltiples clases, la utilización y ejemplos está detallado en cada una de las páginas que definen las clases,
huemul_BigDataGovernance : es la clase inicial de la librería Huemul Big Data Governance. Esta clase expone atributos y métodos relacionados a spark, y utilitarios de uso común en cualquier proyecto BigData.
huemul_Control: es la clase que posibilita la integración del desarrollo con el gobierno de datos. Control registra todas las definiciones de tablas y datalake en un diccionario de datos en PostgreSQL. Por otro lado genera un registro de actividad en la ejecución de los procesos, identificando automáticamente la trazabilidad del datalake y las tablas.
huemul_Table: permite definir una estructura de tabla en BigData. La definición se hace en forma similar a la definición de una clase, y conceptualmente tiene los mismos principios que una tabla tradicional, pero con las ventajas de definir el almacenamiento en HDFS, y la conexión con Hive
huemul_Columns: permite definir columnas dentro de una tabla en BigData.
huemul_DataFrame: es una extensión de los DataFrame de Spark. Esta clase expone atributos y métodos relacionados a la implementación de DataQuality.