Skip to content

Releases: marnau74/murcia-open-data

Datos 2026-08

Choose a tag to compare

@github-actions github-actions released this 03 Oct 10:12

Datos de alojamiento turístico en la Región de Murcia de 2015-01 a 2026-08 (INE y murciaturistica.es), capa gold del modelo en estrella.

Tabla Filas
dim_fecha 140
dim_residencia 2
dim_territorio 22
dim_tipo_alojamiento 4
fct_demanda_mensual 5610
fct_oferta_mensual 1498
fct_precios_mensual 277
  • *.parquet: una tabla por fichero.
  • murcia_turismo.duckdb: todas las tablas en el esquema gold.
  • contrato.json: contrato 1.0.0 (tablas, columnas y tipos).
  • SHA256SUMS: comprueba la descarga con sha256sum -c SHA256SUMS.

Documentación y linaje: https://marnau74.github.io/murcia-open-data/docs/

v2.1.0 · Databricks

Choose a tag to compare

@marnau74 marnau74 released this 29 Sep 19:39
34d5deb

A�adido

  • Databricks como segundo destino del mismo proyecto dbt (ADR 0005): cat�logo
    murcia_turismo en Unity Catalog, bronze subido a un volume y creado como tablas Delta,
    target databricks en dbt, macros de portabilidad, job definido en un Databricks Asset
    Bundle (databricks.yml) y test de paridad de gold entre DuckDB y Databricks. Se ejecuta
    en la publicaci�n mensual si el repositorio tiene los secretos de Databricks.

Gold es id�ntico en DuckDB y en Databricks (test de paridad en cada ejecuci�n mensual). Decisi�n documentada en ADR 0005.

v2.0.0 · Plataforma de datos

Choose a tag to compare

@marnau74 marnau74 released this 29 Sep 18:43
eb4435b

Plataforma de datos: dos fuentes, arquitectura por capas, dbt, Dagster y publicaci�n
autom�tica.

Cambiado

  • El informe web lee de la capa gold y ampl�a su alcance: hoteles, campings, apartamentos y
    turismo rural hasta el �ltimo mes publicado por el INE, empleo, precios hoteleros y el
    resultado de la validaci�n cruzada entre fuentes. Todas las cifras siguen saliendo de los
    datos.
  • El c�digo pasa a ser el paquete murcia_data y las dependencias se gestionan con uv
    (pyproject.toml y uv.lock).
  • La CI comprueba lint y formato con ruff antes de los tests.

Eliminado

  • El pipeline de pandas de la v1 (pipeline.py, transform/, quality/) y su salida en
    Parquet: su l�gica est� en dbt y reproduce las mismas cifras sin ninguna diferencia.

A�adido

  • Publicaci�n en dos workflows: ci.yml (calidad en cada cambio, sin red) y
    publicar.yml (pipeline completo con Dagster, web, documentaci�n de dbt con el grafo
    de linaje en /docs/ y release mensual de datos).
  • Release de datos datos-AAAA-MM (murcia_data.release): gold en Parquet y DuckDB, con
    contrato.json versionado y SHA256SUMS.
  • Control de privacidad en pre-commit y en la CI: falla si alg�n fichero contiene rutas de
    un equipo personal o correos personales.
  • Orquestaci�n con Dagster (murcia_data.definitions): ingesta, bronze y modelos de dbt
    en un �nico grafo de assets con linaje de punta a punta; los tests de dbt se
    registran como comprobaciones, m�s dos propias sobre bronze (cat�logo completo,
    bloqueante, y datos recientes del INE, de aviso). Trabajo pipeline_mensual
    programado el d�a 3 de cada mes a las 07:00 (hora de Madrid).
  • Cliente de la API del INE con reintentos y espera exponencial; ingesta de las series a
    la capa raw (data/raw/ine/<fecha>/<serie>.json) con escritura at�mica.
  • Cat�logo de 121 series del INE (dbt/seeds/series_ine.csv): demanda y oferta de
    hoteles, apartamentos, campings y turismo rural en la Regi�n, la Costa C�lida,
    Cartagena y Murcia, y el �ndice de precios hoteleros de la Regi�n y de Espa�a. Se
    genera a partir de los metadatos estructurados del INE con
    scripts/generar_catalogo_ine.py.
  • Capa bronze en DuckDB (data/warehouse.duckdb): bronze.ine_series y
    bronze.murciaturistica_destinos, tipadas, con el secreto estad�stico y las notas
    del INE, columnas de auditor�a (_fichero_origen, _ingestado_en) y registro de
    cada carga en bronze._cargas.
  • Proyecto dbt (dbt/) con la capa silver: staging 1:1 con bronze e intermedios con
    las reglas de negocio de la v1 en SQL (meses sin publicar, destino �no desglosado�
    por zona). Reproduce la tabla de hechos de la v1 sin ninguna diferencia (1.310 filas).
    Tests gen�ricos propios, tests singulares de negocio y tests unitarios de dbt.
  • Capa gold en dbt con contratos: dim_fecha, dim_territorio (jerarqu�a de las dos
    fuentes), dim_tipo_alojamiento, dim_residencia y los hechos
    fct_demanda_mensual, fct_oferta_mensual y fct_precios_mensual. Hoteles,
    apartamentos, campings y turismo rural hasta agosto de 2026.
  • Validaci�n cruzada entre el INE y murciaturistica, con excepciones documentadas
    (ADR 0004).
  • sqlfluff para el estilo del SQL y dbt build en la CI sobre un warehouse de prueba
    construido con los fixtures.
  • pre-commit con ruff y comprobaciones b�sicas de ficheros.
  • Dependabot para dependencias y GitHub Actions.
  • ADR 0001-0003: DuckDB, Dagster y arquitectura por capas.

Informe: https://marnau74.github.io/murcia-open-data/ � Documentaci�n y linaje: https://marnau74.github.io/murcia-open-data/docs/

Datos 2026-08

Choose a tag to compare

@github-actions github-actions released this 29 Sep 18:49
f334389

Datos de alojamiento turístico en la Región de Murcia de 2015-01 a 2026-08 (INE y murciaturistica.es), capa gold del modelo en estrella.

Tabla Filas
dim_fecha 140
dim_residencia 2
dim_territorio 22
dim_tipo_alojamiento 4
fct_demanda_mensual 5598
fct_oferta_mensual 1492
fct_precios_mensual 277
  • *.parquet: una tabla por fichero.
  • murcia_turismo.duckdb: todas las tablas en el esquema gold.
  • contrato.json: contrato 1.0.0 (tablas, columnas y tipos).
  • SHA256SUMS: comprueba la descarga con sha256sum -c SHA256SUMS.

Documentación y linaje: https://marnau74.github.io/murcia-open-data/docs/