Repository navigation
Releases: marnau74/murcia-open-data
Release list
Datos 2026-08
Datos de alojamiento turístico en la Región de Murcia de 2015-01 a 2026-08 (INE y murciaturistica.es), capa gold del modelo en estrella.
| Tabla | Filas |
|---|---|
dim_fecha |
140 |
dim_residencia |
2 |
dim_territorio |
22 |
dim_tipo_alojamiento |
4 |
fct_demanda_mensual |
5610 |
fct_oferta_mensual |
1498 |
fct_precios_mensual |
277 |
*.parquet: una tabla por fichero.murcia_turismo.duckdb: todas las tablas en el esquemagold.contrato.json: contrato 1.0.0 (tablas, columnas y tipos).SHA256SUMS: comprueba la descarga consha256sum -c SHA256SUMS.
Documentación y linaje: https://marnau74.github.io/murcia-open-data/docs/
v2.1.0 · Databricks
A�adido
- Databricks como segundo destino del mismo proyecto dbt (ADR 0005): cat�logo
murcia_turismoen Unity Catalog, bronze subido a un volume y creado como tablas Delta,
targetdatabricksen dbt, macros de portabilidad, job definido en un Databricks Asset
Bundle (databricks.yml) y test de paridad de gold entre DuckDB y Databricks. Se ejecuta
en la publicaci�n mensual si el repositorio tiene los secretos de Databricks.
Gold es id�ntico en DuckDB y en Databricks (test de paridad en cada ejecuci�n mensual). Decisi�n documentada en ADR 0005.
v2.0.0 · Plataforma de datos
Plataforma de datos: dos fuentes, arquitectura por capas, dbt, Dagster y publicaci�n
autom�tica.
Cambiado
- El informe web lee de la capa gold y ampl�a su alcance: hoteles, campings, apartamentos y
turismo rural hasta el �ltimo mes publicado por el INE, empleo, precios hoteleros y el
resultado de la validaci�n cruzada entre fuentes. Todas las cifras siguen saliendo de los
datos. - El c�digo pasa a ser el paquete
murcia_datay las dependencias se gestionan con uv
(pyproject.tomlyuv.lock). - La CI comprueba lint y formato con ruff antes de los tests.
Eliminado
- El pipeline de pandas de la v1 (
pipeline.py,transform/,quality/) y su salida en
Parquet: su l�gica est� en dbt y reproduce las mismas cifras sin ninguna diferencia.
A�adido
- Publicaci�n en dos workflows:
ci.yml(calidad en cada cambio, sin red) y
publicar.yml(pipeline completo con Dagster, web, documentaci�n de dbt con el grafo
de linaje en/docs/y release mensual de datos). - Release de datos
datos-AAAA-MM(murcia_data.release): gold en Parquet y DuckDB, con
contrato.jsonversionado ySHA256SUMS. - Control de privacidad en pre-commit y en la CI: falla si alg�n fichero contiene rutas de
un equipo personal o correos personales. - Orquestaci�n con Dagster (
murcia_data.definitions): ingesta, bronze y modelos de dbt
en un �nico grafo de assets con linaje de punta a punta; los tests de dbt se
registran como comprobaciones, m�s dos propias sobre bronze (cat�logo completo,
bloqueante, y datos recientes del INE, de aviso). Trabajopipeline_mensual
programado el d�a 3 de cada mes a las 07:00 (hora de Madrid). - Cliente de la API del INE con reintentos y espera exponencial; ingesta de las series a
la capa raw (data/raw/ine/<fecha>/<serie>.json) con escritura at�mica. - Cat�logo de 121 series del INE (
dbt/seeds/series_ine.csv): demanda y oferta de
hoteles, apartamentos, campings y turismo rural en la Regi�n, la Costa C�lida,
Cartagena y Murcia, y el �ndice de precios hoteleros de la Regi�n y de Espa�a. Se
genera a partir de los metadatos estructurados del INE con
scripts/generar_catalogo_ine.py. - Capa bronze en DuckDB (
data/warehouse.duckdb):bronze.ine_seriesy
bronze.murciaturistica_destinos, tipadas, con el secreto estad�stico y las notas
del INE, columnas de auditor�a (_fichero_origen,_ingestado_en) y registro de
cada carga enbronze._cargas. - Proyecto dbt (
dbt/) con la capa silver: staging 1:1 con bronze e intermedios con
las reglas de negocio de la v1 en SQL (meses sin publicar, destino �no desglosado�
por zona). Reproduce la tabla de hechos de la v1 sin ninguna diferencia (1.310 filas).
Tests gen�ricos propios, tests singulares de negocio y tests unitarios de dbt. - Capa gold en dbt con contratos:
dim_fecha,dim_territorio(jerarqu�a de las dos
fuentes),dim_tipo_alojamiento,dim_residenciay los hechos
fct_demanda_mensual,fct_oferta_mensualyfct_precios_mensual. Hoteles,
apartamentos, campings y turismo rural hasta agosto de 2026. - Validaci�n cruzada entre el INE y murciaturistica, con excepciones documentadas
(ADR 0004). - sqlfluff para el estilo del SQL y
dbt builden la CI sobre un warehouse de prueba
construido con los fixtures. - pre-commit con ruff y comprobaciones b�sicas de ficheros.
- Dependabot para dependencias y GitHub Actions.
- ADR 0001-0003: DuckDB, Dagster y arquitectura por capas.
Informe: https://marnau74.github.io/murcia-open-data/ � Documentaci�n y linaje: https://marnau74.github.io/murcia-open-data/docs/
Datos 2026-08
Datos de alojamiento turístico en la Región de Murcia de 2015-01 a 2026-08 (INE y murciaturistica.es), capa gold del modelo en estrella.
| Tabla | Filas |
|---|---|
dim_fecha |
140 |
dim_residencia |
2 |
dim_territorio |
22 |
dim_tipo_alojamiento |
4 |
fct_demanda_mensual |
5598 |
fct_oferta_mensual |
1492 |
fct_precios_mensual |
277 |
*.parquet: una tabla por fichero.murcia_turismo.duckdb: todas las tablas en el esquemagold.contrato.json: contrato 1.0.0 (tablas, columnas y tipos).SHA256SUMS: comprueba la descarga consha256sum -c SHA256SUMS.
Documentación y linaje: https://marnau74.github.io/murcia-open-data/docs/