Librería para analizar, generar y validar metadatos en formato data.json.
Python Makefile
Fetching latest commit…
Cannot retrieve the latest commit at this time.
Permalink
Failed to load latest commit information.
.github Agrego templates de contribuciones de la comunidad. May 12, 2017
docs Refactor del método "sheet_to_table" para incrementar la eficiencia y… Jul 19, 2017
pydatajson Agrego método `get_theme()` para devolver un tema de la taxonomía esp… Nov 17, 2017
samples Actualizo documentación con la funcionalidad de generación de indicad… May 23, 2017
tests Agrego método `get_theme()` para devolver un tema de la taxonomía esp… Nov 17, 2017
.gitignore Incluyo archivos faltantes en el manifiesto del paquete. May 4, 2017
.travis.yml Cambio contraseña encriptada para deploy automático a pypi con Travis. Jun 22, 2017
HISTORY.md Agrego método `get_theme()` para devolver un tema de la taxonomía esp… Nov 17, 2017
LICENSE Initial commit. Nov 21, 2016
MANIFEST.in Cambio files de instalación a path absoluto para solucionar problemas… May 4, 2017
Makefile Termino de agregar tabla de contenidos. Para que quede bien en RTD ti… Dec 15, 2016
README.md Minor fixes (proposal) Jul 6, 2017
appveyor.yml Corrijo CI config para AppVeyor Jan 13, 2017
requirements.txt * Agrega método para convertir el título de un dataset o distribución… Aug 20, 2017
requirements_dev.txt Merge pull request #41 from datosgobar/reestructuracion-repo Jan 30, 2017
setup.cfg Initial commit. Nov 21, 2016
setup.py Agrego método `get_theme()` para devolver un tema de la taxonomía esp… Nov 17, 2017
tox.ini Initial commit. Nov 21, 2016
travis_pypi_setup.py Initial commit. Nov 21, 2016

README.md

pydatajson

Coverage Status Build Status PyPI Stories in Ready Documentation Status

Paquete en python con herramientas para manipular y validar metadatos de catálogos de datos.

Indice

Este README cubre los casos de uso más comunes para la librería, junto con ejemplos de código, pero sin mayores explicaciones. Para una versión más detallada de los comportamientos, revise la documentación oficial o el Manual de Uso de la librería.

Instalación

  • Producción: Desde cualquier parte
$ pip install pydatajson
  • Desarrollo: Clonar este repositorio, y desde su raíz, ejecutar:
$ pip install -e .

A partir de la versión 0.2.x (Febrero 2017), la funcionalidad del paquete se mantendrá fundamentalmente estable hasta futuro aviso. De todas maneras, si piensa utilizar esta librería en producción, le sugerimos fijar la versión que emplea en un archivo requirements.txt.

Usos

La librería cuenta con funciones para cuatro objetivos principales:

  • validación de metadatos de catálogos y los datasets,
  • generación de reportes sobre el contenido y la validez de los metadatos de catálogos y datasets,
  • transformación de archivos de metadatos al formato estándar (JSON), y
  • generación de indicadores de monitoreo de catálogos y sus datasets.

A continuación se proveen ejemplos de cada uno de estas acciones. Si desea analizar un flujo de trabajo más completo, refiérase a los Jupyter Notebook de samples/

Setup

DataJson utiliza un esquema default que cumple con el perfil de metadatos recomendado en la Guía para el uso y la publicación de metadatos (v0.1) del Paquete de Apertura de Datos.

from pydatajson import DataJson

dj = DataJson()

Si se desea utilizar un esquema alternativo, por favor, consulte la sección "Uso > Setup" del manual oficial, o la documentación oficial.

Validación de metadatos de catálogos

  • Si se desea un resultado sencillo (V o F) sobre la validez de la estructura del catálogo, se utilizará is_valid_catalog(catalog).
  • Si se desea un mensaje de error detallado, se utilizará validate_catalog(catalog).

Por conveniencia, la carpeta tests/samples/ contiene varios ejemplos de data.json bien y mal formados con distintos tipos de errores.

Archivo data.json local

from pydatajson import DataJson

dj = DataJson()
catalog = "tests/samples/full_data.json"
validation_result = dj.is_valid_catalog(catalog)
validation_report = dj.validate_catalog(catalog)

print validation_result
True

print validation_report
{
    "status": "OK",
    "error": {
        "catalog": {
            "status": "OK",
            "errors": [],
            "title": "Datos Argentina"
        },
        "dataset": [
            {
                "status": "OK",
                "errors": [],
                "title": "Sistema de contrataciones electrónicas"
            }
        ]
    }
}

Otros formatos

pydatajson puede interpretar catálogos tanto en formato JSON como en formato XLSX (siempre y cuando se hayan creado utilizando la plantilla, estén estos almacenados localmente o remotamente a través de URLs de descarga directa. También es capaz de interpretar diccionarios de Python con metadatos de catálogos.

from pydatajson import DataJson

dj = DataJson()
catalogs = [
    "tests/samples/full_data.json", # archivo JSON local
    "http://181.209.63.71/data.json", # archivo JSON remoto
    "tests/samples/catalogo_justicia.xlsx", # archivo XLSX local
    "https://raw.githubusercontent.com/datosgobar/pydatajson/master/tests/samples/catalogo_justicia.xlsx", # archivo XLSX remoto
    {
        "title": "Catálogo del Portal Nacional",
	"description" "Datasets abiertos para el ciudadano."
        "dataset": [...],
	(...)
    } # diccionario de Python
]

for catalog in catalogs:
    validation_result = dj.is_valid_catalog(catalog)
    validation_report = dj.validate_catalog(catalog)

Generación de reportes y configuraciones del Harvester

Si ya se sabe que se desean cosechar todos los datasets [válidos] de uno o varios catálogos, se pueden utilizar directamente el método generate_harvester_config(), proveyendo harvest='all' o harvest='valid' respectivamente. Si se desea revisar manualmente la lista de datasets contenidos, se puede invocar primero generate_datasets_report(), editar el reporte generado y luego proveérselo a generate_harvester_config(), junto con la opción harvest='report'.

Crear un archivo de configuración eligiendo manualmente los datasets a federar

catalogs = ["tests/samples/full_data.json", "http://181.209.63.71/data.json"]
report_path = "path/to/report.xlsx"
dj.generate_datasets_report(
    catalogs=catalogs,
    harvest='none', # El reporte tendrá `harvest==0` para todos los datasets
    export_path=report_path
)

# A continuación, se debe editar el archivo de Excel 'path/to/report.xlsx',
# cambiando a '1' el campo 'harvest' en los datasets que se quieran cosechar.

config_path = 'path/to/config.csv'
dj.generate_harvester_config(
    harvest='report',
    report=report_path,
    export_path=config_path
)

El archivo config_path puede ser provisto a Harvester para federar los datasets elegidos al editar el reporte intermedio report_path.

Por omisión, en la salida de generate_harvester_config la frecuencia de actualización deseada para cada dataset será "R/P1D", para intentar cosecharlos diariamente. De preferir otra frecuencia (siempre y cuando sea válida según ISO 8601), se la puede especificar a través del parámetro opcional frequency. Si especifica expĺicitamente frequency=None, se conservarán las frecuencias de actualización indicadas en el campo accrualPeriodicity de cada dataset.

Crear un archivo de configuración que incluya únicamente los datasets con metadata válida

Conservando las variables anteriores:

dj.generate_harvester_config(
    catalogs=catalogs,
    harvest='valid'
    export_path='path/to/config.csv'
)

Transformación de un archivo de metados XLSX al estándar JSON

from pydatajson.readers import read_catalog
from pydatajson.writers import write_json
from pydatajson import DataJson

dj = DataJson()
catalogo_xlsx = "tests/samples/catalogo_justicia.xlsx"

catalogo = read_catalog(catalogo_xlsx)
write_json(obj=catalogo, path="tests/temp/catalogo_justicia.json")

Generación de indicadores de monitoreo de catálogos

pydatajson puede calcular indicadores sobre uno o más catálogos. Estos indicadores recopilan información de interés sobre los datasets de cada uno, tales como:

  • el estado de validez de los catálogos;
  • el número de días desde su última actualización;
  • el formato de sus distribuciones;
  • frecuencia de actualización de los datasets;
  • estado de federación de los datasets, comparándolo con el catálogo central

La función usada es generate_catalogs_indicators, que acepta los catálogos como parámetros. Devuelve dos valores:

  • una lista con tantos valores como catálogos, con cada elemento siendo un diccionario con los indicadores del catálogo respectivo;
  • un diccionario con los indicadores de la red entera (una suma de los individuales)
catalogs = ["tests/samples/full_data.json", "http://181.209.63.71/data.json"]
indicators, network_indicators = dj.generate_catalogs_indicators(catalogs)

# Opcionalmente podemos pasar como segundo argumento un catálogo central,
# para poder calcular indicadores sobre la federación de los datasets en 'catalogs'

central_catalog = "http://datos.gob.ar/data.json"
indicators, network_indicators = dj.generate_catalogs_indicators(catalogs, central_catalog)

Tests

Los tests se corren con nose. Desde la raíz del repositorio:

Configuración inicial:

$ pip install -r requirements_dev.txt
$ mkdir tests/temp

Correr la suite de tests:

$ nosetests

Recursos de interés

Créditos

El validador de archivos data.json desarrollado es mayormente un envoltorio (wrapper) alrededor de la librería jsonschema, que implementa el vocabulario definido por JSONSchema.org para anotar y validar archivos JSON.