This repository has been archived by the owner. It is now read-only.
Indexation des données du code du travail numérique
Branch: master
Clone or download
Fetching latest commit…
Cannot retrieve the latest commit at this time.
Permalink
Type Name Latest commit message Commit time
Failed to load latest commit information.
dataset
docker
search
.dockerignore
.env.sample
.gitignore
.pylintrc
CCNdata.json
Dockerfile
LICENSE
Makefile
Pipfile
Pipfile.lock
README.md
Testcdt.json
curl.sh
docker-compose.yml
outil.json

README.md

💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀



Migrated to SocialGouv/code-du-travail-numerique monorepo



💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀💀









Code du travail - Data

Ce dépôt de code permet d'indexer différentes sources de données relatives au Code du travail dans Elasticsearch.

Installation de l'environnement de développement

Créez un fichier .env (utilisé par Docker) :

PYTHONPATH=.
PORT=9200
# Use the Docker elasticsearch's hostname: defaults to the container's name if not specified.
ES_HOST=elasticsearch

Puis :

$ docker-compose up

Modifier le fichier docker-compose.override.yml si besoin

Indexation des données

Si besoin de réindéxer les données :

$ docker exec -ti code-du-travail-data-python pipenv run python search/indexing/create_indexes.py

Pour lancer un shell Docker

$ docker exec -ti code-du-travail-data-python /bin/sh
$ docker exec -ti code-du-travail-data-elasticsearch /bin/sh

Extraction : vérifier les données qui seront indexées dans Elasticsearch

Il est possible de visualiser les données qui seront indexées dans Elasticsearch dans un shell en utilisant l'option verbose des commandes :

# Pour vérifier les données du code du travail :
# 1) Données accompagnées des "tags" extraits de ePoseidon :
$ docker exec -ti code-du-travail-data-python pipenv run python search/extraction/code_du_travail/eposeidon_tags/data.py -v
# 2) Données accompagnées des "tags" renommés humainement :
$ docker exec -ti code-du-travail-data-python pipenv run python search/extraction/code_du_travail/cleaned_tags/data.py -v

# Pour vérifier les données des fiches Ministère du Travail :
$ docker exec -ti code-du-travail-data-python pipenv run python search/extraction/fiches_ministere_travail/data.py -v

# Pour vérifier les données des fiches services public :
$ docker exec -ti code-du-travail-data-python pipenv run python search/extraction/fiches_service_public/data.py -v

# Pour vérifier les données des synonymes :
$ docker exec -ti code-du-travail-data-python pipenv run python search/extraction/synonyms/data.py -v