La qualité sanitaire de nos aliments est un sujet qui nous préoccupe de plus en plus. On a pu le voir ces dernières années avec les enchaînements de crises sanitaires autour de la vache folle, la grippe aviaire, les OGMs, les allergènes et plus récemment la découverte de produits potentiellement cancérogènes comme le dioxyde de titane. OpenFoodFacts est une base de données recensant plusieurs milliers d’aliments (pâtes, biscuits, épicerie, bonbons…) disponibles dans le commerce. Cette base est libre d’accès sous licence Open Database License et contient pour chaque aliment des caractéristiques telles que :
- la description
- les ingrédients
- les additifs
Sous forme d’atelier, les participants apprendront à charger les données dans Elasticsearch à l’aide de Logstash. Puis ils créeront leurs dashboards afin par exemple de recenser les catégories de produits les plus allergènes, ou lister les produits dont le E171 entre dans la composition…
- docker
- plugin docker compose
La première fois, clone ce repository, se positionner dedans puis:
# Start elasticsearch and kibana
docker compose up -dAccéder à Kibana: https://localhost:5601 (login/mdp: elastic/elastic_password)
Pour arrêter:
docker compose stopPour lancer logstash, positionner les configurations de pipeline dans le répertoire pipeline. Placer les données dans le répertoire data. Démarrer ensuite logstash:
docker compose stop logstash
docker compose up --force-recreate logstashYou may fall on the following error when starting Elasticsearch:
max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]Just set the parameter accordingly:
sudo sysctl -w vm.max_map_count=262144