Ingredients

data/Makefile

@@ -1,36 +1,67 @@
 SHELL := /bin/bash
 NAME := $(shell echo $$PWD|sed 's/\/data//'|sed 's/.*\///')
 DOCKERRUN := docker run --rm --name $(NAME) -it -v $$PWD/../:/home/jovyan/ecobalyse -v $(NAME):/home/jovyan
+DOCKEREXEC := docker exec -u jovyan -it
 
-json: image import_agribalyse export_builder
+json: image import_agribalyse import_method import_ecoinvent export_builder
 
 image:
-	docker build -t $(NAME) -f Dockerfile .
+	docker build -t $(NAME) docker
+
+import_ecoinvent:
+	@if [ "$(shell docker container inspect -f '{{.State.Running}}' $(NAME) )" = "true" ]; then \
+		$(DOCKEREXEC) -w /home/jovyan/ecobalyse/data $(NAME) python3 import_ecoinvent.py;\
+	else $(DOCKERRUN) -w /home/jovyan/ecobalyse/data $(NAME) python3 import_ecoinvent.py; fi
 
 import_agribalyse:
-	curl -o food/import_agb/agribalyse3_no_param.CSV.zip https://nextcloud.prelab.fr/index.php/s/kmYtfqHa42EZA9R/download/agribalyse3_no_param.CSV.zip
-	$(DOCKERRUN) -w /home/jovyan/ecobalyse/data/food/import_agb $(NAME) python3 importing_databases.py
+	@if [ "$(shell docker container inspect -f '{{.State.Running}}' $(NAME) )" = "true" ]; then \
+		$(DOCKEREXEC) -w /home/jovyan/ecobalyse/data $(NAME) python3 import_agribalyse.py;\
+	else $(DOCKERRUN) -w /home/jovyan/ecobalyse/data $(NAME) python3 import_agribalyse.py; fi
+
+import_method:
+	@if [ "$(shell docker container inspect -f '{{.State.Running}}' $(NAME) )" = "true" ]; then \
+		$(DOCKEREXEC) -w /home/jovyan/ecobalyse/data $(NAME) python3 import_method.py;\
+	else $(DOCKERRUN) -w /home/jovyan/ecobalyse/data $(NAME) python3 import_method.py; fi
+
 
 export_ciqual:
-	$(DOCKERRUN) -w /home/jovyan/ecobalyse/data/food/export_agb $(NAME) python3 export_ciqual.py
+	@if [ "$(shell docker container inspect -f '{{.State.Running}}' $(NAME) )" = "true" ]; then \
+		$(DOCKEREXEC) -w /home/jovyan/ecobalyse/data/food/export_agb $(NAME) python3 export_ciqual.py;\
+	else $(DOCKERRUN) -w /home/jovyan/ecobalyse/data/food/export_agb $(NAME) python3 export_ciqual.py; fi
 
 export_builder:
-	$(DOCKERRUN) -w /home/jovyan/ecobalyse/data/food/export_agb $(NAME) python3 export_builder.py
+	@if [ "$(shell docker container inspect -f '{{.State.Running}}' $(NAME) )" = "true" ]; then \
+		$(DOCKEREXEC) -w /home/jovyan/ecobalyse/data/food/export_agb $(NAME) python3 export_builder.py;\
+	else $(DOCKERRUN) -w /home/jovyan/ecobalyse/data/food/export_agb $(NAME) python3 export_builder.py; fi
 
 corrected_impacts:
 	$(DOCKERRUN) -w /home/jovyan/ecobalyse/data/food/manual_update_agb3.1.1 $(NAME) python3 update_impacts_311.py
 	$(DOCKERRUN) -w /home/jovyan/ecobalyse/data/food/manual_update_agb3.1.1 $(NAME) python3 compute_corrected_impacts.py
 
-bash:
-	$(DOCKERRUN) -w /home/jovyan/ecobalyse/data $(NAME) bash
+python:
+	echo Running Python inside the container...
+	@if [ "$(shell docker container inspect -f '{{.State.Running}}' $(NAME) )" = "true" ]; then \
+		$(DOCKEREXEC) $(NAME) python;\
+	else $(DOCKERRUN) -w /home/jovyan/ecobalyse/data $(NAME) python; fi
 
-notebook:
-	$(DOCKERRUN) -d -p 8888:8888 -e JUPYTER_ENABLE_LAB=yes $(NAME) start-notebook.sh
-	docker logs -f $(NAME)
+root_shell:
+	echo starting a root shell inside the container...
+	@if [ "$(shell docker container inspect -f '{{.State.Running}}' $(NAME) )" = "true" ]; then \
+		$(DOCKEREXEC) -u root $(NAME) bash;\
+	else $(DOCKERRUN) -u root -w /home/jovyan/ecobalyse/data $(NAME) bash; fi
+
+shell:
+	echo starting a user shell inside the container...
+	@if [ "$(shell docker container inspect -f '{{.State.Running}}' $(NAME) )" = "true" ]; then \
+		$(DOCKEREXEC) $(NAME) bash;\
+	else $(DOCKERRUN) -w /home/jovyan/ecobalyse/data $(NAME) bash; fi
 
-kill_notebook:
-	docker kill $(NAME)
+start_notebook:
+	$(DOCKERRUN) -d -p 8888:8888 -e JUPYTER_ENABLE_LAB=yes $(NAME) start-notebook.sh
+	echo ### Run: `make shell` then `jupyter notebook password` to change the jupyter password, then restart with `make stop_notebook` and `make start_notebook`.
 
+stop_notebook:
+	docker exec $(NAME) pkill jupyter
 
 clean_data:
 	docker volume rm $(NAME)

data/README.md

@@ -15,19 +15,25 @@ En cas de problème vous pouvez redémarrer de zéro en faisant d'abord un `make
 ## Autres commandes :
 
 * `make image` : pour construire l'image docker choisie
-* `make import_agribalyse` : pour importer la base dans Brightway. Assurez-vous d'avoir le fichier `agribalyse3_no_param.CSV.zip` dans le dossier `food/import_agb/`
+* `make import_agribalyse` : pour importer Agribalyse 3.1.1 dans Brightway. Assurez-vous d'avoir le fichier `AGB3.1.1.20230306.CSV.zip` dans le dossier `data/`
+* `make import_method` : pour importer EF 3.1 adapted dans Brightway. Assurez-vous d'avoir le fichier `Environmental Footprint .1 (adapted).CSV` dans le dossier `data/`
+* `make import_ecoinvent` : pour importer Ecoinvent 3.9.1. Assurez-vous d'avoir le dossier `ECOINVENT3.9.1/` dans le dossier `data/`
 * `make export_builder` : pour exporter les json pour le builder
 * `make json` : lance toutes les commandes précédentes dans l'ordre
 * `make export_ciqual` : pour exporter les json des produits ciqual. Assurez-vous d'avoir le fichier `Agribalyse_Synthese.csv` dans le dossier `food/`
-* `make bash` : lance un shell à l'intérieur conteneur
-* `make notebook` : lancer le serveur Jupyter dans le conteneur (si image Jupyter)
+* `make shell` : lance un shell à l'intérieur du conteneur
+* `make root_shell` : lance un shell root à l'intérieur du conteneur
+* `make start_notebook` : lance le serveur Jupyter dans le conteneur
+* `make stop_notebook` : arrête le serveur Jupyter donc aussi le conteneur
 * `make clean_data` : supprime toutes les données (celles de brightway et
   jupyter mais pas les json générés)
 * `make clean_image` : supprime l'image docker
+* `make clean` : lance `clean_data` et `clean_image`
+
 
 ## Travailler dans le conteneur :
 
-Vous pouvez entrer dans le conteneur avec `make bash`.
+Vous pouvez entrer dans le conteneur avec `make shell`.
 
 Toutes les données du conteneur, notamment celles de Brightway et de Jupyter,
 sont dans `/home/jovyan` qui est situé dans un volume docker
@@ -38,9 +44,10 @@ comparées puis commités.
 
 ## Lancer le serveur Jupyter
 
-Vous pouvez démarrer le serveur Jupyter avec : `make notebook`. Ensuite
-ctrl-cliquez sur le lien généré dans le terminal pour vous y connecter sans mot
-de passe
+Vous pouvez démarrer le serveur Jupyter avec : `make start_notebook`. Ensuite
+si vous avez reconstruit l'image, vous pouvez changer le mot de passe de jupyter
+avec : `make shell` puis `jupyter notebook password`, puis exit et redémarrez avec
+`make stop_notebook` puis `make start_notebook`.
 
 ## Remarques
 
@@ -73,7 +80,7 @@ Activez l'environnement virtuel :
 
     $ conda activate ecobalyse-env
 
-Puis installez le package ecobalyse_data :
+Puis installez le package `ecobalyse_data` :
 
     $ conda develop .
 
@@ -83,7 +90,7 @@ Une fois que vous avez [installé
 pip](https://pip.pypa.io/en/stable/installation/) et [créé et activé un
 environnement
 virtuel](https://packaging.python.org/en/latest/tutorials/installing-packages/#creating-and-using-virtual-environments),
-installez le package ecobalyse_data de la sorte :
+installez le package `ecobalyse_data` de la sorte :
 
     $ pip install -r requirements.txt
     $ pip install -e .

data/Dockerfile → data/docker/Dockerfile

@@ -1,4 +1,4 @@
-FROM jupyter/minimal-notebook:python-3.9
+FROM jupyter/minimal-notebook:python-3.10
 
 ENV BRIGHTWAY2_DIR /home/$NB_USER/data
 ENV BRIGHTWAY2_DOCKER 1
@@ -14,6 +14,13 @@ RUN mkdir -p /home/$NB_USER/data \
     && fix-permissions "/home/${NB_USER}/notebooks" \
     && fix-permissions "/home/${NB_USER}/output" 
 
+# keep in sync with requirements.txt
+# allow to update the image if the source repo is updated
+ADD https://api.github.com/repos/ccomb/brightway2-io/git/refs/heads/main bw2-io.json
+ADD https://api.github.com/repos/brightway-lca/brightway2-parameters/git/refs/heads/main bw2-parameters.json
+ADD https://api.github.com/repos/ccomb/brightway2-data/git/refs/heads/dev bw2-data.json
+ADD https://api.github.com/repos/brightway-lca/brightway2-calc/git/refs/heads/main bw2-calc.json
+ADD https://api.github.com/repos/brightway-lca/brightway2-analyzer/git/refs/heads/main bw2-analyzer.json
 
 COPY requirements.txt .
 USER root
@@ -25,6 +32,9 @@ RUN apt update \
 
 COPY entrypoint.sh /
 
+RUN jupyter nbextension enable --py widgetsnbextension
+
+
 VOLUME /home/$NB_USER
 WORKDIR /home/$NB_USER/notebooks
 ENTRYPOINT ["/entrypoint.sh"]

data/docker/requirements.txt

@@ -0,0 +1,16 @@
+# don't forget to keep sync the api link in Dockerfile
+IPython>=8.0, <9.0
+fjson>=0.1, <0.2
+flatdict>=4.0, <4.1
+git+https://github.com/ccomb/brightway2-io@main
+git+https://github.com/brightway-lca/brightway2-parameters@main
+git+https://github.com/ccomb/brightway2-data@dev
+git+https://github.com/brightway-lca/brightway2-calc@main
+git+https://github.com/brightway-lca/brightway2-analyzer@main
+ipywidgets>=8.0.0, <8.1
+matplotlib>=3.7.0, <3.8
+numpy>=1.24.0, <1.25
+olca-ipc==0.0.12
+pandas>=1.5.0, <1.6
+scipy>=1.10.0, <1.11
+xlrd>=2.0.0, <2.1

data/food/export_agb/README.md

@@ -55,20 +55,15 @@ si c'est un ingrédient simple ou complexe, de la sorte :
     - `default`: le `simapro_id` qu'on retrouve dans un export agribalyse par le biais de brightway
     - `variants`: optionnellement un objet `variants` avec des modes de production alternatif
 
-Attention, il faut que les différents `simapro_id` correspondent à des procédés
-exportés dans `builder_processes.json`, et pour cela, il faut donc rajouter les
-noms de ces ingrédients (noms agribalyse) dans le fichier `builder_processes_to_export.txt`.
+Attention, il faut que les différents noms de procédés soient des chaînes
+de recherche dont le premier résultat dans brightway correspond au procédé souhaité.
+Il faut aussi ajouter ces procédés dans `builder_processes_to_export.csv`.
 
-Pour trouver le `simapro_id` correspondant à un nom d'ingrédient (nom
-agribalyse), il est possible d'utiliser le petit script python
-`code_for_process_name.py`:
-
-    python code_for_process_name.py "Sunflower, at farm (WFLDB 3.1)/FR U"
-
-Voici un exemple d'ajout d'un ingrédient simple : [le
+Voici un exemple d'ajout d'un ingrédient simple : (TODO update) [le
 tournesol](https://github.com/MTES-MCT/ecobalyse-data/pull/14/commits/0dc2091095002c4f13b5147fe819ef6afa49e22f).
 
-Dans le cas où l'indicateur "bvi" (biodiversité de Lindner) est connu, il faut aussi rajouter une entrée dans le fichier `bvi.csv`
+Dans le cas où l'indicateur "bvi" (biodiversité de Lindner) est connu, il faut
+aussi rajouter une entrée dans le fichier `builder_processes_to_export.csv`
 
 ### Ingrédient complexe
 
@@ -93,8 +88,5 @@ Dans le cas où l'indicateur "bvi" (biodiversité de Lindner) est connu, il faut
       - le nom agribalyse de l'ingrédient "par défaut" (conventionnel)
       - le nom agribalyse de l'ingrédient du variant spécifié (du blé bio dans notre example)
 
-Là aussi il faut que les différents `simapro_id` correspondent à des procédés
-exportés dans `builder_processes.json`.
-
-Voici un exemple d'ajout d'un ingrédient complexe : [la farine de
+Voici un exemple d'ajout d'un ingrédient complexe : (TODO update) [la farine de
 blé](https://github.com/MTES-MCT/ecobalyse-data/pull/11/commits/2c7817d310fbc65bb954e339fcaf45369f0b5abe).

data/food/export_agb/builder_processes_to_export.csv

@@ -0,0 +1,59 @@
+kind,alias,displayName,bvi,name
+,,,0.2271,"Carrot organic Lower Normandy at farm gate"
+,,,0.1321,"Carrot conventional national average at farm gate"
+,,,1.2164,"Soft wheat grain conventional national average animal feed at farm gate production"
+,,,0.9939,"soft wheat grain organic central region"
+,,,1.2174,"Soft wheat grain conventional breadmaking quality 15% moisture at farm gate"
+,,,2.8229,"Egg national average at farm gate"
+,,,2.7312,"Egg organic at farm gate"
+,,,3.7279,"Egg Bleu Blanc Coeur outdoor system at farm gate"
+,,,0.8161,"Cow milk national average at farm gate"
+,,,1.411313691,"Wheat flour at industrial mill"
+,,,3.423726823,"Sunflower at farm FR"
+,,,2.351161646,"Sunflower grain organic 3 at farm gate"
+,,,0.073211803,"Rape seed FR production Cut-off"
+,,,1.464805983,"Winter rapeseed organic at farm gate"
+,,,0.074402694,"Tomato medium size conventional soil based non-heated greenhouse at greenhouse"
+,,,0.131792529,"Tomato organic greenhouse production national average at greenhouse"
+,,,0.338079058,"Ware potato conventional variety mix national average at farm gate"
+,,,15.04866738,"Ground beef fresh case ready for direct consumption at plant"
+,,,6.087620104,"Cooked ham case ready at plant"
+,,,20.6954393,"Meat with bone lamb"
+,,,5.408719682,"Meat without bone chicken for direct consumption"
+,,,,"Mango conventional Val de San Francisco at orchard"
+packaging,steel,Acier,0.1133,"Steel unalloyed {RER} steel production converter unalloyed"
+packaging,ldpe,Polyéthylène basse densité,0.3318,"Packaging film low density polyethylene {RER} production"
+packaging,ps,Polystyrène,0.0011,"Polystyrene expandable {RER} production"
+packaging,glass,Verre,0.3211,"Packaging glass white {RER} w/o CH+DE production"
+packaging,pp,Polypropylène,0.0003,"Polypropylene granulate {RER}| production"
+packaging,cardboard,Carton,1.1059,"Corrugated board box {RER} production Cut-off Copied from Ecoinvent"
+packaging,paper,Papier,7.4795,"Kraft paper production"
+packaging,pvc,PVC,0.0004,"Polyvinylchloride production suspension polymerised {RER} polymerisation"
+packaging,pet,PET,0.245,"Polyethylene terephthalate granulate bottle grade {RER} production Cut-off Copied from Ecoinvent"
+packaging,hdpe,Polyéthylène haute densité,0.0004,"Polyethylene high density granulate {RER} production Cut-off Copied from Ecoinvent"
+packaging,aluminium,Aluminium,0.94,"Aluminium primary ingot {RoW} production Cut-off Copied from Ecoinvent"
+transformation,canning,Mise en conserve,0.0089,"Canning fruits or vegetables industrial 1kg of canned product FR"
+transformation,mixing,Mélange,,"Mixing processing dummy"
+transformation,cooking,Cuisson,0.012,"Cooking industrial 1kg of cooked product FR"
+,,,0.513278847,"Cow milk organic system 1 at farm gate"
+,lorry,,0.055765784,"Transport freight lorry 16-32 metric ton EURO5 {RER} EURO5"
+,boat,,0.000292724,"Transport freight sea ship"
+,plane,,0.012214369,"Transport freight aircraft"
+,boat-cooling,,,"Transport freight sea ship reefer"
+,lorry-cooling,,,"Transport freight lorry refrigeration EURO5 R134a refrigerant cooling {GLO}"
+,,,0.728840715,"Grape full production (phase) integrated variety mix Languedoc-Roussillon at vineyard"
+,,,0.539152617,"Grape full production (phase) organic variety mix Languedoc-Roussillon at vineyard"
+,low-voltage-electricity,,,"Electricity low voltage {FR} market for Cut-off Copied from Ecoinvent"
+,tapwater,,,"Tap water Europe market for Cut-off Copied from Ecoinvent"
+,domestic-gas-heat,,,"Heat central or small-scale natural gas Europe market for heat natural gas Cut-off Copied from Ecoinvent"
+,,,,"Rapeseed oil mill {GLO}"
+,,,,"sunflower oil at mill {glo}"
+,,,,"Zucchini springtime under tunnel conventionel at farm gate {FR} U"
+,,,,"pear, conventional, at orchard"
+,,,,"Melon, conventional, national average, at farm gate"
+,,,,"Lettuce, conventional, national average, at farm gate {FR} U"
+,,,,"Butter, 82% fat, unsalted, at dairy {FR}"
+,,,,"French bean, conventional, national average, at farm gate {FR}"
+,,,,"Durum wheat grain, conventional, national average, at farm gate {FR}"
+,,,,"Onion, national average, at farm"
+,,,,"Peach, production mix, national average, at orchard {FR}"