Special callouts for vscode (#558)

linogaliana · web-flow · commit 6a00c518f605 · 2024-09-25T17:28:46.000+02:00
* VSCode

* Ajoute test PR

* duplicate

* remove

* Nice vscode

* Force box in vscode

* Box anglaise

* update

* Retrieve tiff
diff --git a/.github/workflows/prod.yml b/.github/workflows/prod.yml
@@ -131,6 +131,63 @@ jobs:
           #target-branch: test
           create-target-branch-if-needed: true
           reset-repo: true
+  enonces-vscode:
+    name: Render notebooks (VSCode version)
+    runs-on: ubuntu-latest
+    container: linogaliana/python-datascientist:latest
+    needs: docker
+    if: ${{ !github.event.pull_request.head.repo.fork }}    
+    steps:
+      - uses: actions/checkout@v4
+        with:
+          fetch-depth: 0
+          ref: ${{ github.event.pull_request.head.ref }}
+      - name: Configure safe.directory  # Workaround for actions/checkout#760
+        run: |
+          git config --global --add safe.directory /__w/python-datascientist/python-datascientist
+          git config --global --add safe.directory /__w/python-datascientist/python-datascientist-notebooks
+      - shell: bash
+        run: |
+          ls
+          conda info
+          conda list
+      - name: Convert in ipynb with Quarto
+        run: |
+          export QUARTO_PROFILE=fr,en
+          rm _quarto.yml
+          python build/tweak_pipeline_vscode.py --filename _quarto-prod.yml
+          cp _quarto-prod2.yml _quarto.yml
+          quarto render --profile fr --to ipynb
+          quarto render --profile en --to ipynb
+      - name: Move to expected directory
+        run: |
+          mkdir -p temp_notebooks
+          mkdir -p temp_notebooks/notebooks
+          python build/move_files.py --direction temp_notebooks/notebooks
+          quarto render content --to ipynb --execute -M echo:true
+          mkdir -p temp_notebooks/corrections
+          python build/move_files.py --direction temp_notebooks/corrections
+      - uses: actions/upload-artifact@v4
+        with:
+          name: Source enonce
+          path: content/
+      - uses: actions/upload-artifact@v4
+        with:
+          name: Enonces
+          path: temp_notebooks/notebooks/
+      - name: Pushes to another repository
+        uses: linogaliana/github-action-push-to-another-repository@main
+        env:
+          API_TOKEN_GITHUB: ${{ secrets.API_TOKEN_GITHUB }}
+        with:
+          source-directory: 'temp_notebooks/'
+          destination-repository-username: 'linogaliana'
+          destination-repository-name: 'python-datascientist-notebooks'
+          user-email: lino.galiana@insee.fr
+          destination-github-username: linogaliana
+          #target-branch: test
+          create-target-branch-if-needed: true
+          reset-repo: true
   define-matrix:
     runs-on: ubuntu-latest
     needs: enonces
diff --git a/.github/workflows/test-pr-render-vscode.yaml b/.github/workflows/test-pr-render-vscode.yaml
@@ -0,0 +1,58 @@
+name: "Pull request: deploy to preview website (Netlify) and test notebooks"
+
+on:
+  pull_request:
+    branches:
+      - main
+      - master
+
+jobs:
+  enonces-vscode:
+    name: Render notebooks
+    runs-on: ubuntu-latest
+    container: linogaliana/python-datascientist:latest
+    steps:
+      - uses: actions/checkout@v3
+        with:
+          fetch-depth: 0
+          ref: ${{ github.event.pull_request.head.ref }}
+          repository: ${{github.event.pull_request.head.repo.full_name}}
+      - name: Configure safe.directory  # Workaround for actions/checkout#760
+        run: |
+          git config --global --add safe.directory /__w/python-datascientist/python-datascientist
+          git config --global --add safe.directory /__w/python-datascientist/python-datascientist-notebooks
+      - shell: bash
+        run: |
+          ls
+          conda info
+          conda list
+      - name: Convert in ipynb with Quarto
+        run: |
+          quarto --version
+          rm _quarto.yml
+          python build/nice-vscode/tweak_pipeline_vscode.py --filename _quarto.yml
+          cp /build/nice-vscode/lang-notebook-vscode.lua /build/lang-notebook.lua
+          cp _quarto-prod2.yml _quarto.yml
+          quarto render content --to ipynb --profile fr
+          quarto render content --to ipynb --profile en
+          mkdir -p temp_notebooks
+          mkdir -p temp_notebooks/notebooks
+          python build/move_files.py --direction temp_notebooks/notebooks
+          quarto render content --to ipynb --execute -M echo:true --profile fr
+          quarto render content --to ipynb --execute -M echo:true --profile en
+          mkdir -p temp_notebooks/corrections
+          python build/move_files.py --direction temp_notebooks/corrections
+      - name: Pushes to another repository (VSCode)
+        if: ${{ github.event.pull_request.head.repo.full_name == github.repository }}
+        uses: linogaliana/github-action-push-to-another-repository@main
+        env:
+          API_TOKEN_GITHUB: ${{ secrets.API_TOKEN_GITHUB }}
+        with:
+          source-directory: 'temp_notebooks/'
+          destination-repository-username: 'linogaliana'
+          destination-repository-name: 'python-datascientist-notebooks-vscode'
+          user-email: lino.galiana@insee.fr
+          destination-github-username: linogaliana
+          target-branch: dev
+          create-target-branch-if-needed: true
+          reset-repo: true
diff --git a/404.qmd b/404.qmd
@@ -30,7 +30,13 @@ through the site using the table of contents or
 by searching for the desired page from the following mosaic:
 :::
 
+<details>
 
+<summary>
+Dérouler pour explorer les pages de ce site
+</summary>
 
 ::: {#sample-listings}
 :::
+
+</details>
diff --git a/_quarto.yml b/_quarto.yml
@@ -67,16 +67,14 @@ format:
     code-overflow: wrap
     include-in-header: 
       - build/toggle.js
-    #template-partials: 
-      #- ../../_partials/title-block-link-buttons/title-block.html
   ipynb: default
 
 
 # PAGE OPTIONS ---------------------
   
 filters:
   - build/replace-title.lua
-  - build/lang-notebook.lua
+  - build/nice-vscode/lang-notebook-vscode.lua
   #- black-formatter
   - build/callout-jupyter.lua
 
diff --git a/build/nice-vscode/callout-vscode.lua b/build/nice-vscode/callout-vscode.lua
diff --git a/build/nice-vscode/lang-notebook-vscode.lua b/build/nice-vscode/lang-notebook-vscode.lua
@@ -0,0 +1,84 @@
+local filename = quarto.doc.input_file
+local dirname = quarto.project.directory
+
+-- Escape special characters in dirname
+local function escape_pattern(str)
+    return str:gsub("([^%w])", "%%%1")
+end
+
+dirname = escape_pattern(dirname)
+
+local filename_relative = filename:gsub("^" .. dirname, "")
+filename_relative = "https://pythonds.linogaliana.fr" .. filename_relative
+filename_relative = filename_relative:gsub(".qmd", ".html")
+
+quarto.log.output("Directory name: " .. dirname)
+quarto.log.output("Filename: " .. filename)
+quarto.log.output("Relative filename: " .. filename_relative)
+
+-- Function to check if string ends with a specific suffix
+local function ends_with(str, suffix)
+    return str:sub(-#suffix) == suffix
+end
+
+-- Determine the language based on the filename suffix
+local function get_text_language(filename_relative)
+    local text
+    local type = "note"
+
+    -- Add html formatting around
+    local headBox = "<div class=\"callout callout-style-default callout-" .. type .. " callout-titled\">\n" ..
+    "<div class=\"callout-header d-flex align-content-center\">\n" ..
+    "<div class=\"callout-icon-container\">" ..
+    "<i class=\"callout-icon\"></i>\n" ..
+    "</div>\n"
+
+
+    if filename_relative:find("/en") then        
+        title = "Version 🇬🇧 🇺🇸"
+        text = "Ceci est la version anglaise 🇬🇧 🇺🇸," ..
+            "pour voir la version française, aller sur " ..
+            "<a href=\"" .. filename_relative:gsub("_en.html", ".html") ..
+            "\">there</a>"
+        quarto.log.output("Language detected: english")  -- Debug print
+    else
+        title = "Version 🇫🇷"
+        text = "This is the French version 🇫🇷 of that chapter," ..
+            "to see the English version go " ..
+            "<a href=\"" .. filename_relative:gsub("_fr.html", "_en.html") ..
+            "\">there</a>"
+        quarto.log.output("Language detected: french")  -- Debug print
+    end
+
+    local headNote = "<div class=\"callout-title-container flex-fill\">\n" ..
+    title .. "\n" ..
+    "</div>\n" ..
+    "</div>\n"
+    local preBody = "<div class=\"callout-body-container callout-body\">\n"
+    local header = headBox .. headNote .. preBody
+
+    text = header .. text .. "\n</div>\n</div>"
+
+    return text
+end
+
+-- Get the language-specific text
+local text_language = get_text_language(filename_relative)
+
+if quarto.doc.is_format("ipynb") then
+    return {
+        {
+          Para = function (elem)
+            for i, v in ipairs(elem.content) do
+                if v.text == "{{warninglang}}" then
+                    return pandoc.Div(
+                        pandoc.RawBlock("html", text_language),
+                        {class = "markdown"}
+                    )
+                end
+            end
+            return elem
+          end,
+        }
+      }    
+end
diff --git a/build/nice-vscode/tweak_pipeline_vscode.py b/build/nice-vscode/tweak_pipeline_vscode.py
@@ -0,0 +1,35 @@
+import yaml
+import argparse
+
+# Set up argument parser
+parser = argparse.ArgumentParser(description="Modify a YAML file and replace a specific filter value.")
+parser.add_argument(
+    'filename', 
+    nargs='?', 
+    default='_quarto-prod.yml', 
+    help="YAML file to be modified. Default is '_quarto-prod.yml'."
+)
+parser.add_argument(
+    '--output', 
+    default='_quarto-prod2.yml', 
+    help="Output YAML file name. Default is '_quarto-prod2.yml'."
+)
+
+# Parse arguments
+args = parser.parse_args()
+
+# Load the existing YAML file
+with open(args.filename, 'r', encoding='utf-8') as file:
+    data = yaml.safe_load(file)
+
+# Replace 'build/callout-jupyter.lua' with 'build/callout-vscode.lua' in the filters
+filters = data.get('filters', [])
+for i, filter_item in enumerate(filters):
+    if filter_item == 'build/callout-jupyter.lua':
+        filters[i] = 'build/nice-vscode/callout-vscode.lua'
+
+# Write the modified YAML back to the output file
+with open(args.output, 'w', encoding='utf-8') as file:
+    yaml.dump(data, file, allow_unicode=True, sort_keys=False)
+
+print(f"YAML modification completed and saved as {args.output}")
diff --git a/content/manipulation/02_pandas_suite.qmd b/content/manipulation/02_pandas_suite.qmd
@@ -32,10 +32,6 @@ eval: true
 >}}
 
 
-{{< include "../../build/_printBadges.qmd" >}}
-
-:::
-
 
 ::: {.content-visible when-format="ipynb"}
 {{warninglang}}
@@ -1341,7 +1337,7 @@ ax.set_axis_off()
 
 Pour relier les microdonnées d'entreprises françaises, il existe un numéro unique d'identification : le [numéro `Siren`](https://entreprendre.service-public.fr/vosdroits/F32135). Il s'agit d'un numéro d'identification dans un répertoire légal d'entreprise indispensable pour toutes démarches juridiques, fiscales... Pour les entreprises qui possèdent plusieurs établissements - par exemple dans plusieurs villes - il existe un identifiant dérivé qui s'appelle le [`Siret`](https://www.economie.gouv.fr/cedef/numero-siret): aux 9 chiffres du numéro Sirene s'ajoutent 5 chiffres d'identifications de l'établissement. D'ailleurs, les administrations publiques sont également concernées par le numéro Siren: étant amenées à effectuer des opérations de marchés (achat de matériel, locations de biens, etc.) elles disposent également d'un identifiant Siren. Etant inscrits dans des répertoires légaux pour lesquels les citoyens sont publics, les numéros Siren et les noms des entreprises associées sont disponibles en _open data_, par exemple sur [annuaire-entreprises.data.gouv.fr/](https://annuaire-entreprises.data.gouv.fr/) pour une recherche ponctuelle, sur [data.gouv.fr](https://www.data.gouv.fr/fr/datasets/base-sirene-des-entreprises-et-de-leurs-etablissements-siren-siret/).
 
-Cette base Sirene est une mine d'information, parfois comique, sur les entreprises françaises. Par exemple, le site [tif.hair/](https://tif.hair/) s'est amusé à répertorier la part des salons de coiffures proposant des jeux de mots dans le nom du salon. Lorsqu'un entrepreneur déclare la création d'une entreprise, il reçoit un numéro Sirene et un code d'activité (le [code APE](https://entreprendre.service-public.fr/vosdroits/F33050)) relié à la description qu'il a déclaré de l'activité de son entreprise. Ce code permet de classer l'activité d'une entreprise dans la [Nomenclature d'activités françaises (NAF)](https://www.insee.fr/fr/information/2406147) ce qui servira à l'Insee pour la publication de statistiques sectorielles. En l'occurrence, pour les coiffeurs, le code dans la NAF est [96.02A](https://www.insee.fr/fr/metadonnees/nafr2/sousClasse/96.02A?champRecherche=false). Il est possible à partir de la base disponible en _open data_ d'avoir en quelques lignes de `Python` la liste de tous les coiffeurs puis de s'amuser à explorer ces données (objet du prochain exercice optionnel).
+Cette base Sirene est une mine d'information, parfois comique, sur les entreprises françaises. Par exemple, le site [tif.hair/](https://tif.hair/) s'est amusé à répertorier la part des salons de coiffures proposant des jeux de mots dans le nom du salon. Lorsqu'un entrepreneur déclare la création d'une entreprise, il reçoit un numéro Sirene et un code d'activité (le [code APE](https://entreprendre.service-public.fr/vosdroits/F33050)) relié à la description qu'il a déclaré de l'activité de son entreprise. Ce code permet de classer l'activité d'une entreprise dans la [Nomenclature d'activités françaises (NAF)](https://www.insee.fr/fr/information/2406147) ce qui servira à l'Insee pour la publication de statistiques sectorielles. En l'occurrence, pour les coiffeurs, le code dans la NAF est [`96.02A`](https://www.insee.fr/fr/metadonnees/nafr2/sousClasse/96.02A?champRecherche=false). Il est possible à partir de la base disponible en _open data_ d'avoir en quelques lignes de `Python` la liste de tous les coiffeurs puis de s'amuser à explorer ces données (objet du prochain exercice optionnel).
 
 L'exercice suivant, optionnel, propose de s'amuser à reproduire de manière simplifiée le recensement fait par [tif.hair/](https://tif.hair/)
 des jeux de mots dans les salons de coiffure. Il permet de pratiquer quelques méthodes de manipulation textuelle, en avance de phase sur le chapitre consacré aux [expressions régulières](/content/manipulation/04b_regex_TP.qmd).
@@ -1370,6 +1366,7 @@ To read this type of file optimally, it is recommended to use the `DuckDB` libra
 
 
 {{< include "02_pandas_suite/_exo_optionnel.qmd" >}}
+
 {{< include "02_pandas_suite/_exo_optionnel_solution.qmd" >}}
 
 
diff --git a/content/manipulation/02_pandas_suite/_exo_optionnel_solution.qmd b/content/manipulation/02_pandas_suite/_exo_optionnel_solution.qmd
@@ -4,16 +4,36 @@
 coiffeurs['denominationUsuelleEtablissement'] = coiffeurs['denominationUsuelleEtablissement'].replace('[ND]', '').fillna('')
 ```
 
-::: {.content-visible when-profile="fr"}
+::: {.content-visible when-profile="en"}
 With question 2, we find a list of quite imaginative puns based on the term `tif`
 :::
 
-::: {.content-visible when-profile="en"}
+::: {.content-visible when-profile="fr"}
 Avec la question 2, on retrouve une liste de jeux de mots assez imaginatifs à partir du terme `tif`:
 :::
 
+```{python}
+#| output: false
+coiffeurs_tif = duckdb.sql("""
+  SELECT
+    siren, siret, dateDebut, enseigne1Etablissement, activitePrincipaleEtablissement, denominationUsuelleEtablissement
+  FROM
+    read_parquet('https://minio.lab.sspcloud.fr/lgaliana/data/sirene2024.parquet')
+  WHERE
+    activitePrincipaleEtablissement == '96.02A'
+    AND
+    denominationUsuelleEtablissement IS NOT NULL
+    AND
+    contains(lower(denominationUsuelleEtablissement), 'tif')
+""")
+coiffeurs_tif = coiffeurs_tif.df()
+```
 
-__CHUNK MISSING__
+```{python}
+", ".join(
+    coiffeurs_tif.sample(10)["denominationUsuelleEtablissement"]
+)
+```
 
 
 
