GPS: Import du nouveau fichier référents by tonial · Pull Request #5847 · gip-inclusion/les-emplois

tonial · 2025-03-31T07:59:50Z

🤔 Pourquoi ?

-> https://www.notion.so/gip-inclusion/Affichage-et-gestion-des-r-f-rents-r-cup-r-s-de-FT-1ba5f321b604806f8bbbcb16e8b652d8?pvs=4

On peut tester l'affichage en se connectant avec le compte EI et en regardant les participants du bénéficiaire "Howling Mad" MURDOCK
http://127.0.0.1:8000/gps/groups/7/memberships?back_url=/gps/groups/list

🍰 Comment ?

Décrivez en quelques mots la solution retenue et mise en oeuvre, les difficultés ou problèmes rencontrés. Attirez l'attention sur les décisions d'architecture ou de conception importantes.

🚨 À vérifier

Mettre à jour le CHANGELOG_breaking_changes.md ?
Ajouter l'étiquette « Bug » ?

🏝️ Comment tester ?

Les instructions pour reproduire le problème, les profils de test, le parcours spécifique à utiliser, etc. Si vous disposez d'une recette jetable, mettre l'URL pour tester dans cette partie.

💻 Captures d'écran

github-actions · 2025-03-31T08:04:56Z

🥁 La recette jetable est prête ! 👉 Je veux tester cette PR !

EwenKorr

Chouette PR !

Question générale : il y avait un import automatique déjà, associé au modèle FranceTravailContact, supprimé dans cette PR. Pas la peine de reprendre les données qu'il y avait dedans, elles sont toutes dans le nouveau fichier envoyé par FT ? (voire c'est le même fichier, juste une autre façon de gérer ?)

tonial · 2025-04-01T13:26:04Z

L'ancien fichier ne sera plus mis à jour, on est parti sur une solution différente avec ce fichier : on leur transmet les candidats du gard et ils nous font un match, ça permet de d'intégrer la donnée aussi pour les candidats sans NIR qu'ils arrivent à identifier de leur côté

louije · 2025-04-02T12:34:58Z

L'ancien fichier ne sera plus mis à jour, on est parti sur une solution différente avec ce fichier : on leur transmet les candidats du gard et ils nous font un match, ça permet de d'intégrer la donnée aussi pour les candidats sans NIR qu'ils arrivent à identifier de leur côté

Sentiment qu'on n'est toujours pas sur une situation pérenne avec FT pour l'envoi de données. Mais une fois qu'on aura des données en temps réel, ou en tout cas régulièrement, on pourra détecter les fins d'accompagnement et les fins de statut référent facilement.

tonial · 2025-04-03T09:26:19Z

@EwenKorr j'ai mis à jour avec la mise à jour du FollowUpGroupMembership du référent FT

xavfernandez · 2025-04-03T09:49:36Z

+        sheet.append(
+            [
+                "ID",
+                "prénom",
+                "nom",
+                "nir",
+                "date_de_naissance",
+            ]
+        )


L'idée que de tels fichiers excel se baladent dans la nature 😬

xavfernandez · 2025-04-03T10:07:59Z

+        created_prescriber_count = 0
+
+        if wet_run:
+            # Reset all values. Easiest way to ensure we don't keep outdated data at the end of the command


Tu ne veux pas mettre ça aussi dans une transaction ?
Sinon, il y aura à chaque lancement de commande un moment où les référents vont sauter (et cela sera visible par les utilisateurs).

Ou uniquement le faire pour les FollowUpGroupMembership.objects.filter(is_referent_certified=True).exclude(follow_up_group__beneficiary_id__in=beneficiaries_id_to_contact) (qui ne seront pas concernés par les batchs).

Puis le refaire pour chaque bénéficiaire dans chaque with transaction.atomic().

Ensuite, on envoie un fichier par département a priori: est-ce qu'on reçoit un seul fichier global pour tous les départements ? Ou comme actuellement on n'a qu'un département concerné le problème ne se pose pas ? 😛

Pour l'instant il n'y a que le gard (même si l'export permet de gérer d'autres département)
Il faudra en effet gérer ça mieux le jour ou l'on en aura d'autres (mais bon, je doute que ce soit pour bientôt)

Vu la vitesse de la commande, j'ai évité de faire ta proposition pour aller plus vite en me disant qu'au pire ça clignoterait pour 3 utilisateurs

après réflexion, on peut remplacer la ligne par ta suggestion, et rien de plus dans chaque batch on va mettre is_referent_certified=True, pas besoin de commencer en mettant False au début de la transaction.

xavfernandez · 2025-04-03T10:11:37Z

+        )
+
+    def parse_gps_advisors_file(self, import_file):
+        df = pandas.read_excel(


Je crois qu'il y avait un sujet "se débarasser de pandas", je me dis que si l'excel est assez simple, on pourrait le faire avec openpyxl.

Je n'avais pas connaissance de ce sujet (même si c'est un truc que j'avais moi même évoqué il y a plus d'un an en jouant avec le code d'export pour le pilotage).
Je peux me passer de pandas sans soucis dans ce cas.

Bon, c'est pas forcément compliqué mais ça fait beaucoup de code pas très lisible pas rapport à pandas.
Je ferais le changement le jour où l'on aura retiré pandas des autres endroits

EwenKorr

Je n'ai rien décelé de choquant lors de ma dernière relecture :)

Il y aura peut-être un rebase un peu compliqué avec la PR de màj des fixtures ?
#5882

and put the certified referent first

tonial added 1-recette-jetable [Payé à l’heure] Crée une recette jetable sur CC modifié Modifié dans le changelog. labels Mar 31, 2025

tonial requested review from EwenKorr and vincentporte March 31, 2025 07:59

tonial self-assigned this Mar 31, 2025

tonial force-pushed the alaurent/gps_new_advisor_file branch 10 times, most recently from 147306f to 810c20a Compare April 1, 2025 10:48

EwenKorr reviewed Apr 1, 2025

View reviewed changes

tonial force-pushed the alaurent/gps_new_advisor_file branch from 810c20a to d300993 Compare April 2, 2025 05:26

tonial force-pushed the alaurent/gps_new_advisor_file branch 4 times, most recently from 286dcc4 to 672dc9b Compare April 3, 2025 09:25

vincentporte reviewed Apr 3, 2025

View reviewed changes

tonial force-pushed the alaurent/gps_new_advisor_file branch from 672dc9b to 7fab38a Compare April 3, 2025 09:55

tonial requested a review from vincentporte April 3, 2025 09:55

xavfernandez reviewed Apr 3, 2025

View reviewed changes

tonial requested a review from EwenKorr April 3, 2025 09:55

tonial force-pushed the alaurent/gps_new_advisor_file branch from 7fab38a to c0c7002 Compare April 3, 2025 10:00

xavfernandez reviewed Apr 3, 2025

View reviewed changes

This was referenced Apr 3, 2025

GPS: Suppression de l'ancienne commande d'import de référents FT 1/2 #5875

Merged

GPS: Suppression de l'ancienne commande d'import de référents FT 2/2 #5876

Merged

tonial force-pushed the alaurent/gps_new_advisor_file branch 3 times, most recently from 7e51cca to f7b00c1 Compare April 3, 2025 14:36

tonial requested a review from xavfernandez April 3, 2025 14:36

tonial force-pushed the alaurent/gps_new_advisor_file branch 3 times, most recently from b775829 to ebbf16f Compare April 3, 2025 15:16

tonial removed the 1-recette-jetable [Payé à l’heure] Crée une recette jetable sur CC label Apr 4, 2025

EwenKorr approved these changes Apr 7, 2025

View reviewed changes

xavfernandez reviewed Apr 7, 2025

View reviewed changes

Comment thread itou/gps/management/commands/import_advisor_information.py Outdated

Comment thread itou/gps/management/commands/import_advisor_information.py

xavfernandez reviewed Apr 7, 2025

View reviewed changes

Comment thread itou/templates/gps/includes/badge_is_referent_certified_membership.html Outdated

tonial added 5 commits April 7, 2025 10:40

gps: Add management command to export beneficiaries for advisor info

1350d0f

gps: Add FollowUpMembership.is_referent_certified field

b40964b

gps: Add management command for new advisor file

97e30eb

gps: Add new certified referent badge in views

76cd875

and put the certified referent first

gps: Log to grist if the target is a certified referent

7cd9976

tonial force-pushed the alaurent/gps_new_advisor_file branch from ebbf16f to 7cd9976 Compare April 7, 2025 09:15

tonial requested a review from xavfernandez April 7, 2025 09:15

xavfernandez approved these changes Apr 7, 2025

View reviewed changes

tonial added this pull request to the merge queue Apr 7, 2025

Merged via the queue into master with commit c4bdfe7 Apr 7, 2025

tonial deleted the alaurent/gps_new_advisor_file branch April 7, 2025 09:58

Conversation

tonial commented Mar 31, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

🤔 Pourquoi ?

🍰 Comment ?

🚨 À vérifier

🏝️ Comment tester ?

💻 Captures d'écran

Uh oh!

github-actions Bot commented Mar 31, 2025

Uh oh!

EwenKorr left a comment

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

tonial commented Apr 1, 2025

Uh oh!

louije commented Apr 2, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Uh oh!

tonial commented Apr 3, 2025

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

xavfernandez Apr 3, 2025

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Uh oh!

xavfernandez Apr 3, 2025

Choose a reason for hiding this comment

Uh oh!

xavfernandez Apr 3, 2025

Choose a reason for hiding this comment

Uh oh!

tonial Apr 3, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

tonial Apr 3, 2025

Choose a reason for hiding this comment

Uh oh!

xavfernandez Apr 3, 2025

Choose a reason for hiding this comment

Uh oh!

tonial Apr 3, 2025

Choose a reason for hiding this comment

Uh oh!

tonial Apr 3, 2025

Choose a reason for hiding this comment

Uh oh!

EwenKorr left a comment

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

5 participants

tonial commented Mar 31, 2025 •

edited

Loading

louije commented Apr 2, 2025 •

edited

Loading

tonial Apr 3, 2025 •

edited

Loading