Candidatures : Archiver les candidatures inactives depuis 180+ jours by francoisfreitag · Pull Request #4649 · gip-inclusion/les-emplois

francoisfreitag · 2024-09-02T15:31:52Z

🤔 Pourquoi ?

Supprimer les candidatures inactives de la file active.

La fonctionnalité de suppression a été retirée, car elle entrait en conflit avec cette nouvelle fonctionnalité, et perturbait les utilisateurs. Il n’est pas rare qu’un collègue supprime une candidature et qu’une autre personne de l’organisation contacte le support au sujet d’une candidature disparue.

Avec la fonctionnalité d’archivage, il sera possible de mettre de côté les candidatures inactives et de les ramener dans la file active lorsque c’est nécessaire.

Les employeurs et les prescripteurs peuvent filtrer les candidatures archivées à l’aide des filtres de candidature.

Seuls les employeurs peuvent changer l’état archivée / active d’une candidature, car cette fonctionnalité leur est destinée pour aider à réduire la file active.

Les candidatures acceptée représentent une relation de travail (un contrat) entre un employeur et un candidat. On ne les archive par car il est probable que l’employeur souhaite accéder fréquemment à la candidature.

🏝️ Comment tester

Se connecter en tant que l’EI Garage Martinet
Des candidatures on été générées automatiquement, et une partie d’entre elles a été archivée.

💻 Captures d'écran

Questions ?

Pour garder la compatibilité avec hidden_for_company, archived_at est transmis en tant que bool. En fait-on une date ? => NON
Le métier doit confirmer que la suppression de hidden_for_company est bien souhaitée, et qu’ils acceptent que les candidatures supprimées ré-apparaissent comme archivées. => OUI

github-actions · 2024-09-02T15:41:42Z

🥁 La recette jetable est prête ! 👉 Je veux tester cette PR !

github-actions · 2024-09-02T16:02:23Z

🥁 La recette jetable est prête ! 👉 Je veux tester cette PR !

notion-workspace · 2024-09-03T07:17:54Z

📦 1/4 [Archivage auto des candidatures] : ETQE mes candidatures non traitées depuis + de 6 mois sont automatiquement archivées

notion-workspace · 2024-09-03T07:18:28Z

📦 2/4 [Archivage auto des candidatures] ETQE je suis guidé pour trouver les candidatures archivées

notion-workspace · 2024-09-03T07:18:58Z

📦 3/4 [Archivage auto des candidatures] Désarchivage des candidatures

rsebille · 2024-09-05T13:54:25Z

+        JobApplication.objects.is_active_company_member(request.user)
+        .filter(pk=job_application_id)
+        .exclude(state=JobApplicationState.ACCEPTED)
+        .update(archived_at=archived_at, archived_by=archived_by)


Dans le cas d'appels successifs on va écraser les informations précédentes, en général on veux plutôt garder le premier.

Ici, comme on s’en fiche, j’aurais tendance à ne pas compliquer et garder le comportement actuel. Si deux employeurs archivent en même temps, celui qui a archivé en dernier apparaîtra.

rsebille · 2024-09-05T14:00:16Z

+
+    def test_already_in_target_state(self, client, archived_at_func, expected_func, viewname):
+        target_archived_at = expected_func()
+        job_app = JobApplicationFactory(archived_at=target_archived_at)


A mon avis si ici tu rajoutes archived_by=job_app.to_company.members.get() tu tombes dans le cas de 404 que je mentionnais.
Ce qui me fait me demander si il faudrait pas ajouter le champ au parametrize pour tester le chemin de la commande et le chemin depuis l'UI.

Nope, je confirme ne pas avoir d’erreurs avec:

diff --git a/tests/www/apply/test_edit.py b/tests/www/apply/test_edit.py index 41a27ef48..932f56cba 100644 --- a/tests/www/apply/test_edit.py +++ b/tests/www/apply/test_edit.py @@ -294,8 +292,15 @@ class TestArchiveView: def test_already_in_target_state(self, client, archived_at_func, expected_func, viewname): target_archived_at = expected_func() - job_app = JobApplicationFactory(archived_at=target_archived_at, state=JobApplicationState.REFUSED) - client.force_login(job_app.to_company.members.get()) + company = CompanyWithMembershipAndJobsFactory() + employer = company.members.get() + job_app = JobApplicationFactory( + to_company=company, + archived_at=target_archived_at, + archived_by=employer, + state=JobApplicationState.REFUSED, + ) + client.force_login(employer) response = client.post(reverse(viewname, args=(job_app.pk,))) assertRedirects(response, reverse("apply:details_for_company", args=(job_app.pk,))) job_app.refresh_from_db()

rsebille · 2024-09-05T14:06:55Z

+def test_archived(client):
+    company = CompanyFactory(with_membership=True)
+    active = JobApplicationFactory(to_company=company)
+    archived = JobApplicationFactory(to_company=company, archived_at=timezone.now())
+    archived_badge_html = """\
+    <span class="badge rounded-pill badge-sm mb-1 bg-emploi-light text-primary"
+          aria-label="candidature archivée"
+          data-bs-toggle="tooltip"
+          data-bs-placement="top"
+          data-bs-title="Candidature archivée">
+      <i class="ri-archive-line mx-0"></i>
+    </span>
+    """
+
+    client.force_login(company.members.get())
+    url = reverse("apply:list_for_siae")
+    response = client.get(url)
+    assertContains(response, active.pk)
+    assertNotContains(response, archived.pk)
+    assertNotContains(response, archived_badge_html, html=True)
+    response = client.get(url, data={"archived": ""})
+    assertContains(response, active.pk)
+    assertNotContains(response, archived.pk)
+    assertNotContains(response, archived_badge_html, html=True)
+    response = client.get(url, data={"archived": "archived"})
+    assertNotContains(response, active.pk)
+    assertContains(response, archived.pk)
+    assertContains(response, archived_badge_html, html=True, count=1)
+    response = client.get(url, data={"archived": "all"})
+    assertContains(response, active.pk)
+    assertContains(response, archived.pk)
+    assertContains(response, archived_badge_html, html=True, count=1)
+
+


Je pense que tu peux mettre les deux test_archived en commun dans tests/www/apply/test_list.py vu que c'est pas spécifique à 1 seule liste.

Noui, parce que les setups et les vues sont différents. Et rien ne dit qu’elles évolueront ensemble, du coup je garderais plutôt les deux tests simples, plutôt que de m’amuser à créer des embranchements complexes.

xavfernandez · 2024-09-05T15:18:06Z

+
+    JobApplication.objects.filter(
+        hidden_for_company=True,
+        state__in=archivable_states,


Tu pourrais rajouter un archived_at=None également car il y a de bonnes chances qu'une grosse partie des hidden_for_company=True archivables n'aient pas été modifiés depuis longtemps...

@francoisfreitag Ce matin tu parlais de 200k lignes pour celles-ci ? Ça va peut-être être un peu trop gros de tout faire en 1 UPDATE, non ?

avec archived_at, best of 2, 5 secondes

sans archived_at, best of 2, ~~quatre~~ 20 secondes
Edit, j’ai du me planter en mesurant ce matin.

Donc, j’aurais tendance à laisser ainsi, quitte à passer la migration en dehors des heures de trafic intense. Dans tous les cas, vu le nombre d’updates, ça me semble une bonne idée.

Qu’en dîtes vous ?

En réalité, il ne reste que 39K candidatures à archiver (donc de moins de 6 mois)

notion-workspace · 2024-09-09T15:25:06Z

📦 X/X [Archivage manuel des candidatures] : ETQ Employeur je peux archiver mes candidatures manuellement

notion-workspace · 2024-09-09T18:19:06Z

📦 [Archivage des candidatures] ETQ Employeur, prescripteur, candidat je visualise mes candidatures archivées

tonial · 2024-09-10T14:04:42Z

+    while chunk := JobApplication.objects.filter(
+        state__in=archivable_states,
+        updated_at__lte=six_months_ago,
+        archived_at=None,


Attention : en itérant sur un filtres sur des champs sans index ça va durer des plombes (ça sera de plus en plus long de trouver les 1000 prochaines candidature sans archived_at.
Il vaut mieux extraire la liste des ids des candidatures à traiter, puis itérer dessus.
Voir https://itou-inclusion.slack.com/archives/C0412CTV63D/p1725541863233409?thread_ts=1725526366.771849&cid=C0412CTV63D
et https://github.com/gip-inclusion/les-emplois/pull/4662/files#diff-52d271ec0e4d9971fc1a02420ea32c7e1711afe3512aa8a92d7745526bcef79f

La remarque reste vraie mais Il y a un index sur archived_at donc ça sera moins pire :).

Effectivement, il reste bien plus efficace d’identifier d’abord. La version qui identifie à chaque itération passait en 1200s sur ma machine, la version de tout identifier d’un coup et faire des batchs prend 300s. La requête pour tout identifier est un peu lourde (10s), mais je ne pense pas utile de la découper en buckets de dates.

Et pas besoin de rattrapage, le cron du lendemain attrapera les candidatures qui auraient pu être archivées le temps que la migration se déroule.

Je vois que le archived_at=None à disparu, ça devrais pas poser problème mais l'avantage que je vois de le garder c'est que vu qu'on est dans une transaction non-atomique alors si jamais on devais rejouer la migration (par exemple si timeout ou autre erreur lors du déploiement) alors on ne se retaperais pas ce qui est déjà fait (et donc possiblement la même erreur qu'avant :)).

francoisfreitag · 2024-09-11T09:28:42Z

J’ai poussé un certain nombre de fixups suite aux dernières discussions. J’aimerais bien merger tard ce soir pour passer la migration en dehors des heures de bureau et éviter un impact sur les utilisateurs et pouvoir surveiller demain.

Aucun problème pour attendre la fin de semaine prochaine si quelqu’un veut prendre le temps de refaire une revue détaillée, il suffit de me le signaler.

rsebille

J'ai refait une passe rapide mais les tests me semblent assez complets donc je pense que c'est safe de ce coté là :D.

rsebille · 2024-09-11T10:02:08Z

+    while chunk := JobApplication.objects.filter(
+        state__in=archivable_states,
+        updated_at__lte=six_months_ago,
+        archived_at=None,


Je vois que le archived_at=None à disparu, ça devrais pas poser problème mais l'avantage que je vois de le garder c'est que vu qu'on est dans une transaction non-atomique alors si jamais on devais rejouer la migration (par exemple si timeout ou autre erreur lors du déploiement) alors on ne se retaperais pas ce qui est déjà fait (et donc possiblement la même erreur qu'avant :)).

Remove old applications from the employer and prescriber job applications list. The `hidden_for_company` feature is removed, because making job applications disappear completely was confusing. Usually, one of their colleague would delete the application, then users log in and do not see the application anymore. Instead, the `archived_at` field allows storing inactive applications on the side, and restoring them to the active state when necessary. Employers and prescribers can access archived job applications using a filter on the job application list. Only employers can change the state of an application, the goal of this feature being to help them be more responsive to recent job applications. Accepted and prior to hire job applications cannot be archived, as they represent an employment relationship, so we can assume employers need to find these applications more often.

francoisfreitag added the modifié Modifié dans le changelog. label Sep 2, 2024

francoisfreitag self-assigned this Sep 2, 2024

francoisfreitag added the 1-recette-jetable [Payé à l’heure] Crée une recette jetable sur CC label Sep 2, 2024

francoisfreitag removed the 1-recette-jetable [Payé à l’heure] Crée une recette jetable sur CC label Sep 2, 2024

francoisfreitag force-pushed the ff/archive branch from 8c82dd9 to cfbd638 Compare September 2, 2024 15:42

francoisfreitag added the 1-recette-jetable [Payé à l’heure] Crée une recette jetable sur CC label Sep 2, 2024

francoisfreitag force-pushed the ff/archive branch from cfbd638 to 3e33006 Compare September 2, 2024 15:49

francoisfreitag marked this pull request as ready for review September 2, 2024 16:28

francoisfreitag force-pushed the ff/archive branch from 3e33006 to f8a6132 Compare September 3, 2024 07:16

francoisfreitag commented Sep 3, 2024

View reviewed changes

Comment thread itou/metabase/tables/job_applications.py

xavfernandez reviewed Sep 3, 2024

View reviewed changes

francoisfreitag force-pushed the ff/archive branch 7 times, most recently from c512648 to 51200fb Compare September 5, 2024 13:20

rsebille reviewed Sep 5, 2024

View reviewed changes

francoisfreitag force-pushed the ff/archive branch from d9674c2 to 225d529 Compare September 5, 2024 16:11

xavfernandez reviewed Sep 6, 2024

View reviewed changes

francoisfreitag force-pushed the ff/archive branch 2 times, most recently from 039769d to 0c3647b Compare September 9, 2024 16:36

tonial reviewed Sep 10, 2024

View reviewed changes

francoisfreitag force-pushed the ff/archive branch 2 times, most recently from e230efc to e7a5b2c Compare September 11, 2024 09:22

rsebille approved these changes Sep 11, 2024

View reviewed changes

francoisfreitag force-pushed the ff/archive branch from e7a5b2c to ddcd384 Compare September 11, 2024 12:27

francoisfreitag force-pushed the ff/archive branch from ddcd384 to 410590c Compare September 11, 2024 16:27

francoisfreitag enabled auto-merge September 11, 2024 16:27

francoisfreitag removed the 1-recette-jetable [Payé à l’heure] Crée une recette jetable sur CC label Sep 11, 2024

francoisfreitag added this pull request to the merge queue Sep 11, 2024

Merged via the queue into master with commit a5fb260 Sep 11, 2024

francoisfreitag deleted the ff/archive branch September 11, 2024 16:43

Conversation

francoisfreitag commented Sep 2, 2024 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

🤔 Pourquoi ?

🏝️ Comment tester

💻 Captures d'écran

Questions ?

Uh oh!

github-actions Bot commented Sep 2, 2024

Uh oh!

github-actions Bot commented Sep 2, 2024

Uh oh!

notion-workspace Bot commented Sep 3, 2024

Uh oh!

notion-workspace Bot commented Sep 3, 2024

Uh oh!

notion-workspace Bot commented Sep 3, 2024

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

rsebille Sep 5, 2024 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

francoisfreitag Sep 9, 2024 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

francoisfreitag Sep 10, 2024 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Uh oh!

notion-workspace Bot commented Sep 9, 2024

Uh oh!

notion-workspace Bot commented Sep 9, 2024

Uh oh!

tonial Sep 10, 2024 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

francoisfreitag commented Sep 11, 2024

Uh oh!

rsebille left a comment

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Uh oh!

francoisfreitag commented Sep 2, 2024 •

edited

Loading

rsebille Sep 5, 2024 •

edited

Loading

francoisfreitag Sep 9, 2024 •

edited

Loading

francoisfreitag Sep 10, 2024 •

edited

Loading

tonial Sep 10, 2024 •

edited

Loading