Performances: stockage d'un nom normalisé pour les villes & communes pour permettre l'utilisation de l'index by xavfernandez · Pull Request #5599 · gip-inclusion/les-emplois

xavfernandez · 2025-02-12T07:59:29Z

🤔 Pourquoi ?

Indiquez le problème que nous sommes en train de résoudre et les objectifs métiers ou techniques qui sont visés par ces changements.

🍰 Comment ?

Décrivez en quelques mots la solution retenue et mise en oeuvre, les difficultés ou problèmes rencontrés. Attirez l'attention sur les décisions d'architecture ou de conception importantes.

🚨 À vérifier

Mettre à jour le CHANGELOG_breaking_changes.md ?
Ajouter l'étiquette « Bug » ?

🏝️ Comment tester ?

Les instructions pour reproduire le problème, les profils de test, le parcours spécifique à utiliser, etc. Si vous disposez d'une recette jetable, mettre l'URL pour tester dans cette partie.

💻 Captures d'écran

github-actions · 2025-02-12T08:04:57Z

🥁 La recette jetable est prête ! 👉 Je veux tester cette PR !

rsebille

Je pense que tu peux fusionner le commit "add normalized_name field to improve autocomplete" avec son pendant "move trigram index to normalized_name field"

rsebille · 2025-02-12T10:03:11Z

            # https://docs.djangoproject.com/en/dev/ref/contrib/postgres/indexes/#ginindex
            # https://www.postgresql.org/docs/11/pgtrgm.html#id-1.11.7.40.7
-            GinIndex(fields=["name"], name="cities_city_name_gin_trgm", opclasses=["gin_trgm_ops"])
+            GinIndex(fields=["normalized_name"], name="cities_city_norm_name_gin_trgm", opclasses=["gin_trgm_ops"])


Soyons urbains 😁, surtout qu'on le fait à 2 endroits.

Suggested change

GinIndex(fields=["normalized_name"], name="cities_city_norm_name_gin_trgm", opclasses=["gin_trgm_ops"])

GinIndex(fields=["normalized_name"], name="%(class)s_normalized_name_gin_trgm", opclasses=["gin_trgm_ops"])

Le soucis c'est que le nom des index est limité à 30 caractères :-/

meh, alors en virant le suffixe gin_trgm ? Je trouve que c'est le moins utile car normalement tu retrouves plus ou moins l'information dans PG ou alors c'est dans le code, mais quand tu regardes un EXPLAIN ça aide d'avoir un nom explicite des champs concernés.

Yup, j'ai tronqué les suffix pour que ça rentre :)
Le plus triste c'est que cette limite de 30 vient d'Oracle 😒
Et que Postgresql gère par défaut jusqu'à 63 caractères: https://www.postgresql.org/docs/15/sql-syntax-lexical.html#SQL-SYNTAX-IDENTIFIERS
Je serais presque tenté d'aller adapter Index.max_name_length 👀

au bucher oracle

github-actions · 2025-02-12T11:04:58Z

🥁 La recette jetable est prête ! 👉 Je veux tester cette PR !

github-actions · 2025-02-12T15:11:14Z

🥁 La recette jetable est prête ! 👉 Je veux tester cette PR !

francoisfreitag

Top, hâte que ce soit en prod pour que l’app passe moins de temps à chercher des villes 🕵️

Le commit d2dd939 mériterait vraiment une description plus approfondie. On déclare immutable une fonction qui ne l’est pas. Pourquoi ?

rsebille

🐎

Like the unaccent function, it is not immutable. But it is (slyly) declared as such to Posgresql to enable its use in indices & generated fields.

with a GIN trigram index on it. Also, drop the unused GIN trigram index on name field

and its GIN trigram index. Also drop the unused GIN trigram index on name field

github-actions · 2025-02-13T13:28:37Z

🥁 La recette jetable est prête ! 👉 Je veux tester cette PR !

xavfernandez added performance Amélioration des perfs tech labels Feb 12, 2025

xavfernandez requested review from francoisfreitag, rsebille and tonial February 12, 2025 07:59

xavfernandez self-assigned this Feb 12, 2025

xavfernandez added the 1-recette-jetable [Payé à l’heure] Crée une recette jetable sur CC label Feb 12, 2025

rsebille reviewed Feb 12, 2025

View reviewed changes

xavfernandez force-pushed the xfernandez/immutable_unaccent_and_faster_autocomplete branch 2 times, most recently from 4e01f2f to 340e5f7 Compare February 12, 2025 10:15

xavfernandez removed the 1-recette-jetable [Payé à l’heure] Crée une recette jetable sur CC label Feb 12, 2025

xavfernandez force-pushed the xfernandez/immutable_unaccent_and_faster_autocomplete branch from 340e5f7 to 0f68da6 Compare February 12, 2025 10:57

xavfernandez added the 1-recette-jetable [Payé à l’heure] Crée une recette jetable sur CC label Feb 12, 2025

xavfernandez force-pushed the xfernandez/immutable_unaccent_and_faster_autocomplete branch from 0f68da6 to 7127e82 Compare February 12, 2025 13:59

xavfernandez removed the 1-recette-jetable [Payé à l’heure] Crée une recette jetable sur CC label Feb 12, 2025

xavfernandez force-pushed the xfernandez/immutable_unaccent_and_faster_autocomplete branch 3 times, most recently from 8233df6 to 160f940 Compare February 12, 2025 14:56

xavfernandez added the 1-recette-jetable [Payé à l’heure] Crée une recette jetable sur CC label Feb 12, 2025

xavfernandez force-pushed the xfernandez/immutable_unaccent_and_faster_autocomplete branch from 160f940 to 9f938a4 Compare February 12, 2025 15:08

tonial approved these changes Feb 12, 2025

View reviewed changes

francoisfreitag reviewed Feb 13, 2025

View reviewed changes

Comment thread itou/utils/migrations/0002_slyly_immutable_unaccent.py Outdated

rsebille approved these changes Feb 13, 2025

View reviewed changes

xavfernandez removed the 1-recette-jetable [Payé à l’heure] Crée une recette jetable sur CC label Feb 13, 2025

xavfernandez added 3 commits February 13, 2025 14:08

add slyly_immutable_unaccent function to postgres

730a7b9

Like the unaccent function, it is not immutable. But it is (slyly) declared as such to Posgresql to enable its use in indices & generated fields.

cities: add normalized_name generated field

26f4083

with a GIN trigram index on it. Also, drop the unused GIN trigram index on name field

asp: add normalized_name field to improve autocomplete

04a030e

and its GIN trigram index. Also drop the unused GIN trigram index on name field

xavfernandez added 2 commits February 13, 2025 14:10

www.autocomplete: use new normalized_name field

224650d

autocomplete: add 250ms delay for cities & communes

e534b14

xavfernandez force-pushed the xfernandez/immutable_unaccent_and_faster_autocomplete branch from 9f938a4 to e534b14 Compare February 13, 2025 13:10

xavfernandez added the 1-recette-jetable [Payé à l’heure] Crée une recette jetable sur CC label Feb 13, 2025

xavfernandez added this pull request to the merge queue Feb 13, 2025

Merged via the queue into master with commit fd1aa29 Feb 13, 2025

xavfernandez deleted the xfernandez/immutable_unaccent_and_faster_autocomplete branch February 13, 2025 13:42

	GinIndex(fields=["normalized_name"], name="cities_city_norm_name_gin_trgm", opclasses=["gin_trgm_ops"])
	GinIndex(fields=["normalized_name"], name="%(class)s_normalized_name_gin_trgm", opclasses=["gin_trgm_ops"])

Conversation

xavfernandez commented Feb 12, 2025

🤔 Pourquoi ?

🍰 Comment ?

🚨 À vérifier

🏝️ Comment tester ?

💻 Captures d'écran

Uh oh!

github-actions Bot commented Feb 12, 2025

Uh oh!

rsebille left a comment

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Uh oh!

rsebille Feb 12, 2025

Choose a reason for hiding this comment

Uh oh!

xavfernandez Feb 12, 2025

Choose a reason for hiding this comment

Uh oh!

rsebille Feb 12, 2025

Choose a reason for hiding this comment

Uh oh!

xavfernandez Feb 12, 2025

Choose a reason for hiding this comment

Uh oh!

tonial Feb 12, 2025

Choose a reason for hiding this comment

Uh oh!

github-actions Bot commented Feb 12, 2025

Uh oh!

github-actions Bot commented Feb 12, 2025

Uh oh!

francoisfreitag left a comment • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Uh oh!

rsebille left a comment

Choose a reason for hiding this comment

Uh oh!

github-actions Bot commented Feb 13, 2025

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

4 participants

francoisfreitag left a comment •

edited

Loading