Optimiser le traitement convert_spire_vessels_to_spire_ais_data.py

[njouanin]

Le traitement convert_spire_vessels_to_spire_ais_data.py convertit les données de l'ancienne table spire_vessel_positions vers le nouveau modèle spire_ais_data. Le traitement s'exécute sur l'ensemble des données et peut donc être très long à tourner.
Propositions à creuser:

• possibilités d'optimisation des traitements ?
• traitement par lot permettant de limiter la durée du traitement (par exemple nombre max d'enregistrements ou intervalle de dates).

[rv2931]

ok. j'ai bien récupéré le dump
J'ai réussi à le restaurer (postgres 16 et user Bloom_user avec une majuscule)
Je vais regarder pour faire des intervales de dates dans un premier temps (genre Airflow et option backfill --start 2020-01-01 --end 2024-08-01 et périodicité de 15 minutes ou 24h par exemple)

[rv2931]

ah ouay... 43 millions de lignes sur 1 an seulement

juste pour info y a une politique d'archivage/purge prévue côté prod ?

[njouanin]

actuellement non, mais il faudrait y penser pour la V2 effectivement. C'est sur que les données de la table spire_ais_data n'ont pas besoin d'y rester une fois qu'elle auront été traitées. J'avais pensé à un traitement régulier d'export (format parquet par exemple) et de purge.

[njouanin]

Obsolète