Skip to content

Import IAE : Utiliser les données issues de l'équipe RIAE de l'ASP plutôt que celle de la DGEFP#4048

Merged
rsebille merged 2 commits intomasterfrom
rsebille/use-riae-data
May 22, 2024
Merged

Import IAE : Utiliser les données issues de l'équipe RIAE de l'ASP plutôt que celle de la DGEFP#4048
rsebille merged 2 commits intomasterfrom
rsebille/use-riae-data

Conversation

@rsebille
Copy link
Contributor

@rsebille rsebille commented May 7, 2024

🤔 Pourquoi ?

La DGEFP va arrêter de nous fournir ces données car l'ASP nous les envois.

🍰 Comment ?

Ça me plait moyen mais je n'ai pas trouvé plus "simple" que l'extension personnalisée, et ça fait pas si dégueulasse que ça.

🏝️ Comment tester

  • Copier l'archive .tar.gz du bucket de l'équipe RIAE de l'ASP dans un dossier asp_riae_shared_bucket à la racine du projet
  • Configurer ASP_RIAE_UNZIP_PASSWORD
  • Lancer ./scripts/import-iae.sh en local ☕

@rsebille rsebille added the modifié Modifié dans le changelog. label May 7, 2024
@rsebille rsebille self-assigned this May 7, 2024

shutil.register_unpack_format("gz", [".gz"], gunzip)
shutil.register_unpack_format("7zip", [".7z"], unpack_7zarchive)
shutil.register_unpack_format("zip-riae", [".riae"], unpack_riae_zip_aes_encrypted)
Copy link
Member

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Arnaque !

Copy link
Member

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Si les algos ne changent plus, on peut ouvrir le ZipFile conteneur puis chaque fichier individuellement directement avec pyzipper, plutôt que d’utiliser shutil, non ?

Copy link
Contributor Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

C'est sûrement l'étape de fin oui, je suis pas partis sur ça car ça veux dire descendre ce qui est dans import-iae.sh dans les management commands et donc toucher des trucs à plein d'endroits car le code s'attend à un truc particulier, donc j'attendais plutôt d'avoir extrait populate_metabase_fluxiae du C1 pour faire ça.

Copy link
Member

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

N’hésites pas à le noter, car j’oublierai probablement 🙊

Copy link
Member

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Peut-être ajouter un TODO ?

Copy link
Contributor Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

J'en ai pas mis car c'est pas quelque chose qui peux être fait directement la prochaine fois que quelqu'un passe sur ces lignes, et que d'ici là des choses auront peut-être encore changée donc le TODO pourrais être "faux".

@francoisfreitag
Copy link
Member

J’ai essayé de regarder si on ne pouvait pas s’en sortir avec un subprocess.run(), mais a priori il faudrait avoir 7z sur clever, ce qui demande de la configuration et est encore moins visible que dans les requirements... Tant pis.

@rsebille rsebille force-pushed the rsebille/use-riae-data branch from b724997 to fd9ac16 Compare May 20, 2024 08:13
@socket-security
Copy link

socket-security bot commented May 20, 2024

New and removed dependencies detected. Learn more about Socket for GitHub ↗︎

Package New capabilities Transitives Size Publisher
pypi/asttokens@2.2.1 environment, eval, network 0 334 kB alexmojaki, dsagal
pypi/beautifulsoup4@4.12.3 environment, eval, filesystem, network, unsafe 0 2.1 MB leonard
pypi/build@0.10.0 environment, filesystem, shell 0 56.2 kB FFY00, gaborbernat, henryiii, ...1 more
pypi/cfgv@3.3.1 filesystem 0 44.9 kB asottile
pypi/click@8.1.6 environment, eval, filesystem, network, shell 0 922 kB
pypi/colorama@0.4.6 environment 0 116 kB tartley, wiggin15
pypi/cssbeautifier@1.14.8 None 0 364 kB bitwiseman
pypi/decorator@5.1.1 eval, filesystem 0 116 kB micheles
pypi/distlib@0.3.7 environment, eval, filesystem, network, shell, unsafe 0 1.65 MB vsajip
pypi/django-debug-toolbar@4.3.0 environment, eval, network, shell 0 1.06 MB CodenameTim, aaugustin, dcramer, ...4 more
pypi/django-extensions@3.2.3 environment, eval, filesystem, network, shell 0 1.13 MB trbs
pypi/djlint@1.34.0 eval, filesystem 0 172 kB christopher.pickering
pypi/editorconfig@0.12.3 eval, filesystem 0 48 kB treyhunner, xuhdev
pypi/execnet@2.0.2 environment, eval, filesystem, network, shell 0 348 kB hpk, nicoddemus, ronny
pypi/executing@1.2.0 environment, eval, filesystem, network 0 7.7 MB 15r10nk, alexmojaki
pypi/factory-boy@3.3.0 environment, filesystem 0 648 kB dnerdy, xelnor
pypi/faker@19.1.0 environment, eval, unsafe 0 8.12 MB curella.org, joke2k
pypi/filelock@3.12.2 unsafe 0 49.3 kB benediktschmitt
pypi/freezegun@1.5.1 unsafe 0 151 kB bblommers, spulec
pypi/html-tag-names@0.1.2 None 0 43.2 kB christopher.pickering
pypi/html-void-elements@0.1.0 None 0 41.7 kB christopher.pickering
pypi/identify@2.5.24 environment, filesystem 0 372 kB asottile, ckuehl
pypi/iniconfig@2.0.0 filesystem 0 15.4 kB hpk, ronny
pypi/ipdb@0.13.13 environment, filesystem 0 75.1 kB gnebehay, gotcha
pypi/ipython@8.23.0 environment, eval, filesystem, network, shell, unsafe 0 9.3 MB bgranger, fperez, ivanov, ...2 more
pypi/jedi@0.18.2 environment, eval, filesystem, network, shell, unsafe 0 5.17 MB David.Halter
pypi/jsbeautifier@1.14.8 eval, filesystem, network, shell 0 530 kB Richard.Bronosky, bitwiseman
pypi/json5@0.9.14 filesystem 0 104 kB dpranke
pypi/matplotlib-inline@0.1.6 network 0 24.8 kB Sylvain.Corlay, fperez, martinRenou, ...1 more
pypi/nodeenv@1.8.0 environment, filesystem, network, shell 0 151 kB evkalinin
pypi/packaging@23.1 environment, eval, filesystem, shell 0 2.34 MB brettcannon, dstufft, pf_moore, ...1 more
pypi/parso@0.8.3 environment, eval, filesystem, shell, unsafe 0 860 kB David.Halter
pypi/patchy@2.8.0 eval, filesystem, shell 0 107 kB AdamChainz
pypi/pathspec@0.11.1 filesystem 0 186 kB cpburnz
pypi/pexpect@4.8.0 environment, eval, filesystem, network, shell, unsafe 0 637 kB Red_M, jquast, luyer, ...2 more
pypi/pip-tools@7.3.0 environment, eval, filesystem, shell 0 559 kB jazzband, nvie
pypi/platformdirs@3.9.1 environment, shell 0 108 kB Julian, Ofekmeister, ronny
pypi/pluggy@1.2.0 environment, filesystem, network, shell 0 208 kB The_Compiler, flub, goodboy, ...3 more
pypi/pre-commit@3.7.1 environment, eval, filesystem, network, shell 0 345 kB asottile
pypi/prompt-toolkit@3.0.43 environment, eval, filesystem, network, shell 0 1.78 MB jonathan.slenders
pypi/ptyprocess@0.7.0 environment, filesystem 0 144 kB Red_M, luyer, takowl
pypi/pure-eval@0.2.2 environment, eval, filesystem 0 72.5 kB 15r10nk, alexmojaki
pypi/pygments@2.15.1 environment, eval, filesystem, network, shell, unsafe 0 42.7 MB Anteru, gbrandl, mitsuhiko
pypi/pyproject-hooks@1.0.0 environment, filesystem, shell 0 59.6 kB pradyunsg, takowl
pypi/pytest-django@4.8.0 environment, filesystem, network, shell 0 345 kB AdamChainz, andreaspelme, bluetech, ...2 more
pypi/pytest-mock@3.14.0 filesystem 0 123 kB The_Compiler, anatoly, flub, ...4 more
pypi/pytest-randomly@3.15.0 None 0 50.4 kB AdamChainz
pypi/pytest-subtests@0.12.1 None 0 63.4 kB nicoddemus, ronny
pypi/pytest-xdist@3.5.0 environment, eval, filesystem, network 0 337 kB The_Compiler, anatoly, flub, ...4 more
pypi/pytest@7.4.4 environment, eval, filesystem, network, shell, unsafe 0 5.12 MB The_Compiler, anatoly, flub, ...4 more
pypi/pyzipper@0.3.6 environment, eval, filesystem, network, shell 0 234 kB danifus
pypi/redis@5.0.4 environment, eval, filesystem, network 0 6.73 MB RedisLabs, cisk
pypi/referencing@0.29.1 environment, filesystem 0 153 kB
pypi/regex@2023.6.3 eval, filesystem, unsafe 0 3.44 MB mrabarnett
pypi/requests@2.32.0 environment, eval, filesystem, network, shell, unsafe 0 438 kB Lukasa, graffatcolmingov, nateprewitt
pypi/rpds-py@0.8.11 None 0 6.38 MB Julian
pypi/s3transfer@0.6.1 environment, filesystem, network 0 739 kB aws
pypi/sentry-sdk@2.2.0 environment, filesystem, network, shell, unsafe 0 1.26 MB getsentry, mitsuhiko
pypi/six@1.16.0 environment, filesystem 0 134 kB gutworth
pypi/sniffio@1.3.0 eval, filesystem 0 48.1 kB
pypi/sqlparse@0.5.0 filesystem, shell 0 360 kB aalbrecht
pypi/tablib@3.5.0 environment, eval, filesystem, unsafe 0 301 kB iurisilvio, jazzband, kennethreitz, ...1 more
pypi/tenacity@8.3.0 eval, unsafe 0 197 kB jd, sileht
pypi/tqdm@4.66.4 environment, eval, filesystem, network, shell 0 568 kB casper.dcl, tqdm
pypi/typing-extensions@4.7.1 environment, eval, filesystem, shell, unsafe 0 352 kB JelleZijlstra, guido, hauntsaninja, ...3 more
pypi/unidecode@1.3.8 filesystem, shell, unsafe 0 960 kB avian, bbangert
pypi/uritemplate@4.1.1 environment, eval, network 0 1.14 MB brettcannon, graffatcolmingov, jcgregorio, ...1 more
pypi/urllib3@1.26.18 environment, eval, filesystem, network, unsafe 0 1.18 MB SethMichaelLarson, shazow
pypi/webencodings@0.5.1 network 0 39.4 kB SimonSapin, gsnedders
pypi/xlrd@2.0.1 filesystem 0 410 kB carthorse-python-excel, chrisw, sjmachin
pypi/xlsx-streaming@2.0.0 None 0 62.6 kB dbaty, polyconseil, sebdiem, ...1 more
pypi/xworkflows@1.1.0 environment 0 187 kB xelnor
pypi/zipstream@1.1.4 filesystem 0 37.7 kB Allan.Lei

🚮 Removed packages: pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/brotli@1.1.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/inflate64@1.0.0, pypi/multivolumefile@0.2.3, pypi/multivolumefile@0.2.3, pypi/psutil@5.9.8, pypi/psutil@5.9.8, pypi/psutil@5.9.8, pypi/psutil@5.9.8, pypi/psutil@5.9.8, pypi/psutil@5.9.8, pypi/psutil@5.9.8, pypi/psutil@5.9.8, pypi/psutil@5.9.8, pypi/psutil@5.9.8, pypi/psutil@5.9.8, pypi/psutil@5.9.8, pypi/psutil@5.9.8, pypi/psutil@5.9.8, pypi/psutil@5.9.8, pypi/psutil@5.9.8, pypi/py7zr@0.21.0, pypi/py7zr@0.21.0, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pybcj@1.0.2, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyppmd@1.1.0, pypi/pyzstd@0.15.10

View full report↗︎

@rsebille rsebille force-pushed the rsebille/use-riae-data branch from fd9ac16 to 985e248 Compare May 20, 2024 08:21
@rsebille rsebille force-pushed the rsebille/use-riae-data branch from 985e248 to 7d2dbf8 Compare May 20, 2024 09:27
Copy link
Contributor

@xavfernandez xavfernandez left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Ça me chagrine un peu d'utiliser une lib pas mise à jour depuis quasi 2 ans :'(

@rsebille
Copy link
Contributor Author

@xavfernandez La seul alternative que j'ai trouvé c'est d'utiliser 7z mais c'est pas installer par défaut sur les machines Clever, donc ça ne me semblait pas rentable de partir dans des trucs un poils plus (trop ?) compliqués alors que le cas d'usage est très limité.

@rsebille rsebille force-pushed the rsebille/use-riae-data branch from 7d2dbf8 to 074c4c3 Compare May 21, 2024 10:22
@rsebille rsebille force-pushed the rsebille/use-riae-data branch from 074c4c3 to 4b63832 Compare May 22, 2024 08:24
@rsebille rsebille added this pull request to the merge queue May 22, 2024
Merged via the queue into master with commit 0610f47 May 22, 2024
@rsebille rsebille deleted the rsebille/use-riae-data branch May 22, 2024 08:56
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

modifié Modifié dans le changelog.

Projects

None yet

Development

Successfully merging this pull request may close these issues.

3 participants