Feat/cache #400

TheoLechemia · 2022-03-24T15:00:48Z

Utilisation de la lib flask-cache pour le calcul des statistiques de la page d'acceuil.
Les stats sont passés en API

.flaskenv.sample

jpm-cbna · 2022-03-25T08:49:22Z

atlas/static/index.js

@@ -0,0 +1,26 @@
+if(configuration.AFFICHAGE_STAT_GLOBALES) {


Ajouter un espace entre "if" et "(" pour que cela soit plus lisible.
Idem sur le 2ème "if".

requirements.in

jpm-cbna · 2022-04-07T14:35:24Z

docs/installation.rst

+::
+
+    source venv/bin/activate
+    pip install -r requirements-dev.txt


Il n'y a pas de fichier requirements-dev.txt. Il faudrait soit le créer (si c'est nécessaire) soit supprimer cette section.

jpm-cbna · 2022-04-07T14:36:04Z

docs/installation.rst

+::
+
+    source venv/bin/activate
+    flask run


Avant, il faut ajouter: cp .flaskenv.sample .flaskenv

Ne semble pas fonctionner en l'état depuis la racine du dépôt.
Voir le problème indiqué dans le commentaire ci-dessus.

jpm-cbna · 2022-04-07T15:17:23Z

atlas/app.py

-if __name__ == "__main__":
-    # validation de la configuration secrète
-    app = create_app()
-    app.run(
-        host="0.0.0.0",
-        port=secret_conf["GUNICORN_PORT"],
-        debug=secret_conf["modeDebug"],
-    )


Je n'ai pas réussi à lancer l'appli avec flask run. J'ai une erreur au lancement:

flask.cli.NoAppException: While importing "atlas.atlas.app", an ImportError was raised: Traceback (most recent call last): File "/home/jpmilcent/workspace/cbna/sinp/atlas/venv/lib/python3.7/site-packages/flask/cli.py", line 240, in locate_app __import__(module_name) File "/home/jpmilcent/workspace/cbna/sinp/atlas/atlas/app.py", line 8, in <module> from atlas.env import config, secret_conf, cache ModuleNotFoundError: No module named 'atlas.env'

Apparemment, avec ce mécanisme de lancement il faut changer les chemins d'acccès au fichier dans l'appli :
from atlas.env import config, secret_conf, cache
devient
from .env import config, secret_conf, cache

En attendant, de voie comment régler ce problème, j'ai pu lancer l'appli avec python atlas/app.py après avoir ajouter ceci à la fin de app.py:

if __name__ == "__main__": app = create_app() app.run()

Est-ce que tu as lancé l'application depuis le repertoire 'atlas' ?

Est-ce que tu as lancé l'application depuis le repertoire 'atlas' ?

J'ai essayé aussi sans succès. Dès que je lance http://127.0.0.1:8081/ dans mon navigateur, j'ai l'erreur.
A noter que le .flaskenv est à la racine.

Le lancement de la commande pip install -e . dans le dossier contenant le fichier setup.py ne résout pas le problème.

jpm-cbna · 2022-04-07T15:28:47Z

atlas/atlasAPI.py

+@cache.cached()
+def main_stat():
+    connection = utils.engine.connect()
+    return vmObservationsRepository.statIndex(connection)


Je suis assez surpris par la rapidité d’exécution des requêtes présentes dans statIndex(). Le passage à la v1.5 et le changement dans les VM en est peut être à l'origine.
En tout cas, le cache semble remplir son rôle sur une base avec 11 millions d'observations. En relançant, l'appli le cache est bien vidé.

jpm-cbna

Il faudrait rajouter du cache pour la section "Nouvelles espèces" et pour la carte "Dernières observations".
Si j'active ces sections sur la page d'accueil, cela ralentie énormément l'affichage avec une base de 11 millions d'observations...

jpm-cbna · 2022-04-08T08:48:03Z

atlas/app.py

-if __name__ == "__main__":
-    # validation de la configuration secrète
-    app = create_app()
-    app.run(
-        host="0.0.0.0",
-        port=secret_conf["GUNICORN_PORT"],
-        debug=secret_conf["modeDebug"],
-    )


Est-ce que tu as lancé l'application depuis le repertoire 'atlas' ?

J'ai essayé aussi sans succès. Dès que je lance http://127.0.0.1:8081/ dans mon navigateur, j'ai l'erreur.
A noter que le .flaskenv est à la racine.

jpm-cbna · 2022-04-08T08:49:00Z

atlas/configuration/config.py.example

+# Temps en seconde de la durée du cache 
+# utilisé pour les statistiques de la page d'accueil (stats global et rang taxonomique)
+# à synchroniser avec le raffraichissement des VM
+CACHE_TIMEOUT = fields.Number(load_default=3600)


J'ai du seulement mettre CACHE_TIMEOUT = 3600 ici.

Tu as fait un pip install -e . depuis la racine ?

jpm-cbna · 2022-04-08T08:51:32Z

atlas/templates/home/_main.html

@@ -26,6 +26,8 @@
            $(".lazy").lazy();
        });
    </script>
+<script src="{{ url_for('static', filename='index.js') }}"></script>


Il faudrait rajouter cette ligne dans un test qui vérifie que l'on affiche bien les stats globale sur la page d'accueil : {% if configuration.AFFICHAGE_STAT_GLOBALES or configuration.AFFICHAGE_RANG_STAT %}.

Sinon, on charge un fichier pour rien...

Il y a déjà des IF dans le fichier js. Et si un jour on ajoute encore d'autre truc dans ce index.js, qui eux ne sont pas dépendant de paramètres ..

jpm-cbna · 2022-04-08T08:53:27Z

docs/installation.rst

+::
+
+    source venv/bin/activate
+    flask run


Ne semble pas fonctionner en l'état depuis la racine du dépôt.
Voir le problème indiqué dans le commentaire ci-dessus.

TheoLechemia · 2022-04-08T11:36:14Z

Il faudrait rajouter du cache pour la section "Nouvelles espèces" et pour la carte "Dernières observations". Si j'active ces sections sur la page d'accueil, cela ralentie énormément l'affichage avec une base de 11 millions d'observations...

Il faudrait passer ces routes en API, et mettre un cache spécifique dessus. J'ai pas le temps de le faire là. Je propose qu'on merge ça en l'état pour éviter que la PR diverge. On pourra le faire par la suite en suivant le même exemple

jpm-cbna · 2022-04-08T18:59:39Z

Je propose qu'on merge ça en l'état pour éviter que la PR diverge. On pourra le faire par la suite en suivant le même exemple

@TheoLechemia Ok, ça me va. Par contre, il faut résoudre le problème du flask run qui ne semble pas fonctionner. Est ce que de ton côté cela fonctionne ?

TheoLechemia · 2022-04-11T07:41:04Z

J'ai relancé un install_app.sh (donc suppression du venv) et ça fonctionne

camillemonchicourt requested a review from jpm-cbna March 24, 2022 15:01

jpm-cbna mentioned this pull request Mar 25, 2022

Feat: use cache for index page stats #398

Closed

jpm-cbna reviewed Mar 25, 2022

View reviewed changes

.flaskenv.sample Outdated Show resolved Hide resolved

jpm-cbna reviewed Mar 25, 2022

View reviewed changes

requirements.in Outdated Show resolved Hide resolved

jpm-cbna reviewed Apr 7, 2022

View reviewed changes

jpm-cbna reviewed Apr 8, 2022

View reviewed changes

jpm-cbna force-pushed the feat/cache branch 2 times, most recently from 243a8f2 to a02e521 Compare April 11, 2022 13:09

TheoLechemia and others added 2 commits June 15, 2023 15:13

Feat: add flask-cache, use for stats

3b6df36

Reduction nombre de spinner

3f71b99

amandine-sahl force-pushed the feat/cache branch from a02e521 to 3f71b99 Compare June 15, 2023 14:17

amandine-sahl changed the base branch from develop to prepa_1.6 June 15, 2023 14:18

Changelog + style

16c2065

amandine-sahl merged commit 0b7f873 into prepa_1.6 Jun 15, 2023

camillemonchicourt deleted the feat/cache branch September 12, 2023 12:40

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Feat/cache #400

Feat/cache #400

TheoLechemia commented Mar 24, 2022

jpm-cbna Mar 25, 2022

jpm-cbna Apr 7, 2022

jpm-cbna Apr 7, 2022

jpm-cbna Apr 8, 2022

jpm-cbna Apr 7, 2022

TheoLechemia Apr 8, 2022

jpm-cbna Apr 8, 2022

jpm-cbna Apr 8, 2022

jpm-cbna Apr 7, 2022

jpm-cbna left a comment

jpm-cbna Apr 8, 2022

jpm-cbna Apr 8, 2022

TheoLechemia Apr 8, 2022

jpm-cbna Apr 8, 2022

TheoLechemia Apr 8, 2022

jpm-cbna Apr 8, 2022

TheoLechemia commented Apr 8, 2022

jpm-cbna commented Apr 8, 2022 •

edited

Loading

TheoLechemia commented Apr 11, 2022

Feat/cache #400

Feat/cache #400

Conversation

TheoLechemia commented Mar 24, 2022

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

jpm-cbna left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

TheoLechemia commented Apr 8, 2022

jpm-cbna commented Apr 8, 2022 • edited Loading

TheoLechemia commented Apr 11, 2022

jpm-cbna commented Apr 8, 2022 •

edited

Loading