Utilisation / installer de xhydro (ou une partie) avec Pip

[TC-FF]

Setup Information

Sur nos clusters de calcul, l'installation via conda est impossible (et nous ne sommes potentiellement pas les seuls)

xHydro est donc actuellement impossible à utiliser à cause de EMSPY. Est-ce que ESMPY pourrait être un wheel ? Ou est-ce que ça pourrait être sorti du init et que les fonctions qui nécessitent ESMPY soit dans un seul module ?

Context

No response

[Zeitsperre]

La complexité de ESMF est tellement large. Même quand on build la librairie en utilisant leur GitHub Action, ça prend en excès de cinq minutes (avec les configs du défaut). Le nombre des configurations nécessaires pour créer des wheels (OS * Python version * Architecture) rendre ça encore pire.

Est-ce-que l'option de rouler ESMF avec docker fonctionnerait pour vous ?

https://github.com/esmf-org/esmf?tab=readme-ov-file#pre-built-esmf

[sebastienlanglois]

Dans la majorité des cas, nous sommes en mesure d'utiliser conda. Toutefois, pour le cas mentionné par @TC-FF, nous avons un processus qui est limité à PyPI, mais pour lequel nous pouvons exécuter du code bash en amont. On tente de voir si on peut installer ESMF par bash, mais c'est effectivement super complexe. Pour ce qui est de Docker, je ne pense pas que c'est possible pour ce cas spécifique, mais je vais regarder plus en détails.

On se questionnait aussi s'il y avait une manière de designer XHydro de manière à ce que des modules/sous-packages spécifiques puissent être appelés (ex: frequency_analysis) sans nécessairement que tous les fonctions/classes soient importées ?

[RondeauG]

Désolé pour mon petit retard.

Pour l'instant, xhydro n'a pas besoin de ESMF; c'est une dépendance qui nous arrive de xscen. On est aussi en train de regarder ça de notre bord pour les mêmes raisons (environnement conda pas toujours possible sur les clusters de calcul).

Une solution possible serait quelque chose similaire à ce qui est fait sur xdatasets: https://github.com/hydrologie/xdatasets/blob/master/xdatasets/spatial.py

try:
    import xagg as xa
except ImportError:
    warnings.warn("xagg is not installed. Please install it with `pip install xagg`")
    xa = None

Mais il faudrait que ça soit dans xscen, pas xhydro. Je vais en discuter de notre côté.

[RondeauG]

On se questionnait aussi s'il y avait une manière de designer XHydro de manière à ce que des modules/sous-packages spécifiques puissent être appelés (ex: frequency_analysis) sans nécessairement que tous les fonctions/classes soient importées ?

On peut se servir du __init__ pour décider ce qui est importé quand on fait import xhydro ou import xhydro.frequency_analysis, mais dans ce cas-ci ça n'aiderait pas parce que xscen est importé dans les deux cas.

[RondeauG]

Réglé avec xscen 0.8.2, qui est maintenant disponible sur PyPI.