Supprime les tests non exécutés

[fpagnoux]

Connected to #397
Connected to #722
Connected to #451
Depends on openfisca/openfisca-core#487

---

• Amélioration technique
• Détails :
  • Supprime les tests non exécutés par la CI (voir discussion précédente)
    • Ceux ignorés via le prefixe IGNORE_ ou la propriété ignore
    • Ceux qui n'étaient pas mentionnés dans test_yaml.py
  • Exécute dans la CI tous les tests YAML présents dans le répertoire tests
  • Déplace les tests hors du package principal
  • Déplace les configurations par dossier des tests YAML vers les fichiers individuels.
  • Simplifie en conséquence test_yaml.py

---

Ces changements (effacez les lignes ne correspondant pas à votre cas) :

• Modifient des éléments non fonctionnels de ce dépôt

---

Le diff est difficile à lire, pour vérifier qu'aucun test n'a été supprimé à tord, on peut plutôt comparer le nombre de tests exécutés avant et après la PR.

A priori, il devrait y avoir 6 tests de plus après cette PR qu'avant (tests anciennement ignorés alors qu'ils passaient).

[fpagnoux]

Note aux contributeurs

Seuls les tests YAML exécutés par la CI ont été conservés. Cela correspond à ceux qui se situaient dans les répertoires fiches_de_paie, formulas, mes-aides.gouv.fr, ui.openfisca.fr, et scipy, et qui n'étaient pas ignorés.

Si parmi les tests supprimés se trouvent des tests qui passent et qui doivent donc rester dans la code base, vous pouvez soit les ré-introduire en ouvrant une PR sur la branchetests tant que cette PR n'est pas mergée, ou sur master après le merge.

Merci de votre compréhension !

[benjello]

Je vais regarder mais il me semble qu'une grande partie des tests ont été ignorés car ils surchargeaint Travis.

[MattiSG]

Ok, on est à la veille de la fin d'itération, je propose qu'on avance. Les tests sont toujours versionnés, si @benjello en identifie certains qui doivent être intégrés, on revertera leur suppression.

[benjello]

@MattiSG : a priori tous ces tests étaient à garder mais ils surchargeaient Travis, ils ont donc été ignorés (pour faire de la place aux tests mes-aides, pour accélérer l'exécution des tests) en attendant une solution définitive. Les virer tout court me semble très dommageable. J'ai accepté qu'ils soient ignorés pour être arrangeant et maintenant on les vire et c'est à moi de les réintégrer. J'ai un peu l'impression d'être couillonné ;-)

[fpagnoux]

tous ces tests étaient à garder mais ils surchargeaient Travis, ils ont donc été ignorés (pour faire de la place aux tests mes-aides, pour accélérer l'exécution des tests) en attendant une solution définitive.Les virer tout court me semble très dommageable. J'ai accepté qu'ils soient ignorés pour être arrangeant et maintenant on les vire et c'est à moi de les réintégrer. J'ai un peu l'impression d'être couillonné ;-)

Je comprends ta frustration @benjello . Si les tests passaient et avaient de la valeur pour fiabiliser les formules, c'est vraiment dommage qu'on les ait ignorés.
Par contre, un test ignoré n'a pas beaucoup plus de valeur qu'un test supprimé. Il n'est jamais exécuté, tend à périmer, et n'apporte plus de "filet de sécurité" contre les régressions. Pire, il induit en erreur : je peux penser à tord que telle formule est garantie par un test, alors qu'elle est fausse.

Le mécanisme proposé ici te garantit que tous les tests présents dans le dépôt sont au vert. Certes, il y a aura un coût à ré-introduire les tests dans le dépôt, mais en échange tu as la garantie qu'ils passeront tout le temps, sans régression possible.

Pour mieux cerner le problème:

• Exécutes-tu régulièrement ces tests ignorés ?
• A-t-on une idée de la proportion de ces tests qui passent aujourd'hui si on les exécute ?

[fpagnoux]

Dans tous les cas @cbenz @MattiSG parlons-en demain.

[MattiSG]

Comme vu au téléphone avec @benjello, on va :

• Tenter de faire passer tous les tests supprimés et réintégrer ceux qui sont au vert.
• Passer sur CircleCI si la performance est un frein.
• Supprimer des tests par partionnement de l'espace des résultats si la performance est un frein.
• Créer une branche contenant les tests ne passant pas pour faciliter le travail de correction associé.