Recode la taxe d'habitation #1320

bfabre01 · 2019-05-06T13:07:40Z

Amélioration de modélisation - changement majeur
Périodes concernées : toutes.
Zones impactées :
- prelevements_obligatoires/taxe_habitation
- prelevements_obligatoires/isf
- mesures
Détails :
- Re-code la taxe d'habitation (TH) : on code la TH des communes et EPCI (Etablissement Public de Coopération Intercommunale) due au titre de la résidence principale à partir de la législation 2017, et jusqu'à la législation 2019. Cette PR intègre les barèmes locaux votés par les communes et EPCI (taux de taxation, taux d'abattements) de 2017.
- Paramètres supprimés:
  - cotsoc/gen/plaf_th_1
  - cotsoc/gen/plaf_th_1_dom
  - cotsoc/gen/plaf_th_1_guy
  - cotsoc/gen/plaf_th_supp
  - cotsoc/gen/plaf_th_supp1_dom
  - cotsoc/gen/plaf_th_supp1_guy

sandcha · 2019-05-06T14:29:23Z

Merci @bfabre01 pour cette contribution !
Comme elle est conséquente, @Morendil et moi sommes intéressés par sa revue. Avez-vous des contraintes de temps particulières ?

bfabre01 · 2019-05-06T15:03:52Z

@sandcha @Morendil : Merci ! Si ça peut être reviewé d'ici 15 jours c'est top ! Comme j'ai posté sur slack, je n'arrive pas à comprendre l'erreur dans la section build des tests... Si vous avez une explication, je suis preneur !

bfabre01 · 2019-05-06T15:30:59Z

Grosso modo, cette PR est assez longue en lignes de codes, mais ne devrait pas poser trop de problèmes je pense. Il s'agit juste d'ajouter la TH, qui n'agit pas sur les autres dispositifs socio-fiscaux simulés dans OF France. Donc, la revue devrait surtout être du check de législation ou de forme.

bfabre01 · 2019-05-07T17:06:36Z

@Morendil @sandcha: je viens d'ajouter les barèmes communaux et intercommunaux de la TH pour 2017 sous format csv (avant, j'avais juste créé des fichiers yaml avec les barèmes de deux communes pour faire les tests). Je suis preneur de retour sur le code qui récupère les infos de ce fichier csv, car il n'est je pense clairement pas optimisé ! @fpagnoux, si toi aussi tu peux y jeter un oeil rapide, ça serait top ! Notamment pour voir si un tel code ne serait pas trop inefficace si on doit le faire tourner sur des grosses bases de données !

sandcha · 2019-05-07T17:36:54Z

Deux compléments d'information pour la revue :

le code source de la TH issu de la DGFip
l'application réalisée par @marion-paclot pour expliquer le fonctionnement de la TH

fpagnoux · 2019-05-08T01:00:07Z

openfisca_france/assets/taxe_habitation/source/do_REI2017_to_csv.do

@@ -0,0 +1,48 @@
+/***************************************************************************************/


I'm not sure this file should be commited in this repository

Pas sûr non plus. Je l'ai juste ajouté par transparence sur la génération du csv. Mais je peux l'enlever. @sandcha @Morendil , qu'en pensez-vous ?

Ok pour le conserver mais ce serait alors dans openfisca-france/openfisca_france/scripts.
Et dans ce cas, pour le rendre utilisable, peux-tu indiquer la version de stata employée (aka, le nécessaire à avoir dans l'environnement pour l'appeler, librairies...) ainsi que la commande pour l'exécuter ?

En as-tu une version en Python pour accroître ses chances d'être mis à jour ?

@sandcha : j'ai ajouté la version de stata nécessaire pour lancer le programme. Pour l'emplacement, je trouve qu'il est mieux de garder le programme près du fichier .csv sinon, peut-être qu'il n'est pas évident de savoir que ce programme existe lorsqu'on consulte le csv.

sandcha · 2019-05-13T13:26:30Z

@bfabre01 Il semble qu'il y ait des variables supprimées et renommées. C'est donc non rétro-compatible.
Peux-tu indiquer la liste des variables renommées et supprimées stp ?
De même pour les paramètres en indiquant simplement le noeud parent affecté ?

Morendil

Premières remarques à la suite d'une relecture avec @sandcha, on continue demain

Morendil · 2019-05-13T13:55:46Z

openfisca_france/model/prelevements_obligatoires/taxe_habitation/taxe_habitation.py

+        return exon
+
+
+class valeur_locative_cadastrale_brute(Variable):


Cette variable étant le seul input spécifique à la nouvelle TH, ça serait utile de l'avoir en début de fichier.

Morendil · 2019-05-13T14:21:19Z

openfisca_france/model/prelevements_obligatoires/taxe_habitation/taxe_habitation.py

+    reference = "art. 1414 C du CGI"
+    definition_period = YEAR
+
+    def formula_2018_01_01(menage, period, parameters):


Une remarque de forme: je trouve la formule un peu difficile à lire, l'idéal serait d'utiliser des sauts de ligne pour aérer, entre les parties qui font un même travail; et peut-être regrouper ce qui va ensemble, par exemple faire d'abord le dégrèvement et ensuite le dégrèvement dégressif.

Fait. Par contre, le dégrèvement et le dégrèvement dégressif sont très liés. C'est donc plus simple je pense de mettre les lignes de calculs de ces deux dispositifs ensemble.

sandcha

Merci @bfabre01 !
Voici un premier retour de forme (hors script de lecture du csv).

sandcha · 2019-05-13T13:54:30Z

openfisca_france/model/prelevements_obligatoires/taxe_habitation/taxe_habitation.py

+        taux_th_commune = menage('taux_th_commune', period)
+        taux_th_epci = menage('taux_th_epci', period)
+        if taux_th_commune + taux_th_epci == 0:
+            log.error(("Attention, il n'y a pas de taux de taxe d'habitation défini pour la commune indiquée."))


Supprimer le message d'erreur et préférer une liste de taux complète.

@sandcha : en fait, les taux de 2000 ne sont pas disponibles, d'où le fait que j'ai mis un message d'erreur. Même si on n'a pas ces taux, je les ai introduit dans le code (1) pour coller à la législation (2) pour qu'il soit possible de faire une simul pour un cas particulier dont on connait le taux en 2000.

👍 Ca nous donne donc un équivalent de valeur par défaut pour les taux manquants.

Il ne reste donc qu'à supprimer le message de log (par cohérence avec le reste du comportement d'openfisca qui passe par des valeurs par défaut mais ne log qu'en cas de crash).

sandcha · 2019-05-13T14:01:37Z

openfisca_france/model/prelevements_obligatoires/taxe_habitation/taxe_habitation.py

+    default_value = False
+    entity = FoyerFiscal
+    label = u"Condition de revenu fiscal de référence pour l'éxonération à l'échelle du foyer fiscal"
+    reference = "BOI-IF-TH-10-50-30"


Utiliser une URL fixe du site bofip.impots.gouv.fr ?

sandcha · 2019-05-13T14:07:29Z

openfisca_france/model/prelevements_obligatoires/taxe_habitation/taxe_habitation.py

+        return degrev * elig_degrev + degrev_degressif * elig_degrev_degressif
+
+
+class taxe_habitation_commune_epci(Variable):


Conserver le nom de taxe_habitation pour la variable de plus haut niveau dans le calcul ? Le libellé peut toujours indiquer plus de précision.

sandcha · 2019-05-13T14:09:27Z

openfisca_france/model/prelevements_obligatoires/taxe_habitation/taxe_habitation.py

+class taxe_habitation_commune_epci(Variable):
+    value_type = float
+    entity = Menage
+    label = u"Taxe d'habitation de la commune et de l'EPCI, frais de gestion inclus"


Suggested change

label = u"Taxe d'habitation de la commune et de l'EPCI, frais de gestion inclus"

label = u"Taxe d'habitation de la commune et de l'EPCI (Établissement Public de Coopération Intercommunale), frais de gestion inclus"

sandcha · 2019-05-13T14:13:17Z

openfisca_france/model/prelevements_obligatoires/taxe_habitation/taxe_habitation.py

+    value_type = float
+    entity = Menage
+    label = u"Dégrèvement d'office de la taxe d'habitation"
+    reference = "art. 1414 C du CGI"


Cet article 1414 C est antérieur à 2018. Mettre à jour la référence pour qu'elle indique la modification applicable depuis 2018 ?

Et remplacer toutes les références en chaînes de caractère par le lien légifrance/fixe ?

sandcha · 2019-05-13T14:28:26Z

...rameters/taxation_locale/taxe_habitation/degrevement_d_office/plaf_rfr_degrev_1ere_part.yaml

@@ -0,0 +1,8 @@
+description: Plafond de revenu fiscal de référence pour le dégrèvement d'office à taux plein - 1ère part


Tous ces paramètres ont le même préfixe plaf_rfr...
Utiliser ce préfixe en nom du noeud parent ?

Voire, regrouper quelques paramètres dans un même fichier yaml pour en faciliter la lecture.

sandcha · 2019-05-13T14:32:42Z

...nce/model/prelevements_obligatoires/taxe_habitation/taxe_habitation_import_baremes_locaux.py

+                openfisca_france.__name__,
+                'assets/taxe_habitation/parametres_th_{}.csv'.format(year),
+                ) as csv_file:
+            if sys.version_info < (3, 0):


Python 2 n'étant plus maintenu, supprimer le code qui assure la rétro-compatibilité pour faciliter la maintenance de l'ensemble 🙂

bfabre01 · 2019-05-13T16:22:15Z

@Morendil @sandcha : merci pour vos commentaires ! J'ai fais les modifs.

Morendil · 2019-05-20T09:12:04Z

@bfabre01 Je continue la revue. J'ai des réserves sur axe_habitation_import_baremes_locaux.py.

Ce fichier fait 500+ lignes mais pour l'essentiel c'est du code qui décline une même opération: lire un CSV, extraire une colonne, l'affecter à une variable globale Python pour la mettre à disposition d'une variable OpenFisca.

L'opération de lecture du fichier est répétée autant de fois qu'il y a de variables concernées, ça me semble un peu préoccupant en termes de performance autant que de factorisation du code.

Il vaut mieux réaliser le "preload" une seule fois et affecter l'ensemble des colonnes à un Dict unique (qui peut être une globale), de façon paresseuse (ne pas ré-affecter si le Dict est déjà initialisé). De cette façon il n'y aurait qu'une seule copie de la fonction preload. (Ce preload peut d'ailleurs être mis en commun avec celui qui est dans aides_logement en le généralisant un peu.)

Le isinstance(code_INSEE_commune_cell, str) est superflu, nous n'avons pas besoin de supporter Python 2; on peut supposer que le fichier est encodé en UTF8 et que les chaînes sont bien des str.

Plutôt que

montant = fromiter((default_value for code_INSEE_commune_cell in code_INSEE_commune), dtype = float)

utiliser

np.repeat(default_value, size(code_INSEE_commune))

Il me semble qu'on peut aussi éviter l'itération dans le cas où le CSV est présent:

indices = np.unique(code_INSEE_commune, return_inverse=True)[1]
values = np.array(list(abt_condition_modeste_by_epci.values()))
montant = values[indices]

mais je ne sais pas ce qui est préférable en termes de performance, ça peut être intéressant de faire des essais. Ou bien @benjello doit pouvoir te dire d'après son expérience.

benjello · 2019-05-20T09:56:24Z

@Morendil @bfabre01 : mon expérience ce limite à l'utilisation du preload pour éviter de relire le fichier à chaque calcul et de faire un cahce avec l'utilisation d'une varaible globale;
Je rejoisn @Morendil sur le fait de lire toutes les colonnes en une seule fois car de tout e façon on est obligé d'utiliser donc de lire tous ces paramètres pour le calcul de la TH.

sandcha · 2019-05-20T10:06:02Z

@bfabre01 Nous avons remarqué qu'il manquait des tests à TH ~~supérieure à~~ différente de zéro et que le taux était souvent fixé.

Peux-tu comparer les résultats de ton modèle avec ceux de cette application pour faire varier plus de points d'entrée en test (typiquement, valeur locative/rfr/localisation) ?

L'idée serait d'intégrer ces tests à la PR si un écart (> 2€) est détecté.

bfabre01 · 2019-05-21T08:01:20Z

@sandcha @Morendil : merci pour vos retours.
Pour le preload. Je suis d'accord, c'est inefficace. J'avais essayé de tout regrouper en une seule opération, mais il y avait un bug que je ne comprenais pas, et qui n'était pas présent quand je séparais les choses. Je vais essayer de faire mieux. Mais si vous voyez une solution assez évidente pour vous et rapide, n'hésitez pas à l'implémenter (mes connaissances en python touchent leurs limites).
@sandcha : quand tu dis un test où TH >0, tu penses à des cas où il y aurait des restitutions de TH c'est bien ça ? Comme pour l'IR où les crédits d'impôts peuvent être > à l'impôt avant crédits ? Si c'est le cas, c'est normal qu'il n'y ait pas de tels tests : à ma connaissance, il ne peut pas y avoir de restitution de TH.
Je n'ai en effet pas fait varier les taux de taxation et les abattements. Mais j'ai prix le cas d'une commune qui avait voté une valeur >0 de tous les abattements modélisés. Et fait varier la valeur locative et le RFR de sorte à avoir, en un minimum de tests, l'ensemble des configurations possibles en termes valeurs relativesde RFR/val locative/taux. Si vous voyez une combinaison que j'aurais manqué, dites-le moi. Je vais regarder l'application citée.

Morendil · 2019-05-21T10:24:26Z

@bfabre01 On ne parlait pas des restitutions mais simplement une TH à payer non nulle.

bfabre01 · 2019-05-27T14:29:34Z

@Morendil @sandcha : j'ai fait quelques modifs et comparé tous mes résultats de tests yaml avec l'appli de Marion Paclot. Tout est ok (sauf un cas, pour lequel je viens de contacter Marion, car je pense qu'on est bon de notre côté). Donc, niveau test, je pense que c'est ok. Pour le chargement des paramètres, ça m'arrangerait si vous pouviez le faire. Cela vous prendrait beaucoup moins de temps, et permettrait de fermer cette (longue) PR assez vite. C'est ok pour vous ?

bfabre01 · 2019-06-05T16:09:55Z

@Morendil @sandcha : j'ai amélioré le fichier d'import des paramètres locaux.
Le test d'import des paramètres passe. Donc, c'est ok normalement.
Cet import peut surement être optimisé. Mais ça dépasse mon champ de compétence, et cette PR a déjà été assez (très) longue. Donc, à ce stade, sachant les revues déjà faites ci-dessus : soit vous trouvez l'import insuffisant, et je vous propose de prendre la main, soit on merge (sauf si bien sûr vous remarquez une erreur :-) ). Merci beaucoup !

Morendil · 2019-06-07T09:56:30Z

C'est bon pour moi, @sandcha tu veux jeter encore un oeil ou je prends le merge ?

sandcha · 2019-06-07T13:01:02Z

openfisca_france/model/prelevements_obligatoires/taxe_habitation/taxe_habitation.py

+
+class exonere_th(Variable):
+    value_type = bool
+    default_value = False


Etait à True précédemment. Qu'est-ce qui nous amène à la changer ? 🤔

L'exonération est un dispositif ciblant un public particulier. Naturellement, je me suis donc dit qu'il était plus naturel de le faire à False par défaut.

Il était à True quand on ne voulait pas voir arriver une valuer de TH alors que l'on en la calculait pas. Donc le changement fait par @bfabre01 me paraît tout à fait judicieux désormais.

sandcha · 2019-06-07T18:54:48Z

Encore merci @bfabre01 ! 👏
J'ai proposé les derniers éléments qui me manquaient sous forme de commits.
Il reste néanmoins la question du fichier stata/.do qui pour moi n'a sérieusement pas sa place dans le module (au sens Python). Si c'est bloquant pour vous de le déplacer dans scripts/, il doit a minima être exclu des assets à embarquer (cf. package exclude dans le setup.py).
@Morendil Je te passe la main pour la cloture 🙂

… paramètres locaux

sandcha · 2019-06-13T13:25:33Z

Fixup sur le MANIFEST.in appliqué pour propager l'exclusion du setup.py.
C'est bon pour moi.

Test du contenu de la wheel effectué via :

Build de la wheel avec python setup.py sdist bdist_wheel | grep assets

Revue de son contenu par : unzip -l OpenFisca_France-XX.0.0-py3-none-any.whl | grep assets (similaire au contenu du répertoire build/lib de sdist)

sandcha · 2019-06-13T13:26:00Z

@bfabre01 Rebase en cours :)

bfabre01 · 2019-06-13T13:53:31Z

@sandcha : Merci !

bfabre01 requested a review from claireleroy May 6, 2019 13:07

sandcha requested review from Morendil and sandcha May 6, 2019 14:27

sandcha added the flow:reviewing label May 7, 2019

fpagnoux reviewed May 8, 2019

View reviewed changes

bfabre01 force-pushed the taxe-habitation branch from 520d837 to 2e353ff Compare May 10, 2019 12:23

Morendil requested changes May 13, 2019

View reviewed changes

sandcha requested changes May 13, 2019

View reviewed changes

bfabre01 force-pushed the taxe-habitation branch from e3399e6 to 4366e68 Compare May 27, 2019 13:16

bfabre01 mentioned this pull request May 28, 2019

Problème dégrèvement dégressif marion-paclot/TH#2

Closed

bonjourmauko removed the flow:reviewing label Jun 6, 2019

sandcha reviewed Jun 7, 2019

View reviewed changes

sandcha mentioned this pull request Jun 7, 2019

Messages d'erreur à l'import des barèmes de taxe d'habitation #1339

Closed

Brice Fabre and others added 20 commits June 13, 2019 15:07

Change une référence

5de1db1

Renomme la variable de TH finale

9a13c24

Change un label

dc29e0b

Réagence les paramètres de plafond RFR pour le dégrèvement d'office

b6d9eef

Continue le réagencement des paramètres

837e051

Met des URL legifrance dans les références des formules

5238817

Ajoute la version nécessaire de Stata pour générer le fichier csv des…

d178261

… paramètres locaux

Supprime les lignes spécifiques à Python 2

56dc827

Corrige le nom de certains paramètres

96009be

Enlève un import

885c95c

Corrige abattement pour condition modeste

37b710d

Corrige et ajoute un test

c1b4098

Inclue l'âge minimal d'exonération dans les paramètres

9486c2d

Inclut les frais de gestion en amont des plafonnements

83ea9ca

Améliore l'import des paramètres locaux

1cd6b56

Donne la définition des acronymes dans les libellés

7f3dd75

Propose l'abandon de renommage exonere_taxe_habitation

e0c3102

Remplace le logging par du commentaire

ac28f01

Renvoie à la ligne les longues descriptions de tests

05ead3c

Supprime espaces

ca93f6c

sandcha approved these changes Jun 13, 2019

View reviewed changes

Brice Fabre added 2 commits June 13, 2019 15:28

Exclue les sources des param locaux de la TH des assets à embarquer

3510e55

Actualise le changelog et le setup

21aa53a

sandcha force-pushed the taxe-habitation branch from 98add69 to 21aa53a Compare June 13, 2019 13:40

sandcha merged commit b2055b5 into master Jun 13, 2019

sandcha deleted the taxe-habitation branch June 13, 2019 13:51

		@@ -0,0 +1,48 @@
		/***************************************************************************************/

		return exon


		class valeur_locative_cadastrale_brute(Variable):

		return degrev * elig_degrev + degrev_degressif * elig_degrev_degressif


		class taxe_habitation_commune_epci(Variable):

	label = u"Taxe d'habitation de la commune et de l'EPCI, frais de gestion inclus"
	label = u"Taxe d'habitation de la commune et de l'EPCI (Établissement Public de Coopération Intercommunale), frais de gestion inclus"

		@@ -0,0 +1,8 @@
		description: Plafond de revenu fiscal de référence pour le dégrèvement d'office à taux plein - 1ère part

Recode la taxe d'habitation #1320

Recode la taxe d'habitation #1320

Conversation

bfabre01 commented May 6, 2019 • edited Loading

sandcha commented May 6, 2019

bfabre01 commented May 6, 2019

bfabre01 commented May 6, 2019

bfabre01 commented May 7, 2019

sandcha commented May 7, 2019

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

sandcha commented May 13, 2019

Morendil left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

bfabre01 May 13, 2019 • edited Loading

Choose a reason for hiding this comment

sandcha left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

sandcha May 13, 2019 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

bfabre01 commented May 13, 2019

Morendil commented May 20, 2019 • edited Loading

benjello commented May 20, 2019

sandcha commented May 20, 2019 • edited Loading

bfabre01 commented May 21, 2019

Morendil commented May 21, 2019

bfabre01 commented May 27, 2019

bfabre01 commented Jun 5, 2019

Morendil commented Jun 7, 2019

sandcha Jun 7, 2019 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

sandcha commented Jun 7, 2019

sandcha commented Jun 13, 2019

sandcha commented Jun 13, 2019

bfabre01 commented Jun 13, 2019

bfabre01 commented May 6, 2019 •

edited

Loading

bfabre01 May 13, 2019 •

edited

Loading

sandcha May 13, 2019 •

edited

Loading

Morendil commented May 20, 2019 •

edited

Loading

sandcha commented May 20, 2019 •

edited

Loading

sandcha Jun 7, 2019 •

edited

Loading