Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

captcha #54

Closed
alaunay opened this issue Jan 20, 2023 · 43 comments
Closed

captcha #54

alaunay opened this issue Jan 20, 2023 · 43 comments

Comments

@alaunay
Copy link

alaunay commented Jan 20, 2023

GRDF a ajouté un captcha, ce qui rend le script impossible à connecter...

2023-01-20 20:40:08,770 Starting new HTTPS connection (1): login.monespace.grdf.fr:443
2023-01-20 20:40:08,980 https://login.monespace.grdf.fr:443 "POST /sofit-account-api/api/v1/auth HTTP/1.1" 200 None
2023-01-20 20:40:08,982 1st Auth Response : 
{"state":"REINPUT","error":"CAPTCHA_FAIL","actualLockoutDuration":0,"message":"login.error.recaptchako","displayCaptcha":true,"surname":"XX","name":"YY","email":"ZZ"}
2023-01-20 20:40:08,982 Login call - error status :REINPUT

FlareSolverr ?
https://github.com/FlareSolverr/FlareSolverr

@jf-ch
Copy link

jf-ch commented Jan 21, 2023

Bonjour,

J'ai le même problème depuis le 19/01 malgré une connexion manuelle et un changement de mot de passe.

@Overnuts
Copy link

Bonjour, pareil pour moi :-(

@Holborn13200
Copy link

J'adore ... Quel est le véritable motif de l'intégration de ce captcha ? Ne plus donner la possibilité aux utilisateurs de domotique de suivre facilement leur consommation ? Pourquoi ne pas développer une solution gérée directement par GRDF ? Nous somme poussés à la "sobriété" énergétique mais ce genre d'outil pratique est tué en quelques cliques. Affaire à suivre.

@Nicolas-GRE
Copy link

idem, la page https://login.monespace.grdf.fr/ n'affiche rien normal ? la connexion et validation du captcha ne règle pas le problème..

@usky73
Copy link

usky73 commented Jan 22, 2023

Meme soucis.
Je vais quitter ces nazes bientot pour une pompe à chaleur. Aucun regret.
Problèmes récurents de la disponibilité des données sur le site.
Je vous souhaites bonne chance, mais il faut bien constater que l'analyse des consommation d'énergie n'interesse pas grand monde...
Encore merci pour le temps passé à essayer de faire des miracles.

@erwann2000
Copy link

Bravo Grdf, un anti robot qui bloque le bot. C'est bien le seul truc qui fonctionne bien chez eux. Comme dit plus haut, comment faire des efforts de sobriété sans retour fiaible et pas trop daté. Du coup j'utilise en tandem la sortie à impulsion du compteur.
je suis deçu, ce script faisait super bien son boulot

@albebert
Copy link

Bravo Grdf, un anti robot qui bloque le bot. C'est bien le seul truc qui fonctionne bien chez eux. Comme dit plus haut, comment faire des efforts de sobriété sans retour fiaible et pas trop daté. Du coup j'utilise en tandem la sortie à impulsion du compteur. je suis deçu, ce script faisait super bien son boulot

@erwann2000 tu as des infos sur la sortie à impulsion ? mon compteur est loin (et pas moyen de faire passer un câble mais peut être qu'un module autonome pourrais faire le taff.

@Phil353556
Copy link

Problème identique ... comme dirait y a de l'eau dans le gaz 👎 ... que c'est difficile pour GrDF de fournir des informations !

@Sylv01H
Copy link

Sylv01H commented Jan 24, 2023

Bonjour, idem ici...
Le plus étrange, c'est que le Captcha est présent sur la page de connexion depuis un certain temps, et ça ne posait pas de problème au script jusqu'à récemment...

@Overnuts
Copy link

On dirait que l'api est maintenant sur un autre sous domaine:
https://sofa-connexion.grdf.fr:443
j'ai essayé de grujer un peu comme ça... pour voir ... tintin :-(

@biwizit
Copy link
Contributor

biwizit commented Jan 27, 2023

J'adore ... Quel est le véritable motif de l'intégration de ce captcha ? Ne plus donner la possibilité aux utilisateurs de domotique de suivre facilement leur consommation ? Pourquoi ne pas développer une solution gérée directement par GRDF ? Nous somme poussés à la "sobriété" énergétique mais ce genre d'outil pratique est tué en quelques cliques. Affaire à suivre.

Je suis tellement d'accord. Pitoyable...

@ProfBoc75
Copy link
Contributor

Encore une histoire de business, l'API existe, GRDF ADICT, mais réservée aux organisations privées ou publiques ayant signé un contrat avec GRDF --> surement payant ?
Donc, nous, les pauvres petites gents, ne faisons pas le poids....
Et encore une fois les principaux concernés n'accèdent pas à l'information, notre consommation via API, mais les grosses entreprises disposent de tous ces éléments pour nous faire des belles propositions commerciales avec nos données et bien se gaver en passant.

Et au final, quel est l’intérêt de mettre en place cette infrastructure de collecte de données pour que le particulier soit obliger de mettre en place sa propre solution pour un même résultat, quel gachi ... Vive la sobriété numérique et énergétique !

Je suis passé au relevé par la sortie impulsion --> Esp8266 Tasmota --> Domoticz. Merci GRDF ! ... et quel dommage pour ce super plugin et nous autres contributeurs, qui nous aura bien servi jusqu'ici. encore un gachi bis ... en espérant malgré tout un déblocage de la part de GRDF ...

@Phil353556
Copy link

@ProfBoc75 :
"Esp8266 Tasmota"
Pourriez vous partager si vous avez une documentation sur le howto ?
Merci bcp

@pbda
Copy link

pbda commented Jan 27, 2023

Peut-être une solution, voir cette discussion dans home-assistant-gazpar.
C'est pareil que ce qui a été fait dans DomoticzLinky.

@ProfBoc75
Copy link
Contributor

ProfBoc75 commented Jan 27, 2023

@ProfBoc75 : "Esp8266 Tasmota" Pourriez vous partager si vous avez une documentation sur le howto ? Merci bcp

@Phil353556
Rien de plus simple:

  • un peu de lecture ici pour commencer : Tasmota
  • J'avais un module ESP8266 type NodeMCU que j'ai donc utilisé.
  • Pré-req : avoir MQTT type mosquitto + "MQTTClient" dans Domoticz qui pointe sur ce MQTT, Créer un matos Dummy et un capteur virtuel de type "counter" dans Domoticz, et choper son IDX.
  • Modifier ce compteur virtuel en type = Gas ( Energy par défaut) => Valeur en m3 ( une impulsion = 0,01 m3 )
  • l'ESP branché en USB sur mon PC, je l'ai flashé avec Tasmotizer et le dernier tasmota.bin, j'en ai profité pour configurer le Wifi et récup l'adresse IP du module.
  • Depuis l'adresse ip on accède au site web Tasmota du module, dans lequel j'ai configuré mon module en model Generic, puis D6 en counter 1 ( --> Cela mettra la sortie en pullup à 3.3 V, donc pas besoin de résistance entre D6 et VCC.), l'adresse de mon MQTT, user et password , et ajouter le Counter idx de Domoticz.
  • J'ai branché la sortie impulsion du compteur Gazpar, Broche du Haut sur le GND et broche du Bass sur D6/GIO12 de l'ESP (côté compteur , des cables Dupont Femelles suffisent puis scotchés pour l'étanchéité)

!!! Ne pas mettre le module ESP dans le coffret du compteur Gaz, il faut tirer la paire de cables vers un autre local, pour éviter tout risque d'explosion lié au Gaz et aussi pour mieux capter votre Wifi !!!

  • Un chargeur USB et le module branché dessus en permanence.
  • J'ai passé quelques commandes Tasmota pour configurer le counter, notamment reprendre l'index du vrai compteur Gazpar, la durée de l'impulsion à 300 ms et autres configs :

http://<ip>/cm?cmnd=Counter1 99999
99999 = remplacer par l'index du vrai compteur gaz, ne pas prendre le dernier chiffre du compteur si l'index c'est 1234,123 la valeur sera 123412

http://<ip>/cm?cmnd=CounterDebounce 300
impulsion= 300 ms

http://<ip>/cm?cmnd=CounterType1 0
Type = pulse compteur

Un petit tour dans Domoticz pour voir que l'info remonte bien et voilà le tour est joué ...
J'en est profité pour ajouter un DHT11 Temp / Hum sur l'ESP en D5, et tout remonte dans Domoticz dans un Temp/Hum virtuel.

@albebert
Copy link

@ProfBoc75 : "Esp8266 Tasmota" Pourriez vous partager si vous avez une documentation sur le howto ? Merci bcp

@Phil353556 Rien de plus simple:

* un peu de lecture ici pour commencer : [Tasmota](https://tasmota.github.io/docs)

* J'avais un module ESP8266 type NodeMCU que j'ai donc utilisé.

* Pré-req : avoir MQTT type mosquitto + "MQTTClient" dans Domoticz qui pointe sur ce MQTT, Créer un matos Dummy et un capteur virtuel de type "counter" dans Domoticz, et choper son IDX.

* Modifier ce compteur virtuel en type = Gas ( Energy par défaut) => Valeur en m3 ( une impulsion = 0,01 m3 )

* l'ESP branché en USB sur mon PC, je l'ai flashé avec [Tasmotizer](https://github.com/tasmota/tasmotizer/releases) et le dernier tasmota.bin, j'en ai profité pour configurer le Wifi et récup l'adresse IP du module.

* Depuis l'adresse ip on accède au site web Tasmota du module, dans lequel j'ai configuré mon module en model Generic, puis D6 en counter 1 ( --> Cela mettra la sortie en pullup à 3.3 V, donc pas besoin de résistance entre D6 et VCC.),  l'adresse de mon MQTT, user et password , et ajouter le Counter idx de Domoticz.

* J'ai branché la sortie impulsion du compteur Gazpar, Broche du Haut sur le GND et broche du Bass sur  D6/GIO12 de l'ESP (côté compteur , des cables Dupont Femelles suffisent puis scotchés pour l'étanchéité)

!!! Ne pas mettre le module ESP dans le coffret du compteur Gaz, il faut tirer la paire de cables vers un autre local, pour éviter tout risque d'explosion lié au Gaz et aussi pour mieux capter votre Wifi !!!

* Un chargeur USB et le module branché dessus en permanence.

* J'ai passé quelques commandes Tasmota pour configurer le counter, notamment reprendre l'index du vrai compteur Gazpar, la durée de l'impulsion à 300 ms et autres configs :

http://<ip>/cm?cmnd=Counter1 99999 99999 = remplacer par l'index du vrai compteur gaz, ne pas prendre le dernier chiffre du compteur si l'index c'est 1234,123 la valeur sera 123412

http://<ip>/cm?cmnd=CounterDebounce 300 impulsion= 300 ms

http://<ip>/cm?cmnd=CounterType1 0 Type = pulse compteur

Un petit tour dans Domoticz pour voir que l'info remonte bien et voilà le tour est joué ... J'en est profité pour ajouter un DHT11 Temp / Hum sur l'ESP en D5, et tout remonte dans Domoticz dans un Temp/Hum virtuel.

merci, du coup faut que j'essaye de passer une paire de câble ^^ j'ai déjà un tasmota qui tourne pour les capteurs de température je devrais pouvoir l'ajouter

@alaunay
Copy link
Author

alaunay commented Jan 29, 2023

La paire de câble quand le compteur est à l'extérieur côté rue, c'est pas très pratique (et l'alimentation en électricité non plus..). C'est quand même délirant d'avoir des compteurs communicants, et de ne pas disposer d'une API dédiée pour récupérer /nos/ données que /nous/ créons.

Ça marche tellement bien pour les Linky :(

@Overnuts
Copy link

Overnuts commented Jan 29, 2023

J'avais tenté le montage avec un bouton de scenario ikea zigbee ( https://www.auto-domo.fr/home-assistant-recuperation-gazpar/ )

le truc ratait des pulses et par -5°, la pile cr2032 donnait moyen et au bout des pulses de 14 m3 d'une journée, elle etait cuite..., :-/

@pbda
Copy link

pbda commented Jan 29, 2023

J'ai fait moi aussi des essais infructueux avec un door sensor Xiaomi aqara puis avec un interrupteur transmetteur sans fil.
Pour l'essai suivant, j'utilise une carte ESP32 basse consommation avec une petite batterie lithium. L'ESP32 a un coprocesseur ULP (Ultra Low Power) qui est utilisé pour compter les impulsions. Toutes les n impulsions ou au bout d'un certain temps, l'ESP32 se réveille et transmet le compte d'impulsions. La batterie a bien tenu (d'avril à décembre). Ensuite, je l'ai rechargé sur place avec une batterie additionnelle pour portable. La programmation de l'ESP32 avec ULP était un peu compliquée (pour moi !) et le programme est plus à l'état de démonstrateur que réellement exploitable. Si ça intéresse quelqu'un, je peux transmettre les infos.

@Scrat95220
Copy link
Owner

Bonjour,
J'ai rajouté un import automatique des valeurs du fichier Excel GRDF dans le cas où la connexion à l'API GRDF échoue (à cause du CATPCHA par exemple ...)
Il suffit d'aller sur le site GRDF et d'importer le ficher en mode "Jour", de la placer qque part, de setter la variable avec le PATH et l'update des compteurs Domoticz se fera.
C'est pas hyper pratique mais en attendant de trouver une solution avec ce CATPCHA cela permet de continuer à mettre à jour nos compteurs de temps en temps

@alaunay
Copy link
Author

alaunay commented Jan 29, 2023

On récupère un fichier xlsx de chez GRDF... Et ça ne fonctionne pas à cause de xlrd:

File "/home/domoticz/.local/lib/python3.9/site-packages/xlrd/init.py", line 170, in open_workbook
raise XLRDError(FILE_FORMAT_DESCRIPTIONS[file_format]+'; not supported')
xlrd.biffh.XLRDError: Excel xlsx file; not supported

https://github.com/python-excel/xlrd
--> "This library will no longer read anything other than .xls files. For alternatives that read newer file formats, please see http://www.python-excel.org/."

Apparemment, il vaudrait mieux utiliser "openpyxl":
https://foss.heptapod.net/openpyxl/openpyxl/-/tree/3.0.10

Bon, en attendant, on peut prendre le xlsx dans libreoffice et l'exporter en xls simple...

@Scrat95220
Copy link
Owner

On récupère un fichier xlsx de chez GRDF... Et ça ne fonctionne pas à cause de xlrd:

File "/home/domoticz/.local/lib/python3.9/site-packages/xlrd/init.py", line 170, in open_workbook raise XLRDError(FILE_FORMAT_DESCRIPTIONS[file_format]+'; not supported') xlrd.biffh.XLRDError: Excel xlsx file; not supported

https://github.com/python-excel/xlrd --> "This library will no longer read anything other than .xls files. For alternatives that read newer file formats, please see http://www.python-excel.org/."

Apparemment, il vaudrait mieux utiliser "openpyxl": https://foss.heptapod.net/openpyxl/openpyxl/-/tree/3.0.10

Bon, en attendant, on peut prendre le xlsx dans libreoffice et l'exporter en xls simple...

De mon coté xlrd fonctionne sans soucis avec le fichier xlsx importé via le site GRDF

@erwann2000
Copy link

On récupère un fichier xlsx de chez GRDF... Et ça ne fonctionne pas à cause de xlrd:

File "/home/domoticz/.local/lib/python3.9/site-packages/xlrd/init.py", line 170, in open_workbook raise XLRDError(FILE_FORMAT_DESCRIPTIONS[file_format]+'; not supported') xlrd.biffh.XLRDError: Excel xlsx file; not supported

https://github.com/python-excel/xlrd --> "This library will no longer read anything other than .xls files. For alternatives that read newer file formats, please see http://www.python-excel.org/."

Apparemment, il vaudrait mieux utiliser "openpyxl": https://foss.heptapod.net/openpyxl/openpyxl/-/tree/3.0.10

Bon, en attendant, on peut prendre le xlsx dans libreoffice et l'exporter en xls simple...

Même erreur, même solution.
@Scrat95220 quelles sont les versions que tu utilise ?

@Sylv01H
Copy link

Sylv01H commented Jan 30, 2023

Par contre c'est dommage, les modifs proposées par SylvainPer #51 pour corriger les erreurs de comparaison dans domoticz n'ont pas été reprises, il va falloir corriger le script à la main...

@Phil353556
Copy link

Phil353556 commented Jan 30, 2023

Bonjour, que cela soit en xlsx ou xls toujours la même erreur :

 ./gazpar.py
Traceback (most recent call last):
  File "./gazpar.py", line 21, in <module>
    import xlrd
ModuleNotFoundError: No module named 'xlrd'

Solution ( rapspberry pi 4 , OS = 10/Buster) et c'est ok avec le fichier de téléchargé en xlsx
apt-get install python3-xlrd
le XLS_PATH nécessite non seulement le chemin mais aussi le nom complet du fichier xlsx

Résultat : OK
Merci @Scrat95220 pour le workaround en attendant, une solution que nous espérons tous, je pense.

@Scrat95220
Copy link
Owner

Par contre c'est dommage, les modifs proposées par SylvainPer #51 pour corriger les erreurs de comparaison dans domoticz n'ont pas été reprises, il va falloir corriger le script à la main...

Je n'ai pas poussé la modif car je l'ai testé et ça me casse toutes les valeurs journalières. Je n'ai pas trop creusé mais je pense que ça dépend du setting (diviseur) associé aux compteurs Energie dans Domoticz

@Sylv01H
Copy link

Sylv01H commented Jan 30, 2023

Par contre c'est dommage, les modifs proposées par SylvainPer #51 pour corriger les erreurs de comparaison dans domoticz n'ont pas été reprises, il va falloir corriger le script à la main...

Je n'ai pas poussé la modif car je l'ai testé et ça me casse toutes les valeurs journalières. Je n'ai pas trop creusé mais je pense que ça dépend du setting (diviseur) associé aux compteurs Energie dans Domoticz

Ah ok, moi dans mon cas ça a tout remis d'aplomb...
Pas grave, j'ai déjà modifié mon script ce n'est pas très compliqué...

@alaunay
Copy link
Author

alaunay commented Jan 30, 2023

Apparemment, il vaudrait mieux utiliser "openpyxl": https://foss.heptapod.net/openpyxl/openpyxl/-/tree/3.0.10

Alors, le problème vient du "pip install xlrd", qui installe la toute dernière version du module (2.0.x), qui ne supporte /plus/ le xlsx.

avec un "apt install python3-xlrd", on récupère une version 1.2.0 qui elle supporte encore l'import des xlsx.

Quel bordel pour un simple workaround, ils pouvaient pas nous proposer un export CSV chez GRDF ? Ils font vraiment tout pour nous compliquer la vie, entre le captcha et ça...

@Phil353556
Copy link

@alaunay 100% d'accord pourquoi faire compliqué quand cela pourrait être simple ... mais GRDF n'est pas seul cf mon script (disponible dans github) php pour récupérer les infos écowatt ... api client id secret id ... bref bien lourd pour trois couleurs ...

@Scrat95220 réflexion coté captcha soit y a un bypass, soit il s'avère nécessaire de faire comme ce qui est fait pour le plugin Linky avec une passerelle (cf https://github.com/guillaumezin/DomoticzLinky)

@Scrat95220
Copy link
Owner

Je viens de pousser une version avec openpyxl au lieu de xlrd.
Dites moi si les xlsx fonctionnent maintenant pour ceux qui avait un soucis avec xlrd

@Phil353556
Copy link

testé ok : Merci

./gazpar_v2.py 
Traceback (most recent call last):
  File "./gazpar_v2.py", line 21, in <module>
    import openpyxl
ModuleNotFoundError: No module named 'openpyxl'

# apt-cache search openpyxl
# apt-get install python3-openpyxl

./gazpar_v2.py 
Login call - error status :REINPUT

@LordDarkneo
Copy link

Hello à tous,
Je voulais passer pour vous partager la réponse de GRDF quant à la mise en place du Captcha:
"Vous avez récemment contacté le service client GRDF au sujet du suivi de vos consommations gaz depuis une application tierce de domotique.

Nous avons effectivement fait évoluer notre espace client via la mise en place d'un captcha à renseigner à la connexion pour éviter les récupérations de données automatisées. Ce type d'appels a plusieurs fois mis à mal la disponibilité de Mon Espace GRDF pour l'ensemble des clients ainsi que les performances d'affichage ou de téléchargement des données de consommation. Aussi, pour des raisons de maintien de la qualité de nos services, l'authentification par captha ne pourra pas être désactivée.

Par ailleurs, bien que le service GRDF ADICT soit gratuit, il est pour l'instant exclusivement réservé aux professionnels et il n'existe pas à date de solutions d'accès aux données par API pour les particuliers. Bien que cela ne soit pas prévu à court terme, nous ne manquerons pas de vous tenir au courant si ce service venait à être proposé à tous nos utilisateurs.

Nous vous remercions de votre confiance et pour vos propositions d'amélioration de nos offres d'accès aux données que nous ne manquerons pas d'étudier."

Donc en gros les mecs savent pas sizer une architecture web... C'est bien la peine d'avoir un compteur communiquant....

@alaunay
Copy link
Author

alaunay commented Jan 31, 2023

Donc soit on garde la version par XLSX (vachement pratique), soit on trouve un mec un peu moins idiot chez GRDF et il faut mettre une passerelle, soit leur dire qu'on refuse qu'ils récupèrent la conso (vu que nous non plus) et qu'ils n'ont qu'à envoyer quelqu'un pour faire un relevé manuel, soit on passe par un flaresolverr, mais c'est lourd et ça demande du code (et un service de plus à déployer chez soi).

Après, c'est ce qu'ils font sur Jackett et ça marche rudement bien, mais c'est une autre discussion ;-)

@LordDarkneo
Copy link

En espérant que le mec pas idiot chez GRDF ouvre le service ADICT aux particuliers... Car clairement ca ferait exactement la même chose que le site GRDF...

@Overnuts
Copy link

Overnuts commented Jan 31, 2023 via email

@Phil353556
Copy link

Phil353556 commented Jan 31, 2023

My 2cts :

  • " Ce type d'appels a plusieurs fois mis à mal la disponibilité de Mon Espace GRDF pour l'ensemble des clients ainsi que les performances d'affichage ou de téléchargement des données de consommation." hé bé z'ont une marge de progression significative sur la gestion en charge de sites internet ....
  • "trouver une personne un peu moins idiot" : oui mais il n'aura pas l'autorisation
  • refuser .... ben la relève manuelle sera facturée donc joker
  • GrDF copierait ce que fait ErDF ... j'y crois pas, chacun son égo ... chaque société est diplômé de Cavaillon ...
  • "flaresolverr" lourd inclus docker et surtout sur la page tout en bas je lis : "At this time none of the captcha solvers work."
    Dans un premier temps l'utilisation de l'import de fichier xlsx mis en place par @Scrat95220 est satisfaisante, et s'il n'y a pas le choix alors elle est excellente 👍
    suggestion que le script soit capable de détecter le package installé :
    (ici j'ai installé les deux pour tester, histoire d'aider)
dpkg -l |egrep "xlrd|yxl"
ii  python3-openpyxl                      2.4.9-1                                 all          Python 3 module to read/write OpenXML xlsx/xlsm files
ii  python3-xlrd                          1.1.0-1                                 all          extract data from Microsoft Excel spreadsheet files (Python3 version)

@albebert
Copy link

Hello à tous, Je voulais passer pour vous partager la réponse de GRDF quant à la mise en place du Captcha: "Vous avez récemment contacté le service client GRDF au sujet du suivi de vos consommations gaz depuis une application tierce de domotique.

Nous avons effectivement fait évoluer notre espace client via la mise en place d'un captcha à renseigner à la connexion pour éviter les récupérations de données automatisées. Ce type d'appels a plusieurs fois mis à mal la disponibilité de Mon Espace GRDF pour l'ensemble des clients ainsi que les performances d'affichage ou de téléchargement des données de consommation. Aussi, pour des raisons de maintien de la qualité de nos services, l'authentification par captha ne pourra pas être désactivée.

Par ailleurs, bien que le service GRDF ADICT soit gratuit, il est pour l'instant exclusivement réservé aux professionnels et il n'existe pas à date de solutions d'accès aux données par API pour les particuliers. Bien que cela ne soit pas prévu à court terme, nous ne manquerons pas de vous tenir au courant si ce service venait à être proposé à tous nos utilisateurs.

Nous vous remercions de votre confiance et pour vos propositions d'amélioration de nos offres d'accès aux données que nous ne manquerons pas d'étudier."

Donc en gros les mecs savent pas sizer une architecture web... C'est bien la peine d'avoir un compteur communiquant....

ya pas que le sizing, un simple rate limiter aurait corriger le problème. Après si leur api est pas capable d'encaisser c'est probablement un soucis de DEV aussi ... une api qui renvoie aussi peu de data ça devrait pas pater avec aussi peu d'utilisateurs dessus (on est combien avec un compter gazpar à utiliser leur domotique sérieux si on est 50K déjà ce serait énorme).

après de mémoire il y a des libs opensource pour bypass les captcha, quelqu'un à regarder autour de ça ou pas ? me semble que j'en ai une intégrer sur mon Jackett pour certains sites mais plus certain (je confond peut être avec les protections cloudflare)

@alaunay
Copy link
Author

alaunay commented Jan 31, 2023

Hmm il fonctionne très bien avec CloudFlare, mais effectivement pour les captcha, ça n'a pas l'air au point.

Visiblement c'est le captcha google qui est utilisé chez grdf :/

Pour la lourdeur, je suis d'accord. Pour le moment je suis resté en v2 à cause de ça... Il y a une issue en cours, j'imagine que dans quelques mois on aura à nouveau des binaires utilisables pour la v3.

@jf-ch
Copy link

jf-ch commented Jan 31, 2023

@ProfBoc75 : "Esp8266 Tasmota" Pourriez vous partager si vous avez une documentation sur le howto ? Merci bcp

@Phil353556 Rien de plus simple:

* un peu de lecture ici pour commencer : [Tasmota](https://tasmota.github.io/docs)

* J'avais un module ESP8266 type NodeMCU que j'ai donc utilisé.

* Pré-req : avoir MQTT type mosquitto + "MQTTClient" dans Domoticz qui pointe sur ce MQTT, Créer un matos Dummy et un capteur virtuel de type "counter" dans Domoticz, et choper son IDX.

* Modifier ce compteur virtuel en type = Gas ( Energy par défaut) => Valeur en m3 ( une impulsion = 0,01 m3 )

* l'ESP branché en USB sur mon PC, je l'ai flashé avec [Tasmotizer](https://github.com/tasmota/tasmotizer/releases) et le dernier tasmota.bin, j'en ai profité pour configurer le Wifi et récup l'adresse IP du module.

* Depuis l'adresse ip on accède au site web Tasmota du module, dans lequel j'ai configuré mon module en model Generic, puis D6 en counter 1 ( --> Cela mettra la sortie en pullup à 3.3 V, donc pas besoin de résistance entre D6 et VCC.),  l'adresse de mon MQTT, user et password , et ajouter le Counter idx de Domoticz.

* J'ai branché la sortie impulsion du compteur Gazpar, Broche du Haut sur le GND et broche du Bass sur  D6/GIO12 de l'ESP (côté compteur , des cables Dupont Femelles suffisent puis scotchés pour l'étanchéité)

!!! Ne pas mettre le module ESP dans le coffret du compteur Gaz, il faut tirer la paire de cables vers un autre local, pour éviter tout risque d'explosion lié au Gaz et aussi pour mieux capter votre Wifi !!!

* Un chargeur USB et le module branché dessus en permanence.

* J'ai passé quelques commandes Tasmota pour configurer le counter, notamment reprendre l'index du vrai compteur Gazpar, la durée de l'impulsion à 300 ms et autres configs :

http://<ip>/cm?cmnd=Counter1 99999 99999 = remplacer par l'index du vrai compteur gaz, ne pas prendre le dernier chiffre du compteur si l'index c'est 1234,123 la valeur sera 123412

http://<ip>/cm?cmnd=CounterDebounce 300 impulsion= 300 ms

http://<ip>/cm?cmnd=CounterType1 0 Type = pulse compteur

Un petit tour dans Domoticz pour voir que l'info remonte bien et voilà le tour est joué ... J'en est profité pour ajouter un DHT11 Temp / Hum sur l'ESP en D5, et tout remonte dans Domoticz dans un Temp/Hum virtuel.

Merci pour le conseil! J'avais un doute car mon compteur est à 25m de la maison à l'extérieur hors de porté wifi. J'ai essayé en déporté avec un câble réseau cat5 qui arrivait déjà près du compteur et ça fonctionne nickel. Cela tourne depuis 2 jours et c'est synchro avec le compteur gazpar. Je trouve que c'est même mieux que de passer par GRDF: j'ai les relevés toutes les 5min alors que j'avais un décalage d'au moins 2 jours avec la site GRDF, et puis je ne dépend plus des modifs GRDF.

@metphu
Copy link

metphu commented Mar 3, 2023

Bonjour,

est ce qu'il est envisageable de migrer cette application vers:
https://gaz-tarif-reglemente.fr/login-page.html
qui ne semble pas pas avoir de captcha ?

@djs45
Copy link

djs45 commented Mar 27, 2023

Bonjour.
Pas de nouvelles ou de mise à jour de ce plugin vis à vis du problème de captcha ?
L'utilisation de fichier XLS est certes fonctionnel mais pas pratique du tout.
Vous remerciant par avance.

@alaunay
Copy link
Author

alaunay commented Apr 22, 2024

Bonjour,

L’authentification a changé chez GRDF, et le captcha semble avoir disparu. La procédure d'auth est en deux étapes (c'est à la méthode, et c'est ridicule), avec une première page pour le login et une deuxième pour le password.

Peut-être retenter avec le script et une mise à jour ?

@Scrat95220
Copy link
Owner

Une version utilisant Selenium est dispo sur cette branche :
https://github.com/Scrat95220/DomoticzGazpar/tree/selenium

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests