"Internal Server Error" #104

obook · 2020-09-29T14:27:01Z

Hello,
I try to get https://api-ratp.pierre-grimaud.fr/v4/schedules/rers/a/nogent+sur+marne/B and the json returned code is | 500 -- | and -- message | "Internal Server Error".

What is wrong ? Thank for your help.

{ "result": { "code": 500, "message": "Internal Server Error" }, "_metadata": { "call": "GET /schedules/rers/a/nogent+sur+marne/B", "date": "2020-10-01T17:23:25+02:00", "version": 4 } }

The text was updated successfully, but these errors were encountered:

pgrimaud · 2020-09-29T16:44:35Z

Hello @obook

This service is a middleware to use official API RATP to a JSON format. I was whitelisted by the RATP (https://dataratp.opendatasoft.com/page/temps-reel/).

My access to RATP API has been blocked since 9:00 am. I have no idea why, but I just contacted them to get an explanation.

tlissak · 2020-10-01T08:38:37Z

Pas des nouvelles ? il sont en greve ?

julien290 · 2020-10-01T08:43:35Z

Une autre solution en attendant, ne serait-elle pas de créer un nouveau compte chez eux "au cas où", comme c'est le cas pour en ce moment ?

pgrimaud · 2020-10-01T10:54:53Z

Pas des nouvelles ? il sont en greve ?

Non, toujours pas de news... Je viens de relancer.

Une autre solution en attendant, ne serait-elle pas de créer un nouveau compte chez eux "au cas où", comme c'est le cas pour en ce moment ?

D'après les derniers échos que j'ai eu sur la création de compte API temps réel, ils ne répondent pas et le cas échéant, très longtemps après. De plus, ils doivent autoriser une IP manuellement de leur côté.

Je ne sais pas pourquoi mon accès via l'IP de mon serveur a été bloquée...

J'ai un moyen de contournement, illégal cependant. Je vais attendre encore un peu avant d'utiliser ce système...

julien290 · 2020-10-01T11:04:34Z

Vraiment mystérieux leurs fonctionnement chez eux... à suivre..

Ce moyen de contournement peux-t-il être remonté jusqu'à toi ou ton serveur s'ils enquêtent ? (Bon après vu leurs réactivité, y'a moyen qu'il y ait pas trop de soucis)

pgrimaud · 2020-10-01T15:20:51Z

J'ai obtenu une réponse de la RATP :

Une opération de relocalisation de nos serveurs Open Data Temps Réels, ce qui rend le service prochains passages hors service. La durée de cette indisponibilité n’est pas connue.

Il semblerait que ça ne soit pas lié à mon IP mais une coupure globale.

obook · 2020-10-01T15:22:59Z

Hello,
For a strange reason, this link return a correct response : https://api-ratp.pierre-grimaud.fr/v4/traffic/rers/a

{ "result": { "line": "A", "slug": "normal_trav", "title": "Travaux", "message": "À partir du lundi 28 septembre 2020, suite à des travaux de rénovation, le trafic est interrompu de 21h30 à fin de service entre les gares Nanterre-Prefecture et Cergy-Le Haut / Poissy sur la ligne A du RER jusqu'au vendredi 2 octobre 2020. Des bus de remplacement sont mis à disposition." }, "_metadata": { "call": "GET /traffic/rers/a", "date": "2020-10-01T17:20:30+02:00", "version": 4 } }

obook · 2020-10-01T15:25:25Z

J'ai obtenu une réponse de la RATP :

Une opération de relocalisation de nos serveurs Open Data Temps Réels, ce qui rend le service prochains passages hors service. La durée de cette indisponibilité n’est pas connue.

Il semblerait que ça ne soit pas lié à mon IP mais une coupure globale.

C'est une bonne nouvelle, espérons que le service soit rétabli rapidement.
Merci pour l'information.

@b

julien290 · 2020-10-01T15:36:52Z

Effectivement bonne nouvelle, je serais curieux de savoir si ta méthode légèrement border @pgrimaud fonctionnerais quand même durant cette migration ?

Par contre, niveau communication ils peuvent faire mieux.. (pas de préavis, pas d'estimations)

Cqoicebordel · 2020-10-01T15:40:14Z

Je pense que la solution borderline est de parser directement les résultats du site officiel. Je faisais ça avec le site wap avant que j'apprenne l'existence de l'API ici (encore merci !), et avant qu'ils sabrent leur site wap…

pgrimaud · 2020-10-01T16:07:34Z

Effectivement bonne nouvelle, je serais curieux de savoir si ta méthode légèrement border @pgrimaud fonctionnerais quand même durant cette migration ?

Oui car :

Je possède 2 accès à leur API temps réel :

Le premier, ouvert au public : https://api-ratp.pierre-grimaud.fr/v4/ (Accès 1)
Un second, fermé au public car privatisé pour une société X (Accès 2)

Étrangement, mon second accès à l'API fonctionne alors que le premier (le public) ne fonctionne plus... C'est pour cela que je pensais à un bloquage de mon IP.

La solution borderline serait de forward les requêtes des utilisateurs de l'accès 1 vers l'accès 2. Mais si la société X détecte que je détourne les données vers un autre service, je risque potentiellement des poursuites judiciaires...

Je pense que la solution borderline est de parser directement les résultats du site officiel.

J'ai déjà essayé, mais ils ont protégé leur site via Cloudflare (depuis leur dernière refonte) qui a une très bonne détection des bots, ce qui rend le scrapping presque impossible.

Je faisais ça avec le site wap avant que j'apprenne l'existence de l'API ici (encore merci !), et avant qu'ils sabrent leur site wap…

Une petite pensée pour leur site, que je scrappais au debut de ce projet 927a57c 🙏

pgrimaud · 2020-10-01T16:10:46Z

Hello,
For a strange reason, this link return a correct response : https://api-ratp.pierre-grimaud.fr/v4/traffic/rers/a

{ "result": { "line": "A", "slug": "normal_trav", "title": "Travaux", "message": "À partir du lundi 28 septembre 2020, suite à des travaux de rénovation, le trafic est interrompu de 21h30 à fin de service entre les gares Nanterre-Prefecture et Cergy-Le Haut / Poissy sur la ligne A du RER jusqu'au vendredi 2 octobre 2020. Des bus de remplacement sont mis à disposition." }, "_metadata": { "call": "GET /traffic/rers/a", "date": "2020-10-01T17:20:30+02:00", "version": 4 } }

Oui, car le service de trafic passe par une autre API. https://github.com/pgrimaud/ratp-api-rest/blob/master/src/Client/IxxiApiClient.php#L11

D'ailleurs, si le service n'est pas rétabli sous peu, je vais voir si je ne peux pas me brancher sur cette API pour récupérer les données temps réel.

pgrimaud · 2020-10-01T16:14:54Z

Par la même occasion, quelqu'un peut me fournir l'APK à jour de l'application RATP? 🤡

julien290 · 2020-10-01T16:23:11Z

J'ai pas d'Androïd sous la main mais normalement tu peux télécharger l'APK via ce site: https://apkpure.com/fr/ratp-your-daily-co-pilot/com.fabernovel.ratp

tlissak · 2020-10-01T16:24:27Z

l'API de ile de France mobilité https://portal.api.iledefrance-mobilites.fr Propose un service traffic en temps reel via API REST Et donne un accès gratuit jusqu'à 1M requêtes/ jour (La création de compte est instantané ) Hors je ne métrise pas l'authorisation via oauth2 Pourriez-vous explorer cette piste? Le jeu. 1 oct. 2020 à 18:15, Pierre Grimaud <notifications@github.com> a écrit :

…

Par la même occasion, quelqu'un peut me fournir l'APK à jour de l'application RATP? 🤡 — You are receiving this because you commented. Reply to this email directly, view it on GitHub <#104 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/AAEPFPDIU6QYTMYR2IPT4KLSISTI3ANCNFSM4R537HPA> .

Cqoicebordel · 2020-10-01T16:27:57Z

'PfndhPqWEoI5ERvmlGiw9S3m' ?

pgrimaud · 2020-10-01T17:04:05Z

J'ai pas d'Androïd sous la main mais normalement tu peux télécharger l'APK via ce site: https://apkpure.com/fr/ratp-your-daily-co-pilot/com.fabernovel.ratp

Parfait, merci !

l'API de ile de France mobilité https://portal.api.iledefrance-mobilites.fr Propose un service traffic en temps reel via API REST Et donne un accès gratuit jusqu'à 1M requêtes/ jour (La création de compte est instantané ) Hors je ne métrise pas l'authorisation via oauth2 Pourriez-vous explorer cette piste?

Je viens d'un jeter un coup d'oeil, ça peut le faire comme solution de remplacement. Je vais regarder ça en détails.

'PfndhPqWEoI5ERvmlGiw9S3m' ?

@Cqoicebordel ? 😄

Cqoicebordel · 2020-10-01T17:18:21Z

Je me suis dit que t'avais besoin que du token, donc je l'ai donné :)

Je suis en train de tester vite fait l'API IDFM. C'est lent, et leurs systèmes de nommage de ligne et arrêts est super relou.

@tlissak Quand tu vas tester ton compte avec les APIs, il te créé un token que tu peux réutiliser en mode REST, sans OAuth.

pgrimaud · 2020-10-01T17:27:53Z

Je me suis dit que t'avais besoin que du token, donc je l'ai donné :)

Ahh ok merci ! J'ai trouvé des accès à leur API en clair sur GitHub aussi. David, si tu passes par là, merci 😂

Je suis en train de tester vite fait l'API IDFM. C'est lent, et leurs systèmes de nommage de ligne et arrêts est super relou.

Oui, les id du genre 1001001012... Au secours. Mais au moins c'est du vrai REST.

Point positif de l'API en SOAP de la RATP. Elle était plutôt permissive, il suffisait de passer le nom d'un arrêt pour récupérer les données. Et elle répondait hyper vite (moins de 40ms !).

@tlissak Quand tu vas tester ton compte avec les APIs, il te créé un token que tu peux réutiliser en mode REST, sans OAuth.

Attention, le token n'est valable qu'une heure.

Cqoicebordel · 2020-10-01T17:31:59Z

Ah, je savais pas pour le token d'une heure. Encore un truc pour faire chier évidemment…
Mais il semblerait qu'on puisse utiliser l'Authorization token (dans la conf de l'appli) directement.

Là, pour info, le temps de réponse c'est entre 15 et 30 secondes. Oui oui, secondes…

Et pour futur références :
Liste (d'une partie ?) des arrêts : https://data.iledefrance-mobilites.fr/explore/dataset/perimetre-tr-plateforme-stif/
Il faut utiliser gtfs_stop_id tel quel pour le stop id (au moins quand c'est ViaNavigo la source)
Liste des lignes : https://data.iledefrance-mobilites.fr/explore/dataset/referentiel-des-lignes/table/

tlissak · 2020-10-02T07:51:06Z

Avez vous essayer se connecter votre server via vpn pour voir si le problème d'ip persiste ? Le jeu. 1 oct. 2020 à 19:32, Cqoicebordel <notifications@github.com> a écrit :

…

Ah, je savais pas pour le token d'une heure. Encore un truc pour faire chier évidemment… Là, pour info, le temps de réponse c'est entre 15 et 30 secondes. Oui oui, secondes… Et pour futur références : Liste (d'une partie ?) des arrêts : https://data.iledefrance-mobilites.fr/explore/dataset/perimetre-tr-plateforme-stif/ Il faut utiliser gtfs_stop_id tel quel pour le stop idea (au moins quand c'est ViaNavigo la source) Liste des lignes : https://data.iledefrance-mobilites.fr/explore/dataset/referentiel-des-lignes/table/ — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub <#104 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/AAEPFPBRO2RAPFPEIM6SNZDSIS4J7ANCNFSM4R537HPA> .

lnazar · 2020-10-02T07:56:06Z

Avez vous essayer se connecter votre server via vpn pour voir si le problème d'ip persiste ?

La RATP doit autoriser spécifiquement l'IP publique du serveur qui fera les requêtes, la changer n'est donc pas une option.

pgrimaud · 2020-10-02T07:59:48Z

En effet. De plus, l'API est désormais HS sur mes 2 serveurs.

lnazar · 2020-10-02T08:19:49Z

"Suite à un incident technique, le trafic sur notre API est complètement interrompu."

tlissak · 2020-10-02T09:36:29Z

On dirait le RER bloqué :) sans plus d'informations quand ca va débloquer.. Le ven. 2 oct. 2020 à 10:20, lnazar <notifications@github.com> a écrit :

…

"Suite à un incident technique, le trafic sur notre API est complètement interrompu." — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub <#104 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/AAEPFPEMSUKEW6AZEMSPUXLSIWELHANCNFSM4R537HPA> .

pgrimaud · 2020-10-02T09:51:49Z

RIP, ça commence à faire long.

https://p.datadoghq.com/sb/b933ad64d-3d03339edc63b8ba89556675024d64fd

julien290 · 2020-10-02T14:24:31Z

De plus, l'API est désormais HS sur mes 2 serveurs.

Aussi pour l'API privatisé pour une société ?

pgrimaud · 2020-10-02T16:15:07Z

Aussi pour l'API privatisé pour une société ?

C'est variable, ça marche 1 coup sur 2. Et quand j'ai une réponse de leur API, c'est généralement assez long (5 à 10 secondes)...

J'ai eu un retour de l'ancien responsable Open Data RATP, qui m'a confirmé que je ne suis pas le seul à l'avoir contacté à ce sujet.

Il ne reste plus qu'à être patient, mais le weekend arrive et je ne suis pas sûr que l'IT travaille samedi ou dimanche...

pgrimaud · 2020-10-02T20:55:47Z

🤡😰

julien290 · 2020-10-02T22:04:16Z

On est plus que l'on ne le pense dans l'attente enfaite 😅

Cqoicebordel · 2020-10-02T23:05:54Z

"Horaires Me !" sur Android fonctionne bien par contre. Je sais pas ce qu'ils utilisent.

Cqoicebordel · 2020-10-03T13:39:56Z

Sinon, l'API du site Vianavigo ne semble pas utiliser la moindre authentification (mais je peux me planter) :
https://api-iv.iledefrance-mobilites.fr/lines/line:0:100110003:3/stops/stop_area:0:SA:59434/realTime

pgrimaud · 2020-10-05T09:39:43Z

Mail du support Open Data RATP :

Pour information et pour faire suite à notre mail de jeudi dernier, le service Temps Réels de la RATP devrait revenir à la normale aujourd’hui. Désolée pour la gêne occasionnée

obook · 2020-10-05T21:24:06Z

Super ! bon ce n’est pas encore revenu, mais c'est une bonne nouvelle, mes élèves étaient très déçus que leur projet s'arrête.
... wait and see.

pgrimaud · 2020-10-06T09:48:44Z

L'API est de nouveau fonctionnelle. Merci de votre patience 😄

vjau · 2020-10-06T09:56:44Z

Merci pour tout le travail effectué sur cette api.

julien290 · 2020-10-06T10:13:16Z

Merci beaucoup en tout cas @pgrimaud pour ton implication dans la résolution de ce problème dû aux services de la RATP, et pour cette superbe API que tu proposes 👌

pgrimaud pinned this issue Sep 29, 2020

pgrimaud added help wanted wait-for-ratp-answer labels Sep 29, 2020

pgrimaud mentioned this issue Sep 30, 2020

problème :"Internal Server Error" #105

Closed

pgrimaud closed this as completed Oct 6, 2020

pgrimaud unpinned this issue Oct 6, 2020

"Internal Server Error" #104

"Internal Server Error" #104

Comments

obook commented Sep 29, 2020 • edited Loading

pgrimaud commented Sep 29, 2020

tlissak commented Oct 1, 2020

julien290 commented Oct 1, 2020

pgrimaud commented Oct 1, 2020

julien290 commented Oct 1, 2020

pgrimaud commented Oct 1, 2020

obook commented Oct 1, 2020

obook commented Oct 1, 2020

julien290 commented Oct 1, 2020

Cqoicebordel commented Oct 1, 2020

pgrimaud commented Oct 1, 2020

pgrimaud commented Oct 1, 2020 • edited Loading

pgrimaud commented Oct 1, 2020

julien290 commented Oct 1, 2020

tlissak commented Oct 1, 2020 via email

Cqoicebordel commented Oct 1, 2020

pgrimaud commented Oct 1, 2020 • edited Loading

Cqoicebordel commented Oct 1, 2020

pgrimaud commented Oct 1, 2020

Cqoicebordel commented Oct 1, 2020 • edited Loading

tlissak commented Oct 2, 2020 via email

lnazar commented Oct 2, 2020 • edited Loading

pgrimaud commented Oct 2, 2020

lnazar commented Oct 2, 2020

tlissak commented Oct 2, 2020 via email

pgrimaud commented Oct 2, 2020

julien290 commented Oct 2, 2020 • edited by pgrimaud Loading

pgrimaud commented Oct 2, 2020

pgrimaud commented Oct 2, 2020

julien290 commented Oct 2, 2020

Cqoicebordel commented Oct 2, 2020

Cqoicebordel commented Oct 3, 2020

pgrimaud commented Oct 5, 2020

obook commented Oct 5, 2020 • edited Loading

pgrimaud commented Oct 6, 2020

vjau commented Oct 6, 2020

julien290 commented Oct 6, 2020

obook commented Sep 29, 2020 •

edited

Loading

pgrimaud commented Oct 1, 2020 •

edited

Loading

pgrimaud commented Oct 1, 2020 •

edited

Loading

Cqoicebordel commented Oct 1, 2020 •

edited

Loading

lnazar commented Oct 2, 2020 •

edited

Loading

julien290 commented Oct 2, 2020 •

edited by pgrimaud

Loading

obook commented Oct 5, 2020 •

edited

Loading