Finish the manual inputs iterator

[ValentinMouret]

• Revert "Revert "Continuation de Ajout d'une possibilité d'url manuel #438""
• Fix sheets scraper and configure the URL

Checklist

• Fix Ajouter manuellement des centres #435
• J'ai ajouté des tests (si nécessaire)
• J'ai formatté/identé mon code en utilisant black - black -l 120 fileXX fileYY

Changes

Le format parsé n’était pas bon, il retournait un dictionnaire de listes et non pas une liste de dictionnaires.
La spreadsheet de production est aussi configurée.

[ValentinMouret]

Pour l’instant la spreadsheet est publique mais je suis le seul éditeur. Si vous voulez être éditeur, envoyez moi un mail : valentin.mouret@hey.com.

[codecov-commenter]

Codecov Report

Merging #500 (18bffdd) into main (d47c202) will increase coverage by 0.01%.
The diff coverage is 85.96%.

@@            Coverage Diff             @@
##             main     #500      +/-   ##
==========================================
+ Coverage   84.98%   85.00%   +0.01%     
==========================================
  Files          45       48       +3     
  Lines        3857     3914      +57     
==========================================
+ Hits         3278     3327      +49     
- Misses        579      587       +8     

Impacted Files	Coverage Δ
scraper/sheets.py	78.26% <78.26%> (ø)
scraper/manual/manual_urls.py	81.25% <81.25%> (ø)
scraper/scraper.py	93.33% <100.00%> (+0.11%)	⬆️
tests/test_sheets.py	100.00% <100.00%> (ø)

---

Continue to review full report at Codecov.

Legend - Click here to learn more
Δ = absolute <relative> (impact), ø = not affected, ? = missing data
Powered by Codecov. Last update d47c202...18bffdd. Read the comment docs.

[Noezor]

Question bête mais t'as essayé concrètement de mettre un centre doctolib dans ta spreadsheet et voir ce que c'était l'output ? Par exemple, tu as #453

[ValentinMouret]

Question bête mais t'as essayé concrètement de mettre un centre doctolib dans ta spreadsheet et voir ce que c'était l'output ? Par exemple, tu as #453

Hmm, j’ai essayé le lien de #453 et tu as bien fait de me le dire, ça ne marche pas. Ça plante dans get_last_scans, je vais regarder ça ce soir.

[grubounet]

ATTENTION LES GARS - j'ai l'explication de l'origine de pourquoi certains centres n'apparaissent pas sur Doctolib : c'est lorsqu'elles ne proposent PAS de créneaux de seconde injection. Je pense que du coup cette liste manuelle perd en intéret, il suffit de prevenir les pros. de santé de pourquoi cela ne fonctionne pas, je pense que la majorité n'est pas au courant

J'ai peur que cette add_list soit contre productive et qu'on foute vite les centres dedans à la main plutot que de chercher la vraie origine de nos soucis :/

[ValentinMouret]

ATTENTION LES GARS - j'ai l'explication de l'origine de pourquoi certains centres n'apparaissent pas sur Doctolib : c'est lorsqu'elles ne proposent PAS de créneaux de seconde injection. Je pense que du coup cette liste manuelle perd en intéret, il suffit de prevenir les pros. de santé de pourquoi cela ne fonctionne pas, je pense que la majorité n'est pas au courant

J'ai peur que cette add_list soit contre productive et qu'on foute vite les centres dedans à la main plutot que de chercher la vraie origine de nos soucis :/

Ok ! Dans ce cas-là, pas la peine de complexifier les choses.

[Bouska]

On a toujours le besoin de rajouter les centres d'outre mer qui n'ont pas dans un json de "département" (pour le cas de Doctolib).

[grubounet]

Ah ouiii bien vu @Bouska , bah du coup @ValentinMouret tu bosses pas pour rien je me sens moins coupable :p

[Noezor]

Ouais, on aura toujours des centres qu'on veut en + et ça nous economisera bcp de temps de débugging de les ajouter individuellement. J'aurais pas dit ça si nos scrappers étaient moins bons.

[Noezor]

Je laisse @aureliancnx donner son go final, je crois qu'il avait aussi une opinion dessus.

[aureliancnx]

Pour moi c'est OK. On scrape déjà presque tous les centres. Bien sûr on a des centres récalcitrants et ça peut être dû à plusieurs choses :

• le scraper de centres ne récupère pas tous les départements
• tout n'est pas sur les pages de recherche de Doctolib

On peut régler ces problèmes mais c'est toujours utile d'avoir la possibilité d'en ajouter manuellement en attendant de régler les problèmes inhérents aux points que j'ai cité au dessus

[ValentinMouret]

aaaaaah, j’ai pas eu le temps de checker le bug

[aureliancnx]

J'ai merge mais il y a un souci au niveau du code insee, il ne trouve pas le code insee pour reconnaître le département du centre.

multiprocessing.pool.RemoteTraceback: 
"""
Traceback (most recent call last):
  File "/usr/local/lib/python3.8/multiprocessing/pool.py", line 125, in worker
    result = (True, func(*args, **kwds))
  File "/builds/ViteMaDose/vitemadose/scraper/scraper.py", line 95, in cherche_prochain_rdv_dans_centre
    center_data = CenterInfo.from_csv_data(centre)
  File "/builds/ViteMaDose/vitemadose/scraper/pattern/center_info.py", line 69, in from_csv_data
    departement = departementUtils.to_departement_number(data.get("com_insee"))
  File "/builds/ViteMaDose/vitemadose/utils/vmd_utils.py", line 90, in to_departement_number
    insee_code = insee_code.strip()
AttributeError: 'NoneType' object has no attribute 'strip'
"""
The above exception was the direct cause of the following exception:
Traceback (most recent call last):
  File "scrape.py", line 7, in <module>
    main()
  File "/builds/ViteMaDose/vitemadose/scraper/main.py", line 26, in main
    scrape(platforms=platforms)
  File "/builds/ViteMaDose/vitemadose/scraper/scraper.py", line 64, in scrape
    centres_cherchés = get_last_scans(centres_cherchés)
  File "/builds/ViteMaDose/vitemadose/utils/vmd_utils.py", line 211, in get_last_scans
    for centre in centres:
  File "/usr/local/lib/python3.8/multiprocessing/pool.py", line 868, in next
    raise value
AttributeError: 'NoneType' object has no attribute 'strip'

Je revert en attendant