Script di acquisizione email di deputati e senatori, propedeutico ad inviare relazioni al parlamento sui rilevamenti MonitoraPA

[fpietrosanti]

Al fine di inviare relazioni al parlamento sui rilevamenti MonitoraPA, questo ticket è per la realizzazione di uno script di acquisizione email di deputati e senatori corredato da:

• Nome
• Cognome
• Email
• Partito
• Se deputato o senatore

[vbertola]

Per la Camera:

• scaricare https://www.camera.it/leg18/28 (il 18 è l'id della legislatura che andrà presumibilmente cambiato in futuro)
• parsificare la pagina cercando il div listaDeputati, che contiene un select che ha un option per deputato, il cui value è la id_deputato e il cui contenuto è "COGNOME Nome" (quindi li separi sullo spazio che a sx ha solo maiuscole)
• per ogni deputato:
  • scaricare https://scrivi.camera.it/scrivi?dest=deputato&id_aul=<id_deputato>
  • parsificare la pagina cercando il title; dentro, tra parentesi, c'è la mail
  • se interessano altre informazioni puoi scaricare e parsificare https://www.camera.it/leg18/29?tipoAttivita=&tipoVisAtt=&tipoPersona=&shadow_deputato=<id_deputato>&idLegislatura=18
    (in futuro anche qui andranno cambiati idLegislatura e il 18 nell'URL)

[vbertola]

Per il Senato: il sito attualmente restituisce errori (...) ma potrebbe funzionare così:

• scaricare le pagine, una per lettera, https://www.senato.it/leg/18/BGT/Schede/Attsen/Senx.html (x, da variare da a a z, è la singola lettera minuscola con cui iniziano i cognomi; anche qui, 18 è l'id della legislatura)
• parsificare ogni pagina ciclando sui vari div di classe senatore, ognuno dei quali contiene un div linkSenatore, in cui la prima tag A rimanda a un URL da cui si estrae l'ID (id=<id_senatore>) e ha per contenuto il solito "COGNOME Nome"
• per ogni senatore:
  • scaricare https://www.senato.it/leg/18/BGT/Schede/Attsen/<sprintf("%08d", id_senatore)>.htm
  • parsificare cercando la tag UL di classe "composizione contatti" (con lo spazio... quindi in realtà sono due classi :-D )
  • contiene un pezzo di javascript con due document.write, la seconda ha la mail tra apici singoli all'inizio dell'argomento
  • dalla stessa pagina si possono estrarre altre informazioni

[rm76]

Per la Camera:

• scaricare https://www.camera.it/leg18/28 (il 18 è l'id della legislatura che andrà presumibilmente cambiato in futuro)

• parsificare la pagina cercando il div listaDeputati, che contiene un select che ha un option per deputato, il cui value è la id_deputato e il cui contenuto è "COGNOME Nome" (quindi li separi sullo spazio che a sx ha solo maiuscole)

• per ogni deputato:

  • scaricare https://scrivi.camera.it/scrivi?dest=deputato&id_aul=<id_deputato>
  • parsificare la pagina cercando il title; dentro, tra parentesi, c'è la mail
  • se interessano altre informazioni puoi scaricare e parsificare https://www.camera.it/leg18/29?tipoAttivita=&tipoVisAtt=&tipoPersona=&shadow_deputato=<id_deputato>&idLegislatura=18
    (in futuro anche qui andranno cambiati idLegislatura e il 18 nell'URL)

Buongiorno, sono molto niubbo, quindi abbiate pietà...
Nonostante la non più giovanissima età, per hobby da un po' di tempo, nel tempo libero, mi diletto con Python, e questa mi è sembrata l'occasione adatta per mettermi finalmente alla prova con un progetto "pubblico"!
Ho fatto lo script per la Camera dei deputati (se ho tempo faccio anche quello del Senato!), ma sono molto poco pratico di github e avrei bisogno di una manina che mi accompagni!
Come faccio a convididervi il codice?
Grazie e complimenti per le ottime iniziative!

[Anulo2]

Per la Camera:

• scaricare https://www.camera.it/leg18/28 (il 18 è l'id della legislatura che andrà presumibilmente cambiato in futuro)

• parsificare la pagina cercando il div listaDeputati, che contiene un select che ha un option per deputato, il cui value è la id_deputato e il cui contenuto è "COGNOME Nome" (quindi li separi sullo spazio che a sx ha solo maiuscole)

• per ogni deputato:

  • scaricare https://scrivi.camera.it/scrivi?dest=deputato&id_aul=<id_deputato>
  • parsificare la pagina cercando il title; dentro, tra parentesi, c'è la mail
  • se interessano altre informazioni puoi scaricare e parsificare https://www.camera.it/leg18/29?tipoAttivita=&tipoVisAtt=&tipoPersona=&shadow_deputato=<id_deputato>&idLegislatura=18
    (in futuro anche qui andranno cambiati idLegislatura e il 18 nell'URL)

Buongiorno, sono molto niubbo, quindi abbiate pietà... Nonostante la non più giovanissima età, per hobby da un po' di tempo, nel tempo libero, mi diletto con Python, e questa mi è sembrata l'occasione adatta per mettermi finalmente alla prova con un progetto "pubblico"! Ho fatto lo script per la Camera dei deputati (se ho tempo faccio anche quello del Senato!), ma sono molto poco pratico di github e avrei bisogno di una manina che mi accompagni! Come faccio a convididervi il codice? Grazie e complimenti per le ottime iniziative!

Ciao se riesci a fare un salto nel gruppo telegram/matrix ci è più facile aiutarti in tempo reale :D
Se non vuoi entrare in chat puoi altrimenti provare a studiare un po' le basi di git in autonomia per farci una PR.
Trovi molti video su youtube e siti che possono aiutarti nel caso, ma veramente, se riesci passa in chat, è molto più veloce!