Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

impossible d'extraire totalité des tweets d'une requête #388

Closed
parisGH opened this issue Feb 4, 2022 · 8 comments
Closed

impossible d'extraire totalité des tweets d'une requête #388

parisGH opened this issue Feb 4, 2022 · 8 comments

Comments

@parisGH
Copy link

parisGH commented Feb 4, 2022

Lorsque je lance une requête, avec comme critère un mot clé + un utilisateur, le résultat est très aléatoire : une fois 0 tweet, une fois 1 tweet, une fois 20 tweets, une fois 80 tweets etc sans jamais arriver à une extraction totale (qui est d'environ seulement 200 tweets pourtant). J'ai relancé cette requête de nombreuses fois, sans jamais extraire l'ensemble des tweets en question.

Que dois-je faire pour y parvenir ? Merci

@Yomguithereal
Copy link
Member

Bonsoir @parisGH, pouvez-vous vérifier que vous utilisez bien la dernière version de minet (0.56.4, minet --version)? Ceci ressemble fort à un ancien bug qui a été corrigé depuis quelques mois après les changements de Twitter de cet été (en espérant que ce ne soit pas le symptôme d'un nouveau changement de leur part). Si toutefois vous avez la dernière version, il vas nous falloir la requête et la commande que vous avez utilisé afin de reproduire le problème si nous voulons avoir une chance de le résoudre.

@parisGH
Copy link
Author

parisGH commented Feb 4, 2022

Merci pour votre réponse rapide! Je viens de vérifier et j'ai 0.52.13 donc le soucis vient peut-être d'ici. J'ai téléchargé la première fois en novembre/décembre 21 pourtant. Je viens de le réinstaller pour être sûr et minet --version m'indique encore 0.52.13. ? Je suis sur un système MacOS et j'ai téléchargé le fichier macos.zip 0.56.4 pourtant.

@Yomguithereal
Copy link
Member

Le problème vient clairement de là. Il faut mettre à jour l'outil sur votre machine. Attention cependant votre version installée l'a été par pip ou en standalone et il faut mettre la bonne à jour. Il ne sert à rien de télécharger le zip vous-même à part si vous souhaitez gérer le binaire à la main. Cf. https://github.com/medialab/minet#upgrading pour la mise à jour.

Si la commande which minet vous donne /usr/local/bin/minet vous avez la version standalone.

@parisGH
Copy link
Author

parisGH commented Feb 4, 2022

Merci infiniment vous avez résolu mon problème ! Je remarque que dorénavant la requête ne fonctionne pas au delà de 18 @Utilisateurs dans les critères (alors qu'avec la précédente version je pouvais aller au delà) mais je m'en accommode très bien, simple observation !

Bonne soirée à vous.

@Yomguithereal
Copy link
Member

A noter qu'il est possible de faire facilement une requête par utilisateur sans problème en utilisant un fichier CSV ainsi qu'expliqué dans les examples 2 et 3 de la documentation ici: https://github.com/medialab/minet/blob/master/docs/cli.md#twitter-scrape

@parisGH
Copy link
Author

parisGH commented Feb 4, 2022

Je me permets de revenir sur votre commentaire car il m'intéresse, je ne comprends pas quelle requête écrire dans le terminal pour exporter tous les tweets contenant un hashtag parmi ma liste .csv des utilisateurs ? il s'agit bien d'une liste des screen_name ?

Simple illustration, imaginons que je veuille exporter l'ensemble des tweets mentionnant #vivelafrance parmi les candidats à la présidentielle, comment dois-je m'y prendre en utilisant la méthode du fichier .csv?

Lorsque je tente avec l'exemple 2, il m'est demandé «quote» mais je ne comprends pas non plus à quoi cela réfère ?

@Yomguithereal
Copy link
Member

Supposons que votre fichier csv candidates.csv contiennent des screen names dans une colonne user, il suffit d'utiliser la commande de scraping dessus en templatant votre requête de la sorte:

minet tw scrape tweets user candidates.csv --query-template 'from:@{value} #vivelafrance' > tweets.csv

Lorsque je tente avec l'exemple 2, il m'est demandé «quote» mais je ne comprends pas non plus à quoi cela réfère ?

Je ne comprends pas de quoi vous parlez.

@parisGH
Copy link
Author

parisGH commented Feb 5, 2022

Merci beaucoup, je viens d'y parvenir et effectivement c'est beaucoup plus simple comme ça ! Pour quote, je me suis renseigné et il s'agissait d'un problème de guillemets, j'ai remplacé ' par " et le problème s'est résolu.

Merci encore pour votre aide.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants