Skip to content

Projet de création d'un datatlake sur le thème des jeux vidéos. Deux sources de données : API Kaggle (dataset de jeux avec dates de sorties et évaluation) + API Twitter(commentaires sur la base des hashtags des noms des jeux récupérés avec du code Python).

Notifications You must be signed in to change notification settings

fereol023/Datalake_jeux_videos

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

3 Commits
 
 

Repository files navigation

Datalake : Avis twitter sur les jeux videos

Projet de création d'un datatlake sur le thème des jeux vidéos.

  • Phase 1 : Récupérer une liste de jeux (dataset de jeux avec dates de sorties et évaluation || Kaggle)
  • Phase 2 : Collecter en batch les avis twitter sur la base des noms des jeux : API Twitter
  • Phase 3 : Requêter des stats basiques sur la data collectée avec pySpark (mode local - format parquet)
  • Phase 4 : Upload la data en batch sur un noeud Elastic Search + dashboard Kibana.

About

Projet de création d'un datatlake sur le thème des jeux vidéos. Deux sources de données : API Kaggle (dataset de jeux avec dates de sorties et évaluation) + API Twitter(commentaires sur la base des hashtags des noms des jeux récupérés avec du code Python).

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published