Experiments made with Spark
Switch branches/tags
Nothing to show
Clone or download
Fetching latest commit…
Cannot retrieve the latest commit at this time.
Permalink
Failed to load latest commit information.
data - fixed wikipedia download script Nov 11, 2014
src/main - fixed imports Dec 9, 2014
.gitignore - code for wikipedia mapreduce Nov 7, 2014
README.md - renamed files Nov 7, 2014
pom.xml - upgrading to Spark 1.1.1 Dec 5, 2014

README.md

Comptage des arbres dont la hauteur est non-nulle

Cf. http://aseigneurin.github.io/2014/10/29/introduction-apache-spark.html

  • Télécharger les données avec le script data/get-arbres.sh
  • Lancer la classe TreesSample1

Calcul de la hauteur moyenne des arbres

Cf. http://aseigneurin.github.io/2014/11/01/initiation-mapreduce-avec-apache-spark.html

  • Télécharger les données avec le script data/get-arbres.sh
  • Lancer la classe TreesSample2

MapReduce et manipulation par clés sur les stats Wikipedia

Cf. http://aseigneurin.github.io/2014/11/06/mapreduce-et-manipulations-par-cles-avec-apache-spark.html

  • Télécharger les données avec le script data/get-wikipedia-pagecounts.sh
  • Lancer la classe WikipediaMapReduceByKey