Skip to content

Sizhao/Spark-learning

Repository files navigation

Spark-learning

为了跟上大数据的时代,觉得有必要从头整理spark学习的一些知识。并尝试贡献spark学习的代码,来和大数据学者们一起参与到大数据学习中去。因此,我希望能逐渐打造一个“正经”Spark学习的一个项目

本项目为了更多适应大数据的特性,采用了两种语言。当然也会有python代码的实现,但是可能在github上下载不到,你可以到博客当中寻找你想看到的python代码。由于项目直接从spark开始,可能对于没有大数据经验的人来说相对有点突兀,因为你可能需要了解一点scala语言,又或者你需要了解一些Hadoop的一些知识。但是如果一点都不了解也无妨。你可以直接下载这个项目,大部分代码都是在“local”模式下运行。你可以很好地开始你的spark学习,但如果你想更深入学习spark,可能还是绕不开一些必备的技能。

Spark入门(一)--用Spark-Shell初尝Spark滋味

Spark入门(二)--如何用Idea运行我们的Spark项目

Spark入门(三)--Spark经典的单词统计

Spark入门(四)--Spark的map、flatMap、mapToPair

Spark入门(五)--Spark的reduce和reduceByKey

Spark入门(六)--Spark的combineByKey、sortBykey

Spark入门(七)--Spark的intersection、subtract、union和distinct

About

Spark学习的一个项目

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published