BigData-大数据系统学习(2020年完善中)

BigData-大数据系统学习（2020年持续更新中）

Hadoop体系	Spark	Flink	算法	面试	其它

✒️ 前 言

1. 大数据学习路线
2. 大数据常用软件安装环境搭建指南

一.Hadoop体系

1. 分布式文件存储系统 — HDFS

2. 分布式计算框架 — MapReduce

3. 集群资源管理器 — YARN

4. Zookeeper

5. Hive

6. Flume

7. Kafka

8. HBase

9. Sqoop

10. Oozie

11. Azkaban

12. Kettle

13. ClickHouse

14. DataX

15. Impala

16. Atlas

17. ELK

18. redis

19. Hue

二、Spark

Spark 基础 :

1. Spark 概念
2. Spark 集群搭建
3. Spark入门案例

Spark Core :

3. 弹性式数据集 RDD
4. RDD 常用算子详解
5. Spark 运行模式与作业提交
6. Spark 累加器与广播变量
7. 基于 Zookeeper 搭建 Spark 高可用集群

Spark SQL :

1. DateFrame 和 DataSet
2. Structured API 的基本使用
3. Spark SQL 外部数据源
4. Spark SQL 常用聚合函数
5. Spark SQL JOIN 操作

Spark Streaming ：

1. Spark Streaming 简介
2. Spark Streaming 基本操作
3. Spark Streaming 整合 Flume
4. Spark Streaming 整合 Kafka

Structured Streaming ：

三.Flink

1. Storm 和流处理简介
2. Storm 核心概念详解
3. Storm 单机环境搭建
4. Storm 集群环境搭建
5. Storm 编程模型详解
6. Storm 项目三种打包方式对比分析
7. Storm 集成 Redis 详解
8. Storm 集成 HDFS/HBase
9. Storm 集成 Kafka

四.算法

1. 常见算法
2. leetCode
3. 企业算法题

五.面试

1. 大数据应用常用打包方式

六.其它

1. 大数据应用常用打包方式

📑 后 记

资料分享与开发工具推荐