qs-hadoop

此项目用于学习大数据hadoop生态圈以及storm、spark生态圈

组织结构

qs-hadoop
├
├── qs-hadoop-elasticsearch-springboot -- elasticsearch集成springboot以及基本使用
|
├── qs-hadoop-elasticsearch-starter -- elasticsearch开始使用
|
├── qs-hadoop-file -- 学习相关的资料文件、以及遇到的坑点笔记
|
├── qs-hadoop-flink -- 分布式数据流处理和批量数据处理框架 flink 初次见面
|
├── qs-hadoop-hdfs -- hadoop核心框架-分布式文件系统的java api的基本使用
|
├── qs-hadoop-ipParser -- 一个ip地址数据库，用于解析ip获取地址
|
├── qs-hadoop-kafka -- kafka生产者、消费者使用
|
├── qs-hadoop-logger -- 用于产生类似nginx访问日志的产生
|
├── qs-hadoop-mapreduce -- hadoop核心框架-分布式计算框架mapreduce java api编程实现
|
├── qs-hadoop-spark -- 基于sparkContext的wordcount Demo
|
├── qs-hadoop-sparkSQL -- 基于scala编程的spark核心dataset、dataframe的使用以及hive on spark等使用
|
├── qs-hadoop-sparkStream -- 基于scala编程的sparkstreaming是基本使用，分别集成flume、kafka日志收集
|
├── qs-hadoop-sparkStream-action -- 基于scala编程的sparkstreaming实战，集成flume、kafka做实时流处理的日志分析项目实战
|
├── qs-hadoop-streaming-action-webUi -- 基于java springboot编程的sparkstreaming实战数据图像化展示web ui界面(echarts)
|
├── qs-hadoop-userBehaviorLog -- 基于java编程的Mapreduce nginx日志用户行为离线处理分析,统计nginx用户访问日志的os个数
|
├── qs-hadoop-userLog-scala -- 基于scala编程的spark nginx日志用户行为离线处理分析
|
├── qs-hadoop-webUi -- 基于java servlet编程的spark nginx日志用户行为离线处理分析的数据图像化展示web ui界面(echarts)
|
├── qs-hadoop-spring -- HDFS集成java spring开源框架的基本使用
|
├── qs-hadoop-springboot -- HDFS集成java springboot开源框架的基本使用
|
├── qs-hadoop-storm -- storm实时流计算的使用

涉及到的编程语言及技术框架

编程语言

• java 1.8.0_161
• scala 2.11.12

技术框架及选型

• hadoop 2.6.0 (cdh5.7.0)

• spark 2.1.0 (cdh5.7.0)

• flink 1.5.0 （cdh5.7.0）

• flume 1.6.0 (cdh5.7.0)

• kafka kafka_2.11-0.9.0.0

• hbase 1.2.0 (cdh5.7.0)

• elasticsearch 5.2.0

• hive 1.1.0 (cdh5.7.0)

• spring boot 2.0.3.RELEASE

• echarts 3.3.1

• zookeeper-3.4.5 (cdh5.7.0)

• storm 1.1.2

结束语

本项目仅用于学习大数据生态圈使用，很多地方都是仅仅是demo形式， 还有很多东西需要改进。 项目随着学习进度持续更新...