Skip to content

一个手动管理spark streaming集成kafka时的偏移量到zookeeper中的小项目

License

Notifications You must be signed in to change notification settings

liangchen-datanerd/streaming-offset-to-zk

 
 

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

20 Commits
 
 
 
 
 
 
 
 

Repository files navigation

streaming-offset-to-zk

项目背景

公司有一个比较核心的实时业务用的是spark streaming2.1.0+kafka0.9.0.0的流式技术来开发的,存储用的hbase+elasticsearch+redis,这中间趟过很多坑,解决了一些bug和问题,在这里我把它做成了一个骨架项目并开源出来,希望后来的朋友可以借阅和参考,尽量少走些弯路,当然如果中间遇到或者发现什么问题都可以给我提issue。

下面是使用过程中记录的一些心得和博客,感兴趣的朋友可以了解下:

(1)spark streaming自带的checkpoint容错使用

(2)spark streaming自带的checkpoint的弊端

(3)如何管理spark streaming消费Kafka的偏移量(一)

(4)如何管理spark streaming消费Kafka的偏移量(二)

(5)如何管理spark streaming消费Kafka的偏移量(三)

(6)spark streaming程序如何优雅的停止服务(一)

(7)spark streaming程序如何优雅的停止服务(二)

(8)spark streaming程序如何优雅的停止服务(三)

项目简介

该项目提供了一个在使用spark streaming2.1+kafka0.9.0.0的版本集成时,手动存储偏移量到zookeeper中,因为自带的checkpoint弊端太多,不利于 项目升级发布,并修复了一些遇到的bug,例子中的代码已经在我们生产环境运行,所以大家可以参考一下。

主要功能

(1)提供了快速使用 spark streaming + kafka 开发流式程序的骨架,示例中的代码大部分都加上了详细的注释

(2)提供了手动管理kafka的offset存储到zookeeper的方法,并解决了一些bug,如kafka扩容分区,重启实时流不识别新增分区的问题。

(3)提供了比较简单和优雅的关闭spark streaming流式程序功能

博客相关

(1)个人站点(2018之后,同步更新)

(2)iteye博客

我的公众号(woshigcs)

有问题可关注我的公众号留言咨询

image

About

一个手动管理spark streaming集成kafka时的偏移量到zookeeper中的小项目

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • Scala 100.0%