Skip to content
forked from Bonree/Ants

Bonree Ants流式大数据处理引擎

Notifications You must be signed in to change notification settings

awesomeDataTool/Ants

 
 

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

9 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Bonree Ants流式大数据处理引擎

Ants(蚁群)名称源于其寓意:高效协作、小而有力、合纵连横,我们认为其可以诠释这套超级引擎框架的初衷:轻便灵活、场景通用、稳定高效。

大数据处理引擎框架是一个针对时序指标数据处理的通用流式计算引擎框架。此引擎框架负责范围包括原始数据预处理、准实时计算(支持默认算子和自定义算子)、多种时间粒度批量计算、数据落地及各种容错处理,同时支持自定义高级功能自定义扩展机制,默认支持如时序指标动态基线计算、报警条件判断计算等扩展等。

背景

越来越多的企业认识到大数据对于自身未来发展的重要性,纷纷开始使用并逐渐依赖大数据处理的相关技术。但随着需要处理的数据越来越多,业务场景越发复杂,在实际执行过程中遇到很多问题,如大数据人才紧缺,相关技术缺乏沉淀,难以突破瓶颈,同时不同业务部门的业务需求纷繁多样,导致不同项目代码重复开发、重复造轮子、项目技术架构五花八门的情况也很常见,给后期维护和迭代带来很大的挑战。

对于以上的现实问题,博睿宏远以10年的大数据项目实践经验,抽象和设计出一套灵活轻便、场景通用、稳定高效的超级大数据处理引擎框架—Bonree Ants,以满足企业复杂多样的数据处理需求。

核心价值

可以帮助企业便捷快速的实现海量时序指标数据的在线流式处理。我们的目标是,对于常见的时序指标流式处理的业务场景可完全不需要研发人员参与,只需非研发业务人员对数据应用进行简单配置和业务脚本描述,即可实现其目标;而对于复杂业务场景我们则希望研发人员通过引擎的插件机制,进行少量编码来实现相关与业务强关联的逻辑,而将大数据处理中底层复杂的资源调度、任务编排、容错处理交给引擎负责,快速实现相关大数据处理业务开发,极大降低企业相关开发和维护成本。

通过在博睿宏远众多服务项目的实践,应用Bonree Ants引擎框架之后,大数据处理开发工作量整体降低了80%,整体项目周期缩短40%以上。

About

Bonree Ants流式大数据处理引擎

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • Java 98.5%
  • Shell 1.2%
  • Batchfile 0.3%