Skip to content

garyelephant/waterdrop-input-hbase

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

18 Commits
 
 
 
 
 
 
 
 
 
 

Repository files navigation

waterdrop-input-hbase

waterdrop input plugin --> hbase input

调整pom.xml 中hbase.version 的不同版本,来适应客户的不同hbase版本。不同版本的hbase,rpc协议不兼容,不可混着版本用。

TODO:

  1. 这里使用的spark hbase connector不支持limit N的pushdown,还有聚合的pushdown,可尝试替换为:https://github.com/Huawei-Spark/Spark-SQL-on-HBase

  2. 支持cluster模式:需要更改waterdrop api,将Common中的获取文件的API放到waterdrop api中发布出来,然后在这个插件中使用,才能支持cluster模式中访问需要的插件文件。

  3. 允许配置其他参数,需要waterdrop api提供访问sub parameter的支持,hbase input 可选参数

About

waterdrop input plugin --> hbase input

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages