Skip to content

Otter扩展性

agapple edited this page Sep 26, 2013 · 4 revisions

扩展性定义

按照实现不同,可分为两类:

  1. 数据处理自定义,比如Extract , Transform的数据处理. 目前Select/Load不支持数据自定义处理
  2. 组件功能性扩展,比如支持oracle日志获取,支持hbase数据输出等.

数据处理自定义

Extract模块:

  • EventProcessor : 自定义数据处理,可以改变一条变更数据的任意内容
  • FileResolver : 解决数据和文件的关联关系

目前两者都只支持java语言编写,但都支持运行时动态编译&lib包载入的功能。

  1. 通过Otter Manager直接发布source文件代码,然后推送到node节点上即时生效,不需要重启任何java进程,有点动态语言的味道
  2. 可以将class文件放置到extend目录或者打成jar包,放置在node启动classpath中,也可以通过Otter Manager指定类名的方式进行加载,这样允许业务完全自定义。(但有个缺点,如果使用了一些外部包加入到node classpath中,比如远程接口调用,目前EventProcessor的调用是串行处理,针对串行进行远程调用执行,效率会比较差. )


EventProcessor接口示例:

/**
 * 业务自定义处理过程
 * 
 * @author jianghang 2012-6-25 下午02:26:36
 * @version 4.1.0
 */
public interface EventProcessor {
/**
 * 自定义处理单条EventData对象
 * 
 * @return {@link EventData} 返回值=null,需要忽略该条数据
 */
public EventData process(EventData eventData);

}

扩展代码开发

1. 自定义维护

依赖配置:

<dependency>
	<groupId>com.alibaba.otter</groupId>
	<artifactId>shared.etl</artifactId>
	<version>x.y.z</version>
</dependency>
<dependency>
	<groupId>com.alibaba.otter</groupId>
	<artifactId>node.extend</artifactId>
	<version>x.y.z</version>
</dependency>
a. 创建mvn标准工程
mvn archetype:create -DgroupId=com.alibaba.otter -DartifactId=node.code
b. 修改pom.xml,添加依赖

c. mvn eclipse:eclipse导入工程

d. 代码开发完成后,使用的有两种选择:1. manager上选择source,直接粘帖源码 . 2. 将该代码打成jar包,放到node工程的lib目录下,在manager上选择clazz后,写上对应的类名即可

2. 基于otter.extend工程维护

a. 下载otter源码包, https://github.com/alibaba/otter

b. 导入工程.

mvn clean eclipse:eclipse install -Dmaven.test.skip
c. 代码开发完成后,使用的有两种选择:1. manager上选择source,直接粘帖源码 . 2. 整个otter编译打包,发布后,在manager上选择clazz后,写上对应的类名即可

扩展示例代码:

组件功能性扩展

目前这块扩展性机制不够,设计时只预留了接口,但新增一个功能实现,需要通过硬编码的方式去进行,下载otter的源码,增加功能支持,修改spring配置,同时修改web页面,方便使用。

基于manager的灵活扩展性的实现,暂没有想到很好的办法,如果你有好的思路和实现方式,也可以告知我们,谢谢。

比如举增加hbase load实现为例,需要扩展的内容:

  • 增加hbase数据源的抽象
  • 增加hbase表的抽象,比如column,columnFamily
  • 增加hbase transform的实现
  • 增加hbase loader的实现
You can’t perform that action at this time.