Flume是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
功能:
- 日志收集:支持在日志系统中定制各类数据发送放,用于收集数据
- 数据处理:提供对数据进行简单处理,并写道各种数据接收方(可定制)的能力。Flume提供了console(控制台)、RPC(Thrift-RPC)、tail(UNIX tail)、syslog(syslog日志系统),支持TCP和UDP等2中模式,exec(命令执行)等数据源上收集数据的能力
-
Flume可以高效率的将多个网站服务器中收集的日志信息存入HDFS/HBase中
-
使用Flume,我们可以将从多个服务器中获取的数据迅速的移交给Hadoop中
-
除了日志信息,Flume同时也可以用来接入收集规模宏大的社交网络节点事件数据,比如facebook,twitter,电商网站如亚马逊,flipkart等
-
支持各种接入资源数据的类型以及接出数据类型
-
支持多路径流量,多管道接入流量,多管道接出流量,上下文路由等
-
可以被水平扩展