Skip to content

Latest commit

 

History

History
24 lines (12 loc) · 1.28 KB

08-0Flume介绍.md

File metadata and controls

24 lines (12 loc) · 1.28 KB

Flume(日志收集工具)

​ Flume是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。

功能:

  • 日志收集:支持在日志系统中定制各类数据发送放,用于收集数据
  • 数据处理:提供对数据进行简单处理,并写道各种数据接收方(可定制)的能力。Flume提供了console(控制台)、RPC(Thrift-RPC)、tail(UNIX tail)、syslog(syslog日志系统),支持TCP和UDP等2中模式,exec(命令执行)等数据源上收集数据的能力

特点:

  • Flume可以高效率的将多个网站服务器中收集的日志信息存入HDFS/HBase中

  • 使用Flume,我们可以将从多个服务器中获取的数据迅速的移交给Hadoop中

  • 除了日志信息,Flume同时也可以用来接入收集规模宏大的社交网络节点事件数据,比如facebook,twitter,电商网站如亚马逊,flipkart等

  • 支持各种接入资源数据的类型以及接出数据类型

  • 支持多路径流量,多管道接入流量,多管道接出流量,上下文路由等

  • 可以被水平扩展