Runner之数据采集配置

lllllorisssss edited this page May 25, 2018 · 6 revisions

在logkit主配置文件中,通过confs_path字段配置多个文件夹,文件夹中存放的则是具体的Runner的配置文件,Runner的配置文件以.conf结尾。

Runner配置字段说明:

  1. name 必填,用来标识runner的名字,一个运行的logkit的runner的唯一标志,重名的runner将只加载一个。同时也用来标志日志。
  2. batch_len 可选,每读取多少行作为一个batch,进行解析和发送。默认无限制
  3. batch_size 可选,每读取多少数据作为一个batch,单位为byte。默认2097152(2MB:2*1024*1024
  4. batch_interval 可选,每读取多长时间作为一个batch,无论batch达到多少都直接进行解析和发送。默认60秒
  5. batch_try_times 可选,每个batch最多尝试发送多少次,如果仍然发送失败,则抛弃该数据。默认永远不抛弃数据始终重试
  6. extra_info 可选,为true时带上系统的hostname、ip、os等信息
  7. reader 格式为map[string]string的配置,详细配置见wikireaders部分
  8. parser 格式为map[string]string的配置,用来配置日志解析方式,详细配置见wikiparsers部分
  9. senders 格式为map[string]string组成的数组,用来配置日志发送的策略,详细配置见wikisenders部分
  10. cleaner 格式为map[string]string组成的数组,用来配置日志的删除策略,详细配置见wikicleaner部分

注意

  • batch_size 这项配置极端重要。如果读取单条日志已经超过batch 大小,logkit 会认为这条日志无法发送,会直接丢弃该日志。请用户务必重视,在打印日志的时候避免单条日志过长,请避免日志出现大量重复无用的信息。

典型的Runner配置如下。

{
    "name":"logkit_runner",
    "batch_len": 1000,
    "batch_size": 2097152,
    "batch_interval": 300, 
    "extra_info": true,
    "reader":{
        "log_path":"/home/user/app/log/dir/",
        "meta_path":"./metapath",
        "donefile_retention":"7",
        "read_from":"newest",
        "mode":"dir",
        "valid_file_pattern":"qiniulog-*.log" // 可不选,默认为 "*"
    },
     "cleaner":{
        "delete_enable":"true",
        "delete_interval":"10",
        "reserve_file_number":"10",
        "reserve_file_size":"10240"
    },
    "parser":{
        "name":"json_parser",
        "type":"json"
    },
    "senders":[{
        "name":"test_sender",
        "sender_type":"pandora",
        "fault_tolerant":"false",
        "pandora_ak":"your_ak",
        "pandora_sk":"your_sk",
        "pandora_host":"https://pipeline.qiniu.com",
        "pandora_repo_name":"repo_test",
        "pandora_region":"nb",
        "pandora_schema_free":"true"
}]
}
Clone this wiki locally
You can’t perform that action at this time.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session.
Press h to open a hovercard with more details.