Skip to content

Runner之数据采集配置

lllllorisssss edited this page May 25, 2018 · 6 revisions

在logkit主配置文件中,通过confs_path字段配置多个文件夹,文件夹中存放的则是具体的Runner的配置文件,Runner的配置文件以.conf结尾。

Runner配置字段说明:

  1. name 必填,用来标识runner的名字,一个运行的logkit的runner的唯一标志,重名的runner将只加载一个。同时也用来标志日志。
  2. batch_len 可选,每读取多少行作为一个batch,进行解析和发送。默认无限制
  3. batch_size 可选,每读取多少数据作为一个batch,单位为byte。默认2097152(2MB:2*1024*1024
  4. batch_interval 可选,每读取多长时间作为一个batch,无论batch达到多少都直接进行解析和发送。默认60秒
  5. batch_try_times 可选,每个batch最多尝试发送多少次,如果仍然发送失败,则抛弃该数据。默认永远不抛弃数据始终重试
  6. extra_info 可选,为true时带上系统的hostname、ip、os等信息
  7. reader 格式为map[string]string的配置,详细配置见wikireaders部分
  8. parser 格式为map[string]string的配置,用来配置日志解析方式,详细配置见wikiparsers部分
  9. senders 格式为map[string]string组成的数组,用来配置日志发送的策略,详细配置见wikisenders部分
  10. cleaner 格式为map[string]string组成的数组,用来配置日志的删除策略,详细配置见wikicleaner部分

注意

  • batch_size 这项配置极端重要。如果读取单条日志已经超过batch 大小,logkit 会认为这条日志无法发送,会直接丢弃该日志。请用户务必重视,在打印日志的时候避免单条日志过长,请避免日志出现大量重复无用的信息。

典型的Runner配置如下。

{
    "name":"logkit_runner",
    "batch_len": 1000,
    "batch_size": 2097152,
    "batch_interval": 300, 
    "extra_info": true,
    "reader":{
        "log_path":"/home/user/app/log/dir/",
        "meta_path":"./metapath",
        "donefile_retention":"7",
        "read_from":"newest",
        "mode":"dir",
        "valid_file_pattern":"qiniulog-*.log" // 可不选,默认为 "*"
    },
     "cleaner":{
        "delete_enable":"true",
        "delete_interval":"10",
        "reserve_file_number":"10",
        "reserve_file_size":"10240"
    },
    "parser":{
        "name":"json_parser",
        "type":"json"
    },
    "senders":[{
        "name":"test_sender",
        "sender_type":"pandora",
        "fault_tolerant":"false",
        "pandora_ak":"your_ak",
        "pandora_sk":"your_sk",
        "pandora_host":"https://pipeline.qiniu.com",
        "pandora_repo_name":"repo_test",
        "pandora_region":"nb",
        "pandora_schema_free":"true"
}]
}
Clone this wiki locally
You can’t perform that action at this time.