日志处理

阿里云日志服务

配置

• 非ECS服务器

  • 自己的服务器安装Logtail，配置好，然后阿里云后台配置好自己服务器的公网ip等。
  • 参考 https://help.aliyun.com/document_detail/49007.html

• 不支持压缩过的文件

  • 解压缩到一个固定文件

• 根据文件改变时间来发送日志，因为日志开始解压后可能不会再改变。

  • 给每个站固定一个.log文件名，每天都先清空，然后往这个日志里解压缩，这样日志文件就会是刚被修改的状态。

• 日志服务器不应该公开

  • 防火墙限制所有入流量，除了指定ip
  • 允许出流量，因为日志收集是日志服务器推送的，不需要阿里云的入流量

• 自定义日志格式解决

  • 自定义regex

  nginx:
  ([^ ]+) - (.*) \[(.*)\]\s+\"(\S{3,10}) (\S+) HTTP\/1\.\d" (\d{3}) (\d+) "([^"]+)" "([^"]+)" "([^"]+)" "([^" ]+)" "?([^" ]+)"?
  

  • 选择 “文本文件”模式而非阿里云内置的nginx模板，这样可以自定义“time”字段。

ELK

TBD