Skip to content

Latest commit

 

History

History
112 lines (74 loc) · 5.39 KB

日志服务.md

File metadata and controls

112 lines (74 loc) · 5.39 KB

开启日志服务功能

进入Grafana数据源配置页面,打开日志服务开关,点击底部保存按钮。
数据源将检查秘钥合法性,检查成功后将会显示:DatSource Connection OK

使用 Explore 功能进行日志检索与分析

  1. 打开 Explore 功能,选择创建的数据源,即可看到日志服务功能(如果同时开启了云监控和日志服务,则需手动选中日志服务)。
  2. 输入查询条件,可在页面中看到对应的日志内容和可视化结果。(展示图表类型由数据类型自动推断)

查询条件中包含地域日志主题ID查询语句,用户填写后将对该日志主题发起查询,将结果返回给Grafana。

地域:使用下拉框进行地域选择,日志服务支持的地域请见 可用地域
日志主题ID:输入地域下的日志主题ID, 参考 管理日志主题
查询语句:输入内容为

日志检索

用户可通过输入 lucene 语句,查询符合条件的日志内容。相关检索语法与样例见文档 日志检索

日志分析

使用日志服务提供的 SQL 统计能力,可将采集的日志进行数据分析并以图表的形式展示分析结果。相关分析语法与样例见文档 日志分析

对于 Grafana, 这里给出常见的图表类型与对应的分析语句

图表类型为 TimeSeries Graph Table:
* | select histogram( cast(__TIMESTAMP__ as timestamp),interval 1 minute) as analytic_time, count(*) as log_count group by analytic_time order by analytic_time limit 1000

图表类型为 BarChart PieChart:
* | select try_cast(status as varchar) as status, count(*) as log_count group by status

图表类型为 Stat Gauge BarGauge:(注意右侧图表配置项 `Value Options - show` 选择 `All values`* | select count(*) as log_count
* | select try_cast(status as varchar) as status, count(*) as log_count group by status

模板变量功能

数据源插件支持使用模板变量功能,可参照 新增变量 文档,创建仪表盘中的变量并使用。

输入框均支持 Grafana 模板变量语法,可使用模板变量 ($var) 切换日志主题ID功能,实现仪表盘模板化。

Query 类型变量

输入变量名 HttpStatus, 选择类型为 Query,在Query Options中,选择数据源为日志服务数据源,刷新时间可选择 On Time Range Changed 或 On Dashboard Load。 输入如下的 Query 查询语句(请根据业务Topic进行修改),且可输入Regex对结果进行过滤,可选择Sort对结果进行排序。

* | select distinct(status) 

Query类型变量

使用变量时,可在查询语句中,使用 ${VarName} 对变量值进行引用。查询示例如下

status: ${HttpStatus}

Custom 类型变量

输入变量名 Interval, 选择类型为 Custom, 在Custom Options中,输入变量的可选项,不同选项间使用逗号分隔。如输入以下内容可得到图中所示选项。

1 MINUTE,5 MINUTE,15 MINUTE,30 MINUTE,1 HOUR,1 DAY

Custom类型变量

使用时,可参照示例中的 时序图Graph,将查询语句中的 1 minute 替换为 ${Interval}, 其他配置不变,查询Query中的变量将会被替换为选中的变量值。

* | select histogram( cast(__TIMESTAMP__ as timestamp),interval ${Interval}) as time, count(*) as pv group by time order by time

使用模板变量快速切换日志主题ID

输入变量名 TopicId, 选择变量类型为 Custom 或 TextBox 并填写默认值。
在图表配置中,在日志主题输入框中填写 $TopicId,此时用户可通过切换 TopicId 模板变量,快速查看其他日志主题的数据情况。

具体实现效果可参考 CLB Demo访问日志 样例仪表盘。

使用 CLB-DEMO 日志主题进行快速体验

为快速体验日志服务数据源插件,推荐使用 DEMO日志 功能进行快速体验。

参考文档创建日志主题后,记录日志主题ID,进入Grafana的插件预设目录,打开 CLB Demo访问日志 仪表盘。

在顶部 TopicId 输入框中,填写该日志主题ID,可以看到相关数据的查询结果已在仪表盘中进行展示。

告警

  1. 受限于 Grafana 告警能力,在腾讯云CLS控制台配置的检索语句不完全能移植到 Grafana 上。Grafana 告警仅支持时序图和仅含一列数值的表格。

时序图示例告警语句:

* | select histogram( cast(__TIMESTAMP__ as timestamp),interval 1 minute) as analytic_time, count(*) as log_count group by analytic_time order by analytic_time limit 1000

表格示例告警语句:

* | select count(*) as cnt

所需 CAM 权限

使用插件需要具有的接口权限:

  • cls:DescribeTopics
  • cls:SearchLog

日志查询与问题排查