Skip to content

Latest commit

 

History

History
848 lines (476 loc) · 40.1 KB

用户使用手册.md

File metadata and controls

848 lines (476 loc) · 40.1 KB

5.0、产品简介

Know Streaming 是一套云原生的 Kafka 管控平台,脱胎于众多互联网内部多年的 Kafka 运营实践经验,专注于 Kafka 运维管控、监控告警、资源治理、多活容灾等核心场景,在用户体验、监控、运维管控上进行了平台化、可视化、智能化的建设,提供一系列特色的功能,极大地方便了用户和运维人员的日常使用,让普通运维人员都能成为 Kafka 专家。

5.1、功能架构

text

5.2、体验路径

下面是用户第一次使用我们产品的典型体验路径:

text

5.3、常用功能

5.3.1、用户管理

用户管理是提供给管理员进行人员管理和用户角色管理的功能模块,可以进行新增用户和分配角色。下面是一个典型的场景: eg:团队加入了新成员,需要给这位成员分配一个使用系统的账号,需要以下几个步骤

  • 步骤 1:点击“系统管理”>“用户管理”>“人员管理”>“新增用户”,输入“账号”、“实名”、“密码”,根据此账号所需要的权限,选择此账号所对应的角色。如果有满足权限的角色,则用户新增成功。如果没有满足权限的角色,则需要新增角色(步骤 2)

  • 步骤 2:点击“系统管理”>“用户管理”>“角色管理”>“新增角色”。输入角色名称和描述,给此角色分配权限,点击“确定”,角色新增成功

  • 步骤 3:根据此新增的角色,参考步骤 1,重新新增用户

  • 步骤 4:此用户账号新增成功,可以进行登录产品使用

text

5.3.2、接入集群

  • 步骤 1:点击“多集群管理”>“接入集群”

  • 步骤 2:填写相关集群信息

  • 集群名称:支持中英文、下划线、短划线(-),最长 128 字符。平台内不能重复

    • Bootstrap Servers:输入 Bootstrap Servers 地址。输入完成之后会进行连接测试,测试完成之后会给出测试结果连接成功 or 连接失败(以及失败的原因)。
    • Zookeeper:输入 zookeeper 地址,输入完成之后会进行连接测试,测试完成之后会给出测试结果连接成功 or 连接失败(以及失败的原因)
    • Metrics 选填:JMX Port,输入 JMX 端口号;MaxConn,输入服务端最大允许的连接数
    • Security:若有 JMX 账号密码,则输入账号密码
    • Version:选择所支持的 kafka 版本,如果没有匹配则可以选择相近版本
    • 集群配置选填:输入用户创建 kafka 客户端进行信息获取的相关配置
    • 集群描述:最多 200 字符

text

5.3.3、新增 Topic

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”>“新增 Topic”按钮>“创建 Topic“抽屉

  • 步骤 2:输入“Topic 名称(不能重复)”、“Topic 描述”、“分区数”、“副本数”、“数据保存时间”、“清理策略(删除或压缩)”

  • 步骤 3:展开“更多配置”可以打开高级配置选项,根据自己需要输入相应配置参数

  • 步骤 4:点击“确定”,创建 Topic 完成

text

5.3.4、Topic 扩分区

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”>“Topic 列表“>操作项”扩分区“>“扩分区”抽屉

  • 步骤 2:扩分区抽屉展示内容为“流量的趋势图”、“当前分区数及支持的最低消息写入速率”、“扩分区后支持的最低消息写入速率”

  • 步骤 3:输入所需的分区总数,自动计算出扩分区后支持的最低消息写入速率

  • 步骤 4:点击确定,扩分区完成

text

5.3.5、Topic 批量扩缩副本

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”>“批量操作下拉“>“批量扩缩副本“>“批量扩缩容”抽屉

  • 步骤 2:选择所需要进行扩缩容的 Topic,可多选,所选择的 Topic 出现在下方 Topic 列表中

  • 步骤 3:Topic 列表展示 Topic“近三天平均流量”、“近三天峰值流量及时间”、“Partition 数”、”当前副本数“、“新副本数”

  • 步骤 4:扩容时,选择目标节点,新增的副本会在选择的目标节点上;缩容时不需要选择目标节点,自动删除最后一个(或几个)副本

  • 步骤 5:输入迁移任务配置参数,包含限流值和任务执行时间

  • 步骤 6:输入任务描述

  • 步骤 7:点击“确定”,创建 Topic 扩缩副本任务

  • 步骤 8:去“Job”模块的 Job 列表查看创建的任务,如果已经执行则可以查看执行进度;如果未开始执行则可以编辑任务

text

5.3.6、Topic 批量迁移

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”>“批量操作下拉“>“批量迁移“>“批量迁移”抽屉

  • 步骤 2:选择所需要进行迁移的 Topic,可多选,所选择的 Topic 出现在下方 Topic 列表中

  • 步骤 3:选择所需要迁移的 partition 和迁移数据的时间范围

  • 步骤 4:选择目标节点(节点数必须不小于最大副本数)

  • 步骤 5:点击“预览任务计划”,打开“任务计划”二次抽屉,可对目标 Broker ID 进行编辑

  • 步骤 6:输入迁移任务配置参数,包含限流值和任务执行时间

  • 步骤 7:输入任务描述

  • 步骤 8:点击“确定”,创建 Topic 迁移任务

  • 步骤 9:去“Job”模块的 Job 列表查看创建的任务,如果已经执行则可以查看执行进度;如果未开始执行则可以编辑任务

text

5.3.7、设置 Cluster 健康检查规则

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Overview”>“集群健康状态旁边 icon”>“健康度设置抽屉”

  • 步骤 2:健康度设置抽屉展示出了检查项和其对应的权重,可以修改检查项的检查规则

  • 步骤 3:检查规则可配置,分别为

    • Cluster:集群 controller 数不等于 1(数字不可配置)不通过
    • Broker:RequestQueueSize 大于等于 10(默认为 10,可配置数字)不通过
    • Broker:NetworkProcessorAvgIdlePercent 的 Idle 小于等于 0.8%(默认为 0.8%,可配置数字)不通过
    • Topic:无 leader 的 Topic 数量,大于等于 1(默认为 1,数字可配置)不通过
    • Topic:Topic 在 10(默认为 10,数字可配置)个周期内 8(默认为 8,数字可配置)个周期内处于未同步的状态则不通过
    • ConsumerGroup:Group 在 10(默认为 10,数字可配置)个周期内进行 8(默认为 8,数字可配置)次 re-balance 不通过
  • 步骤 4:设置完成后,点击“确认”,健康检查规则设置成功

text

5.3.8、图表指标筛选

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Overview”>“指标筛选 icon”>“指标筛选抽屉”

  • 步骤 2:指标筛选抽屉展示信息为以下几类“Health”、“Cluster”、“Broker”、“Consumer”、“Security”、“Job”

  • 步骤 3:默认勾选比较重要的指标进行展示。根据需要选中/取消选中相应指标,点击”确认“,指标筛选成功,展示的图表随之变化

text

5.3.9、编辑 Broker 配置

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Brokers”>“Broker ID”>“Configuration”TAB>“编辑”按钮

  • 步骤 2:输入配置项的新配置内容

  • 步骤 3:(选填)点击“应用于全部 Broker”,将此配置项的修改应用于全部的 Broker

  • 步骤 4:点击“确认”,Broker 配置修改成功

text

5.3.10、重置 consumer Offset

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Consumer”>“Consumer Group”名称>“Consumer Group 详情”抽屉>“重置 Offset”按钮>“重置 Offset”抽屉

  • 步骤 2:选择重置 Offset 的类型,可“重置到指定时间”或“重置分区”

  • 步骤 3:重置到指定时间,可选择“最新 Offset”或“自定义时间”

  • 步骤 4:重置分区,可选择 partition 和其重置的 offset

  • 步骤 5:点击“确认”,重置 Offset 开始执行

text

5.3.11、新增 ACL

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Security”>“Users”>“新增 ACL”

  • 步骤 2:输入 ACL 配置参数

    • ACL 用途:生产权限、消费权限、自定义权限
    • 生产权限时:可选择应用于所有 Kafka User 或者特定 Kafka User;可选择应用于所有 Topic 或者特定 Topic
    • 消费权限时:可选择应用于所有 Kafka User 或者特定 Kafka User;可选择应用于所有 Topic 或者特定 Topic;可选择应用于所有 Consumer Group 或者特定 Consumer Group
  • 步骤 3:点击“确定”,新增 ACL 成功

text

5.4、全部功能

5.4.1、登录/退出登录

  • 登录:输入账号密码,点击登录

  • 退出登录:鼠标悬停右上角“头像”或者“用户名”,出现小弹窗“登出”,点击“登出”,退出登录

5.4.2、系统管理

用户登录完成之后,点击页面右上角【系统管理】按钮,切换到系统管理的视角,可以进行配置管理、用户管理、审计日志查看。 text

5.4.2.1、配置管理

配置管理是提供给管理员一个快速配置配置文件的能力,所配置的配置文件将会在对应模块生效。

5.4.2.2、查看配置列表

  • 步骤 1:点击”系统管理“>“配置管理”

  • 步骤 2:列表展示配置所属模块、配置键、配置值、启用状态、更新时间、更新人。列表有操作项编辑、删除,可对配置模块、配置键、配置值、描述、启用状态进行配置,也可删除此条配置

text

5.4.2.3、新增配置

  • 步骤 1:点击“系统管理”>“配置管理”>“新增配置”

  • 步骤 2:模块:下拉选择所有可配置的模块;配置键:不限制输入内容,500 字以内;配置值:代码编辑器样式,不限内容不限长度;启用状态开关:可以启用/禁用此项配置

text

5.4.2.4、编辑配置

可对配置模块、配置键、配置值、描述、启用状态进行配置。

5.4.2.5、用户管理

用户管理是提供给管理员进行人员管理和用户角色管理的功能模块,可以进行新增用户和分配角色。

5.4.2.6、人员管理列表

  • 步骤 1:点击“系统管理”>“用户管理”>“人员管理”

  • 步骤 2:人员管理列表展示用户角色、用户实名、用户分配的角色、更新时间、编辑操作。

  • 步骤 3:列表支持”用户账号“、“用户实名”、“角色名”筛选。

text

5.4.2.7、新增用户

  • 步骤 1:点击“系统管理”>“用户管理”>“人员管理”>“新增用户”

  • 步骤 2:填写“用户账号”、“用户实名”、“用户密码”这些必填参数,可以对此账号分配已经存在的角色。

text

5.4.2.8、编辑用户

  • 步骤 1:点击“系统管理”>“用户管理”>“人员管理”>列表操作项“编辑”

  • 步骤 2:用户账号不可编辑;可以编辑“用户实名”,修改“用户密码”,重新分配“用户角色“

text

5.4.2.9、角色管理列表

  • 步骤 1:点击“系统管理”>“用户管理”>“角色管理”

  • 步骤 2:角色列表展示信息为“角色 ID”、“名称”、“描述”、“分配用户数”、“最后修改人”、“最后更新时间”、操作项“查看详情”、操作项”分配用户“

  • 步骤 3:列表有筛选框,可对“角色名称”进行筛选

  • 步骤 4:列表操作项,“查看详情”可查看到角色绑定的权限项,”分配用户“可对此项角色下绑定的用户进行增减

text

5.4.2.10、新增角色

  • 步骤 1:点击“系统管理”>“用户管理”>“角色管理”>“新增角色”

  • 步骤 2:输入“角色名称”(角色名称只能由中英文大小写、数字、下划线_组成,长度限制在 3 ~ 128 字符)、“角色描述“(不能为空)、“分配权限“(至少需要分配一项权限),点击确认,新增角色成功添加到角色列表

text

5.4.2.11、审计日志

  • 步骤 1:点击“系统管理”>“审计日志“

  • 步骤 2:审计日志包含所有对于系统的操作记录,操作记录列表展示信息为下

    • “模块”:操作对象所属的功能模块
    • “操作对象”:具体哪一个集群、任务 ID、topic、broker、角色等
    • “行为”:操作记录的行为,包含“新增”、“替换”、“读取”、“禁用”、“修改”、“删除”、“编辑”等
    • “操作内容”:具体操作的内容是什么
    • “操作时间”:操作发生的时间
    • “操作人”:此项操作所属的用户
  • 步骤 3:操作记录列表可以对“模块“、”操作对象“、“操作内容”、”操作时间“进行筛选

text

5.4.3、多集群管理

5.4.3.1、多集群列表

  • 步骤 1:点击顶部导航栏“多集群管理”

  • 步骤 2:多集群管理页面包含的信息为:”集群信息总览“、“集群列表”、“列表筛选项”、“接入集群”

  • 步骤 3:集群列表筛选项为

    • 集群信息总览:cluster 总数、live 数、down 数
    • 版本筛选:包含所有存在的集群版本
    • 健康分筛选:筛选项为 0、10、20、30、40、50、60、70、80、90、100
    • live、down 筛选:多选
    • 下拉框筛选排序,选项维度为“接入时间”、“健康分“、”Messages“、”MessageSize“、”BytesIn“、”BytesOut“、”Brokers“;可对这些维度进行“升序”、“降序”排序
  • 步骤 4:每个卡片代表一个集群,其所展示的集群概览信息包括“健康分及健康检查项通过数”、“broker 数量”、“ZK 数量”、“版本号”、“BytesIn 均衡状态”、“BytesOut 均衡状态”、“Disk 均衡状态”、”Messages“、“MessageSize”、“BytesIn”、“BytesOut”、“接入时间”

text

5.4.3.2、接入集群

  • 步骤 1:点击“多集群管理”>“接入集群”

  • 步骤 2:填写相关集群信息

    • 集群名称:平台内不能重复
    • Bootstrap Servers:输入 Bootstrap Servers 地址,输入完成之后会进行连接测试,测试完成之后会给出测试结果连接成功 or 连接失败(以及失败的原因)。
    • Zookeeper:输入 zookeeper 地址,输入完成之后会进行连接测试,测试完成之后会给出测试结果连接成功 or 连接失败(以及失败的原因)
    • Metrics 选填:JMX Port,输入 JMX 端口号;MaxConn,输入服务端最大允许的连接数
    • Security:若有 JMX 账号密码,则输入账号密码
    • Version:kafka 版本,如果没有匹配则可以选择相近版本
    • 集群配置选填:用户创建 kafka 客户端进行信息获取的相关配置

text

5.4.3.3、删除集群

  • 步骤 1:点击“多集群管理”>鼠标悬浮集群卡片>点击卡片右上角“删除 icon”>打开“删除弹窗”

  • 步骤 2:在删除弹窗中的“集群名称”输入框,输入所要删除集群的集群名称,点击“删除”,成功删除集群,解除平台的纳管关系(集群资源不会删除)

text

5.4.4、Cluster 管理

5.4.4.1、Cluster Overview

  • 步骤 1:点击“多集群管理”>“集群卡片”>进入单集群管理界面

  • 步骤 2:左侧导航栏

    • 一级导航:Cluster;二级导航:Overview、Load Rebalance
    • 一级导航:Broker;二级导航:Overview、Brokers、Controller
    • 一级导航:Topic;二级导航:Overview、Topics
    • 一级导航:Consumer
    • 一级导航:Testing;二级导航:Produce、Consume
    • 一级导航:Security;二级导航:ACLs、Users
    • 一级导航:Job

text

5.4.4.2、查看 Cluster 概览信息

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Overview”

  • 步骤 2:cluster 概览信息包括以下内容

    • 集群健康分,健康检查通过项
    • Cluster 信息:包含名称、版本、均衡状态
    • Broker 信息:Broker 总数、controller 信息、similar config 信息
    • Topic 信息:Topic 总数、No Leader、<Min ISR、URP
    • Consumer Group 信息:Consumer Group 总数、是否存在 Dead 情况
    • 指标图表
    • 历史变更记录:名称、时间、内容、类型

text

5.4.4.3、设置 Cluster 健康检查规则

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Overview”>“集群健康状态旁边 icon”>“健康度设置抽屉”

  • 步骤 2:健康度设置抽屉展示出了检查项和其对应的权重,可以修改检查项的检查规则

  • 步骤 3:检查规则可配置,分别为

    • Cluster:集群 controller 数不等于 1(数字不可配置)不通过
    • Broker:RequestQueueSize 大于等于 10(默认为 10,可配置数字)不通过
    • Broker:NetworkProcessorAvgIdlePercent 的 Idle 小于等于 0.8%(默认为 0.8%,可配置数字)不通过
    • Topic:无 leader 的 Topic 数量,大于等于 1(默认为 1,数字可配置)不通过
    • Topic:Topic 在 10(默认为 10,数字可配置)个周期内 8(默认为 8,数字可配置)个周期内处于未同步的状态
    • ConsumerGroup:Group 在 10(默认为 10,数字可配置)个周期内进行 8(默认为 8,数字可配置)次 re-balance 不通过
  • 步骤 4:设置完成后,点击“确认”,健康检查规则设置成功

text

5.4.4.4、查看 Cluster 健康检查详情

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Overview”>“集群健康状态旁边【查看详情】”>“健康检查详情抽屉”

  • 步骤 2:健康检查详情抽屉展示信息为:“检查模块”、“检查项”、“权重”、“得分”、“检查时间”、“检查结果是否通过”,若未通过会展示未通过的对象

text

5.4.4.5、编辑 Cluster 信息

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Overview”>“Cluster 名称旁边编辑 icon”>“编辑集群抽屉”

  • 步骤 2:可编辑的信息包括“集群名称”、“Bootstrap Servers”、“Zookeeper”、“JMX Port”、“Maxconn(最大连接数)”、“Security(认证措施)”、“Version(版本号)”、“集群配置”、“集群描述”

  • 步骤 3:点击“确定”,成功编辑集群信息

text

5.4.4.6、图表指标筛选

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Overview”>“指标筛选 icon”>“指标筛选抽屉”

  • 步骤 2:指标筛选抽屉展示信息为以下几类“Health”、“Cluster”、“Broker”、“Consumer”、“Security”、“Job”

  • 步骤 3:默认勾选比较重要的指标进行展示。根据需要选中/取消选中相应指标,点击”确认“,指标筛选成功,展示的图表随之变化

text

5.4.4.7、图表时间筛选

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Overview”>“时间选择下拉框”>“时间选择弹窗”

  • 步骤 2:选择时间“最近 15 分钟”、“最近 1 小时”、“最近 6 小时”、“最近 12 小时”、“最近 1 天”,也可以自定义时间段范围

text

5.4.4.8、查看集群历史变更记录

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Overview”>“历史变更记录”区域

  • 步骤 2:历史变更记录区域展示了历史的配置变更,每条记录可展开收起。包含“配置对象”、“变更时间”、“变更内容”、“配置类型”

text

5.4.5、Load Rebalance(企业版)

5.4.5.1、查看 Load Rebalance 概览信息

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Load Rebalance”

  • 步骤 2:Load Rebalance 概览信息包含“均衡状态卡片”、“Disk 信息卡片”、“BytesIn 信息卡片”、“BytesOut 信息卡片”、“Broker 均衡状态列表”

text

5.4.5.2、设置集群规格

提供对集群的每个节点的 Disk、BytesIn、BytesOut 的规格进行设置的功能

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Load Rebalance”>“State 卡片 icon“>”设置集群规格抽屉“

  • 步骤 2:穿梭框左侧展示集群中的待选节点,穿梭框右侧展示已经选中的节点,选择自己所需设置规格的节点

  • 步骤 3:设置“单机核数”、“单机磁盘”、“单机网络”,点击确定,完成设置

text

5.4.5.3、均衡状态列表筛选

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Load Rebalance”>“筛选列表”按钮>筛选弹窗

  • 步骤 2:可选择“Disk”、“BytesIn”、“BytesOut”三种维度,其各自对应“已均衡”、“未均衡”两种状态,可以组合进行筛选

  • 步骤 3:点击“确认”,执行筛选操作

text

5.4.5.4、立即均衡

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Load Rebalance”>“立即均衡”按钮>“立即均衡抽屉”

  • 步骤 2:配置均衡策略

    • 指标计算周期:默认近 10mins,可选择
    • 均衡维度:默认 Disk、BytesIn、BytesOut,可选择
    • 均衡区间:在表格内自定义配置均衡区间范围(单位:%,大于 0,小于 100)
    • Topic 黑名单:选择 topic 黑名单。通过穿梭框(支持模糊选择)选出目标 topic(本次均衡,略过已选的 topic)
  • 步骤 3:配置运行参数

    • 吞吐量优先:并行度 0(无限制), 策略是优先执行大小最大副本
    • 稳定性优先: 并行度 1 ,策略是优先执行大小最小副本
    • 自定义:可以自由设置并行度和优先执行的副本策略
    • 限流值:流量最大值,0-99999 自定义
  • 步骤 4:点击“预览计划”按钮,打开执行计划弹窗。可以看到计划概览信息、计划明细信息

  • 步骤 5:点击“预览计划弹窗”的“执行文件”,可以下载 json 格式的执行文件

  • 步骤 6:点击“预览计划弹窗”的“立即均衡”按钮,开始执行均衡任务

text

5.4.5.5、周期均衡

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Load Rebalance”>“周期均衡”按钮>“周期均衡抽屉”

  • 步骤 2:配置均衡策略

    • 指标计算周期:默认近 10mins,可选择
    • 均衡维度:默认 Disk、BytesIn、BytesOut,可选择
    • 均衡区间:在表格内自定义配置均衡区间范围(单位:%,大于 0,小于 100)
    • Topic 黑名单:选择 topic 黑名单。通过穿梭框(支持模糊选择)选出目标 topic(本次均衡,略过已选的 topic)
  • 步骤 3:配置运行参数

    • 任务并行度:每个节点同时迁移的副本数量
    • 任务周期:时间选择器,自定义选择运行周期
    • 稳定性优先: 并行度 1 ,策略是优先执行大小最小副本
    • 自定义:可以自由设置并行度和优先执行的副本策略
    • 限流值:流量最大值,0-99999 自定义
  • 步骤 4:点击“预览计划”按钮,打开执行计划弹窗。可以看到计划概览信息、计划明细信息

  • 步骤 5:点击“预览计划弹窗”的“执行文件”,可以下载 json 格式的执行文件

  • 步骤 6:点击“预览计划弹窗”的“立即均衡”按钮,开始执行均衡任务

text

5.4.6、Broker

5.4.6.1、查看 Broker 概览信息

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Broker”>“Overview”

  • 步骤 2:Broker 概览信息包括以下内容

    • 集群健康分,健康检查通过项
    • Broker 信息:包含名称、版本、均衡状态
    • Broker 信息:Broker 总数、controller 信息、similar config 信息
    • Topic 信息:Topic 总数、No Leader、<Min ISR、URP
    • Consumer Group 信息:Consumer Group 总数、是否存在 Dead 情况
    • 指标图表
    • 历史变更记录:名称、时间、内容、类型

text

5.4.6.2、编辑 Broker 配置

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Brokers”>“Broker ID”>“Configuration”TAB>“编辑”按钮

  • 步骤 2:输入配置项的新配置内容

  • 步骤 3:(选填)点击“应用于全部 Broker”,将此配置项的修改应用于全部的 Broker

  • 步骤 4:点击“确认”,Broker 配置修改成功

text

5.4.6.3、查看 Broker DataLogs

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Brokers”>“Broker ID”>“Data Logs”TAB>“编辑”按钮

  • 步骤 2:Broker DataLogs 列表展示的信息为“Folder”、“topic”、“Partition”、“Offset Lag”、“Size”

  • 步骤 3:输入框输入”Topic Name“可以筛选结果

text

5.4.6.4、查看 Controller 列表

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Broker”>“Controller”

  • 步骤 2:Controller 列表展示的信息为“Change Time”、“Broker ID”、“Broker Host”

  • 步骤 3:输入框输入“Broker Host“可以筛选结果

  • 步骤 4:点击 Broker ID 可以打开 Broker 详情,进行修改配置或者查看 DataLogs

text

5.4.7、Topic

5.4.7.1、查看 Topic 概览信息

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Overview”

  • 步骤 2:Topic 概览信息包括以下内容

    • 集群健康分,健康检查通过项
    • Topics:Topic 总数
    • Partitions:Partition 总数
    • PartitionNoLeader:没有 leader 的 partition 个数
    • < Min ISR:同步副本数小于 Min ISR
    • =Min ISR:同步副本数等于 Min ISR
    • Topic 指标图表

text

5.4.7.2、查看 Topic 健康检查详情

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Overview”>“集群健康状态旁边【查看详情】”>“健康检查详情抽屉”

  • 步骤 2:健康检查详情抽屉展示信息为:“检查项”、“权重”、“得分”、“检查时间”、“检查结果是否通过”,若未通过会展示未通过的对象

text

5.4.7.3、查看 Topic 列表

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”

  • 步骤 2:Topic 列表展示内容为“TopicName”、“Partitions”、“Replications”、“健康分”、“BytesIn”、“BytesOut”、“MessageSize”、“保存时间”、“描述”、操作项”扩分区“、操作项”删除“

  • 步骤 3:筛选框输入“TopicName”可以对列表进行筛选;点击“展示系统 Topic”开关,可以筛选系统 topic

text

5.4.7.4、新增 Topic

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”>“新增 Topic”按钮>“创建 Topic“抽屉

  • 步骤 2:输入“Topic 名称(不能重复)”、“Topic 描述”、“分区数”、“副本数”、“数据保存时间”、“清理策略(删除或压缩)”

  • 步骤 3:展开“更多配置”可以打开高级配置选项,根据自己需要输入相应配置参数

  • 步骤 4:点击“确定”,创建 Topic 完成

text

5.4.7.5、Topic 扩分区

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”>“Topic 列表“>操作项”扩分区“>“扩分区”抽屉

  • 步骤 2:扩分区抽屉展示内容为“流量的趋势图”、“当前分区数及支持的最低消息写入速率”、“扩分区后支持的最低消息写入速率”

  • 步骤 3:输入所需的分区总数,自动计算出扩分区后支持的最低消息写入速率

  • 步骤 4:点击确定,扩分区完成

text

5.4.7.6、删除 Topic

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”>“Topic 列表“>操作项”删除“>“删除 Topic”弹窗

  • 步骤 2:输入“TopicName”进行二次确认

  • 步骤 3:点击“删除”,删除 Topic 完成

text

5.4.7.7、Topic 批量扩缩副本

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”>“批量操作下拉“>“批量扩缩副本“>“批量扩缩容”抽屉

  • 步骤 2:选择所需要进行扩缩容的 Topic,可多选,所选择的 Topic 出现在下方 Topic 列表中

  • 步骤 3:Topic 列表展示 Topic“近三天平均流量”、“近三天峰值流量及时间”、“Partition 数”、”当前副本数“、“新副本数”

  • 步骤 4:扩容时,选择目标节点,新增的副本会在选择的目标节点上;缩容时不需要选择目标节点,自动删除最后一个(或几个)副本

  • 步骤 5:输入迁移任务配置参数,包含限流值和任务执行时间

  • 步骤 6:输入任务描述

  • 步骤 7:点击“确定”,执行 Topic 扩缩容任务

text

5.4.7.8、Topic 批量迁移

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”>“批量操作下拉“>“批量迁移“>“批量迁移”抽屉

  • 步骤 2:选择所需要进行迁移的 Topic,可多选,所选择的 Topic 出现在下方 Topic 列表中

  • 步骤 3:选择所需要迁移的 partition 和迁移数据的时间范围

  • 步骤 4:选择目标节点(节点数必须不小于最大副本数)

  • 步骤 5:点击“预览任务计划”,打开“任务计划”二次抽屉,可对每个 partition 的目标 Broker ID 进行编辑,目标 broker 应该等于副本数

  • 步骤 6:输入迁移任务配置参数,包含限流值和任务执行时间

  • 步骤 7:输入任务描述

  • 步骤 8:点击“确定”,执行 Topic 迁移任务

text

5.4.8、Consumer

5.4.8.1、Consumer Overview

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Consumer”

  • 步骤 2:Consumer 概览信息包括以下内容

    • 集群健康分,健康检查通过项
    • Groups:Consumer Group 总数
    • GroupsActives:活跃的 Group 总数
    • GroupsEmptys:Empty 的 Group 总数
    • GroupRebalance:进行 Rebalance 的 Group 总数
    • GroupDeads:Dead 的 Group 总数
    • Consumer Group 列表
  • 步骤 3:输入“Consumer Group”、“Topic Name‘,可对列表进行筛选

  • 步骤 4:点击列表“Consumer Group”名称,可以查看 Comsuer Group 详情

text

5.4.8.2、查看 Consumer 列表

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Consumer”>“Consumer Group”名称>“Consumer Group 详情”抽屉

  • 步骤 2:Consumer Group 详情有列表视图和图表视图

  • 步骤 3:列表视图展示信息为 Consumer 列表,包含”Topic Partition“、”Member ID“、”Current Offset“、“Log End Offset”、”Lag“、”Host“、”Client ID“

text

5.4.8.3、重置 Offset

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Consumer”>“Consumer Group”名称>“Consumer Group 详情”抽屉>“重置 Offset”按钮>“重置 Offset”抽屉

  • 步骤 2:选择重置 Offset 的类型,可“重置到指定时间”或“重置分区”

  • 步骤 3:重置到指定时间,可选择“最新 Offset”或“自定义时间”

  • 步骤 4:重置分区,可选择 partition 和其重置的 offset

  • 步骤 5:点击“确认”,重置 Offset 开始执行

text

5.4.9、Testing(企业版)

5.4.9.1、生产测试

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Testing”>“Produce”

  • 步骤 2:生产配置

    • Data:选择数据写入的 topic,输入写入数据的 key(暂只支持 string 格式),输入写入数据的 value(暂只支持 string 格式)。其中 key 和 value 可以随机生成
    • Flow:输入单次发送的消息数量,默认为 1,可以手动修改。选择手动生产模式,代表每次点击按钮【Run】执行生产;选择周期生产模式,需要填写运行总时间和运行时间间隔。
    • Header:输入 Header 的 key,value
    • Options:选择 Froce Partition,代表消息仅发送到这些选择的 Partition。选择数据压缩格式。选择 Acks 参数,none 意思是消息发送了就认为发送成功;leader 意思是 leader 接收到消息(不管 follower 有没有同步成功)认为消息发送成功;all 意思是所有的 follower 消息同步成功认为是消息发送成功
  • 步骤 3:点击按钮【Run】,生产测试开始,可以从右侧看到生产测试的信息

text

5.4.9.2、消费测试

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Testing”>“Consume”

  • 步骤 2:消费配置

    • Topic:选择数据从哪个 topic 进行消费
    • Start From:选择数据从什么地方开始消费,可以根据时间选择或者根据 Offset 进行选择
    • Until:选择消费截止到什么地方,可以根据时间或者 offset 或者消息数等进行选择
    • Filter:选择过滤器的规则。包含/不包含某【key,value】;等于/大于/小于多少条消息
  • 步骤 3:点击按钮【Run】,消费测试开始,可以在右边看到消费的明细信息

text

5.4.10、Security

注意:只有在开启集群认证的情况下才能够使用 Security 功能

5.4.10.1、查看 ACL 概览信息

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Security”>“ACLs”

  • 步骤 2:ACL 概览信息包括以下内容

    • Enable:是否可用
    • ACLs:ACL 总数
    • Users:User 总数
    • Topics:Topic 总数
    • Consumer Groups:Consumer Group 总数
    • ACL 列表

text

5.4.10.2、新增 ACl

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Security”>“Users”>“新增 ACL”

  • 步骤 2:输入 ACL 配置参数

    • ACL 用途:生产权限、消费权限、自定义权限
    • 生产权限时:可选择应用于所有 Kafka User 或者特定 Kafka User;可选择应用于所有 Topic 或者特定 Topic
    • 消费权限时:可选择应用于所有 Kafka User 或者特定 Kafka User;可选择应用于所有 Topic 或者特定 Topic;可选择应用于所有 Consumer Group 或者特定 Consumer Group
  • 步骤 3:点击“确定”,新增 ACL 成功

text

5.4.10.3、查看 User 信息

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Security”>“ACLs”

  • 步骤 2:User 列表展示内容包括“Kafka User 名称”、“认证方式”、“passwprd”、操作项”修改密码“、”操作项“删除”

  • 步骤 3:筛选框输入“Kafka User”可筛选出列表中相关 Kafka User

text

5.4.10.4、新增 Kafka User

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Security”>“Users”>“新增 Kafka User”

  • 步骤 2:输入 Kafka User 名称、认证方式、密码

  • 步骤 3:点击“确定”,新增 Kafka User 成功

text

5.4.11、Job

5.4.11.1、查看 Job 概览信息

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Job“

  • 步骤 2:Job 概览信息包括以下内容

    • Jobs:Job 总数
    • Doing:正在运行的 Job 总数
    • Prepare:准备运行的 Job 总数
    • Success:运行成功的 Job 总数
    • Fail:运行失败的 Job 总数
    • Job 列表

text

5.4.11.2、Job 查看进度

Doing 状态下的任务可以查看进度

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Job”>“Job”列表>操作项“查看进度”>“查看进度”抽屉

  • 步骤 2:

    • 均衡任务:任务基本信息、均衡计划、任务执行明细信息
    • 扩缩副本:任务基本信息、任务执行明细信息、节点流量情况
    • Topic 迁移:任务基本信息、任务执行明细信息、节点流量情况

text

5.4.11.3、Job 编辑任务

Prepare 状态下的任务可以进行编辑

  • 点击“多集群管理”>“集群卡片”>“Job”>“Job”列表>操作项“编辑”

  • 对任务执行的参数进行重新配置

    • 集群均衡:可以对指标计算周期、均衡维度、topic 黑名单、运行配置等参数重新设置
    • Topic 迁移:可以对 topic 需要迁移的 partition、迁移数据的时间范围、目标 broker 节点、限流值、执行时间、描述等参数重新配置
    • topic 扩缩副本:可以对最终副本数、限流值、任务执行时间、描述等参数重新配置
  • 点击“确定”,编辑任务成功

text