Skip to content

Releases: sohutv/mqcloud

MQCloud RELEASE 5.1.1

17 Jun 03:41
Compare
Choose a tag to compare

一、新功能和优化:

  1. 演示模式新增构建好的docker镜像,直接运行:

    docker run -p 18080:8080 -p 1022:22 -t -i registry.cn-hangzhou.aliyuncs.com/sohutv_mqcloud/mqcloud:5.1.1 /bin/bash
    
  2. 支持Broker备代理主模式。

  3. 支持消费者在线按照实例级别暂停、恢复消费或者下线/恢复。

  4. 支持全局顺序Topic。

    1. 支持新建顺序Topic时写入NameServer 顺序Topic路由。
    2. 支持NameServer启动时,顺序Topic不存在,从MQCloud拉取。
    3. 支持新部署NameServer时配置顺序Topic。
  5. 启停Broker增加load和等待,保障成功。

  6. 支持接入Flink

  7. 支持生产者启动时提前建连,防止消息首发失败。

  8. 支持Python以HTTP协议接入。

  9. Broker部署:一个Master支持部署多个Slave,增加BrokerId作为后缀。

  10. SpringBoot升级至2.6.15。

  11. H2升级至2.2.220,DDL语句自动执行。

  12. 依赖cve升级修复,包括但不限于logback、jackson、guava、netty等。

  13. 消费者防止重复启动。

  14. 所有工单申请成功后跳转至我的工单页面。

  15. MQClient启动拉取配置信息不再无限重试,支持客户端配置。

  16. 支持忽略生产失败异常预警。

  17. 消费限速强制开启。

  18. 非MQCloud客户端禁止某些功能,包括但不限于线程诊断、异常诊断、精准消费等。

  19. Slave展示延迟队列数据。

  20. 新集群初始化Topic&Consumer时,支持选择Broker。

  21. 增加HTTP-MQ消费问题一键定位Broker限流等技术文章。

  22. 支持集群容量日报。

  23. 支持服务器部署组件所在的挂载容量。

  24. 支持按照前1,2,3,5,7天生产大小查询Topic。

  25. 新建集群初始化消费者兼容消费者离线的情况。

  26. 消费在线暂停日志优化。

二、重要bug修复:

  1. 修复定时消息发送丢失问题。
  2. 修复定时消息发送时选择故障节点问题。
  3. 修复新建生产者重复问题。
  4. 修复死信消息查询异常问题。
  5. 修复freemarker BeansWrapper.incompatibleImprovements警告。
  6. 修复消费者非法数据无限重试保存问题。
  7. 修复logback.xml下载失败问题。
  8. 修复消息导出路径失效问题。
  9. 修复MQProxy无Server时NPE问题。
  10. 修复Broker关闭超时问题。
  11. 修复删除用户导致Topic拓扑页面空白问题。
  12. 修复Broker停写状态更新错误问题。
  13. 修复消费页面加载过慢导致空指针问题。
  14. 修复登录后未重定向到原链接的问题。
  15. 修复部署挂载容量获取为空的问题。
  16. 修复freemarker由于SpringBoot类加载器变更导致的偶发加载失败问题。
  17. 修复消息追踪无数据时空白页面问题。

三、升级说明:

  1. 5.1.1版本用户直接参考快速运行即可。
  2. 5.1.1之前的用户,请依次执行相应的sql文件,例如:
    5.1.0用户想要升级到5.1.1需要执行5.1.1.sql

MQCloud RELEASE 5.1.0

31 Oct 08:46
Compare
Choose a tag to compare

一、新功能和优化:

  1. MQCloud依赖的RocketMQ升级至5.x。

  2. Springboot升级至2.x。

  3. SSH客户端升级,支持open-ssh-8.7协议。

  4. 支持ubuntu22及以下版本部署。

  5. Nmon依赖升级,初始化优化。

  6. 通信协议支持proxy-remoting,proxy组件支持如下功能:

    1. 支持proxy-acl。
    2. 支持proxy负载均衡。
    3. 支持定时监控和消息轨迹
    4. 支持自动路由
    5. 支持消息重发
    6. 支持偏移量重置
    7. 支持精确消息消费
    8. 支持获取运行时消费信息
  7. UI全新升级,全面支持移动端,更加个性化:

    1. PC主页
    1. 移动端主页
  8. Broker配置增加时间轮阈值校验。

  9. 非MQCloud客户端禁用某些功能。

  10. RocketMQ某些API兼容4.9.x和5.x。

  11. RocketMQ日志使用方式修改。

  12. MQCloud后台通用配置支持json格式。

  13. 服务器预警指标增加默认值。

  14. RocketMQ各组件启停增加等待机制,保障启停成功。

  15. 消费者增加客户端状况指标。

  16. RocketMQ多实例使用唯一ClientID。

  17. Broker队列过多时,消息搜索过慢优化。

  18. 支持普通消息和死信消息导出:

    1. 支持异步导出
    2. 进度实时查看
    3. 支持重新导出
    4. 导出失败检测
  19. 客户端消费状况数据上报。

  20. MQCloud后台增加任务管理模块,执行机器展示IP。

  21. 消费堆积增加消费完成预估计算。

  22. 获取消费者运行时信息兼容C++客户端。

  23. Topic授权开放所有用户。

  24. MQCloud后台管理页面所有topic和消费者统一增加跳链,行为统一。

  25. 支持时间轮消息查询,生命周期追踪,手动取消和API取消,详细参见

  26. 监控任务支持动态执行,及时感知集群变化。

二、重要bug修复:

  1. 修复rocketmq指标未重置的bug。
  2. 修复死信消息在跳过重试无法重新消费bug。
  3. 修复服务器更新空指针异常。
  4. 修复图表提示框被遮挡的bug。
  5. 修复图表数据展示不完整的bug。
  6. 修复流量监控无数据错误提醒。
  7. 修复版本号解析异常。
  8. 修复空数据问题。
  9. 修复某些情况下shell执行失败的问题。
  10. 修复DeliverTimeMs反序列化空指针异常。
  11. 修复服务器配置项修改失败的问题。
  12. 修复延迟字段溢出问题。
  13. 修复slave的broker-id冲突的问题。

三、升级说明:

  1. 5.1.0版本用户直接参考快速运行即可。
  2. 5.1.0之前的用户,请依次执行相应的sql文件,例如:
    4.9.4用户想要升级到5.1.0需要执行5.1.0.sql

MQCloud RELEASE 4.9.4

08 Jun 07:22
Compare
Choose a tag to compare

一、新功能和优化:

  1. 支持RocketMQ 5.x部署和监控报警,包括Proxy、Controller、Broker内嵌Proxy模式,支持任意组件配置jvm内存等参数。

    一、新建Proxy。

    二、新建Controller。

    三、Broker内嵌Proxy。

    四、机器管理支持展示多种组件部署。

  2. 支持RocketMQ 5.x的定时消息(基于时间轮实现),客户端发送仍采用4.x客户端,不用升级即享受任意维度定时消息红利。

    一、定时消息查询。

    二、原始消息查询。

    三、定时消息追踪。

    四、定时消息追踪(开启追踪功能)。

    四、定时消息指标。

  3. 主题管理支持多维度排序、筛选等。

  4. 请求码冲突兼容。

  5. 新建生产者及批量关联支持协议选择。

  6. 消息搜索模块增加消息大小展示。

  7. 消费监控数据分页展示,防止数据太多卡死页面。

  8. 消费客户端异常时优先打印offsetMsgId。

  9. 支持业务端自己设置消费类型。

  10. 支持topic路由动态修改,支持topic在线跨集群迁移。

  11. 消息查询时间范围采用broker存储数据时间。

  12. broker支持添加多个slave。

  13. 漏洞CVE-2023-33246修复,增加UPDATE_BROKER_CONFIG鉴权。

  14. 消费者TPS、消费量格式化展示

  15. 消费者删除时校验链接

  16. 异常栈折叠显示优化。

  17. Topic各种申请操作体验优化。

  18. 消费落后预警优化:消息量过少不预警。

  19. 停写后的broker支持在线恢复。

  20. 客户端生产消费支持多区域亲和。

  21. 暂停消费时支持下线实例,进行队列重新分配。

二、重要bug修复:

  1. 下线后的broker状态错误问题修复
  2. 修复重启broker按钮id获取错误问题。
  3. 修复消费者删除后导致页面空白的问题。
  4. 修复版本比较bug。
  5. 主题管理修复topic查询不准问题。
  6. 主题管理修复空串问题。
  7. 主题管理修复人员查询不准问题。
  8. 修复因为nmon仓库失效导致docker image构建失败。
  9. 机器页面ip无法定位bug修复。
  10. 重发消息审核无法拒绝bug修复

三、升级说明:

  1. 4.9.4版本用户直接参考快速运行即可。
  2. 4.9.4之前的用户,请依次执行相应的sql文件,例如:
    4.9.3用户想要升级到4.9.4需要执行4.9.4.sql

MQCloud RELEASE 4.9.3

27 Oct 02:54
Compare
Choose a tag to compare

一、新功能和优化:

  1. 新项目发布MQ-Proxy,支持HTTP协议生产和消费,彻底解决非java语言客户端接入问题。

  2. 依赖的RocketMQ升级至4.9.3-sohu,支持如下特性:

    1. broker支持topic级别限流,防止个别topic流量过大影响集群的整体稳定性。

    2. 客户端不再显式依赖fastjson,采用shade模式打包到内部使用。

    3. 部署时支持内存配置,便于一机部署多个broker或在docker部署。

    4. netty支持socks代理配置。

  3. MQCloud依赖的fastjson升级为jackson,并采用shade打包,内部使用,不污染业务端。

  4. 从节点宕机后不检测落后情况,防止误报。

  5. 增加客户端语言及版本管理功能:

  6. 顺序消息消费增加客户端统计。

  7. jdbc连接串增加useSSL=false。

  8. actuator默认开启安全机制。

  9. 部分依赖版本升级。

二、重要bug修复:

  1. topic详情页客户端连接信息修复
  2. fix收集统计时间戳未更新的bug。
  3. 部分UI展示问题修复。

三、升级说明:

  1. 4.9.3版本用户直接参考快速运行即可。
  2. 4.9.3之前的用户,请依次执行相应的sql文件,例如:
    4.9.2用户想要升级到4.9.3需要执行4.9.3.sql

4.9.2.RELEASE

25 Apr 10:37
Compare
Choose a tag to compare

一、新功能和优化:

  1. topic支持足迹和收藏
    image

  2. 支持主题管理消费管理
    image

  3. broker支持topic限速
    image

  4. 支持采用搜狐版本RocketMQ,默认支持死消息,同步落后,存储性能统计。
    image

  5. 服务器指标过多优化,并增加部署展示。
    image

  6. 消费者删除增加多用户关联校验和存活链接校验

  7. 消费者提示增加clientId,单机多部署时便于识别
    image

  8. 运行监控支持c++客户端

  9. 支持按照时间段精准回放流量
    image

  10. 不再使用github作为maven仓库

  11. 修改topic流量预警增加权限校验

  12. 按时间搜索消息区分重试和正常topic

  13. 审核列表增加分页

  14. 死消息任务降低执行阈值

  15. 支持管理员切换角色

  16. 优化用户体验:操作,通知,消息等
    image
    image

image

  1. 支持用户分组
    image

  2. 支持h2database,使用方式详见本地模式

  3. 审核支持分页&优化

  4. 规范UserWarnCount路径

  5. 增加php接入wiki,详见用户指南

  6. 优化定时采集任务执行策略

  7. 增加一体化docker支持

二、重要bug修复:

  1. 重试队列搜索无数据时分页不更新bug修复
  2. {Error when measuring disk space usage,file doesn't exist on this path} 报警修复
  3. fix c++等客户端没有用户组属性时空指针异常问题修复
  4. 修复集群拓扑中name重复造成显示异常问题

三、升级说明:

  1. 4.9.2版本用户直接参考快速运行即可。
  2. 4.9.2之前的用户,请依次执行相应的sql文件,例如:
    4.9.1用户想要升级到4.9.2需要执行4.9.2.sql

MQCloud RELEASE 4.9.1

12 Nov 06:41
Compare
Choose a tag to compare

一、新功能和优化:

  1. 支持RocketMQ4.9.1
  2. 生产消息支持异步重试
    image
  3. 支持幂等消费
    实现原理参见
  4. 重试消息跳过时支持指定key,即具有某个key的重试消息都跳过
    image
  5. 支持用户告警记录功能
    image
  6. 同时支持freemarker和json后缀视图,便于将MQCloud数据暴露给外部系统
  7. 邮件发送支持ssl
  8. 预警支持模板配置
  9. 网络统计支持ens网卡
  10. 消费异常堆栈实时查看转义html
  11. 安全关闭优化
  12. 支持手机预警
  13. 部分代码重构
  14. 部分wiki完善

二、重要bug修复:

  1. fix修改用户依然缓存的问题
  2. 生产异常呼吸点修复

三、升级说明:

  1. 4.9.1用户直接参考快速运行即可。
  2. 4.9.1之前的用户,请依次执行相应的sql文件,例如:
    4.7.1用户想要升级到4.9.1需要执行4.7.2.sql4.9.1.sql

感谢社区同学 @AochongZhang 的PR。

MQCloud RELEASE 4.7.2

10 Jun 08:56
Compare
Choose a tag to compare

一、新功能和优化:

  1. broker支持部署到不同的目录
    image
  2. 支持消费失败异常栈实时查看
  3. 支持消费堆积线程堆栈实时查看
  4. 批量消费支持限速
  5. 消费失败预警邮件支持一键定位消息列表
    image
  6. 消息查询增加trace定位
    image
  7. 重试消息增加trace定位
  8. 消息查询根据是否开启trace展示不同的特性
  9. 消费失败缩短检测时间
  10. ajax请求捕获网络异常并提示
  11. 可操作性UI统一展示

二、重要bug修复:

  1. 批量消费类型检测bug空指针修复
  2. fix freemarker语法错误(#19 )
  3. fix广播模式重复检测的bug(#14 )

三、升级说明:

  1. 4.7.2用户直接参考快速运行即可。
  2. 4.7.2之前的用户,请依次执行相应的sql文件,例如:
    4.6.5用户想要升级到4.7.2需要执行4.6.6.sql4.7.1.sql4.7.2.sql

感谢社区同学 @ziyunmuxu @jackytsu 反馈的问题。

MQCloud RELEASE 4.7.1

08 Apr 07:31
Compare
Choose a tag to compare

新功能和优化:

  1. 支持rocketmq 4.7.1。

  2. broker数据统计支持addr(一台机器可以部署多个broker)。

  3. 支持broker存储数据远程迁移,校验

  4. 客户端启动抓取配置报错日志完善。

  5. 增加生产消费micrometer统计。

    # HELP rocketmq_total_time  
    # TYPE rocketmq_total_time gauge
    rocketmq_total_time{group="api-ugc-cacheclean-consumer",role="consumer",} 344.0
    rocketmq_total_time{group="api-flush-cache-consumer",role="consumer",} 0.0
    rocketmq_total_time{group="core-missed-id-topic-producer",role="producer",} 0.0
    rocketmq_total_time{group="api-web-consumer",role="consumer",} 286.0
    
    # HELP rocketmq_excption_count  
    # TYPE rocketmq_excption_count gauge
    rocketmq_excption_count{group="api-ugc-cacheclean-consumer",role="consumer",} 0.0
    rocketmq_excption_count{group="api-flush-cache-consumer",role="consumer",} 0.0
    rocketmq_excption_count{group="core-missed-id-topic-producer",role="producer",} 0.0
    rocketmq_excption_count{group="api-web-consumer",role="consumer",} 0.0
    
    # HELP rocketmq_total_count  
    # TYPE rocketmq_total_count gauge
    rocketmq_total_count{group="api-ugc-cacheclean-consumer",role="consumer",} 1772.0
    rocketmq_total_count{group="api-flush-cache-consumer",role="consumer",} 0.0
    rocketmq_total_count{group="core-missed-id-topic-producer",role="producer",} 11.0
    rocketmq_total_count{group="api-web-consumer",role="consumer",} 1793.0
    
    # HELP rocketmq_max_time  
    # TYPE rocketmq_max_time gauge
    rocketmq_max_time{group="api-ugc-cacheclean-consumer",role="consumer",} 3.0
    rocketmq_max_time{group="api-flush-cache-consumer",role="consumer",} 0.0
    rocketmq_max_time{group="core-missed-id-topic-producer",role="producer",} 0.0
    rocketmq_max_time{group="api-web-consumer",role="consumer",} 1.0
    

    对应的mbean监控数据如下:

  6. 支持broker主从同步数据监控预警。

    集群同步展示:

  7. 服务器链接支持链接池。

  8. 消费失败的消息,邮件提醒支持一键跳过。

  9. 审核列表支持分页展示。

  10. topic名等支持点击复制。

  11. bootstrap升级为3.4.1。

  12. 增加纯go客户端接入wiki。

  13. 增加广播模式重置偏移量wiki

重要bug修复:

  1. fix统计获取生产者组为空的bug。
  2. fix收集任务异常终止的bug。
  3. fix广播消费者重复监控的bug(#14)。
  4. fix本地更新broker的bug。
  5. fix趋势图时间展示不全的bug。
  6. fix消费者创建失败导致数据不完全的bug。
  7. fix broker监控未按时执行的bug。
  8. fix趋势图单位显示bug。
  9. fix消息过长撑爆td的bug。
  10. fix broke安装路径为空的bug(#13)。

升级说明:

  1. 4.7.1用户直接参考快速运行即可。
  2. 4.7.1之前的用户,请依次执行相应的sql文件,例如:
    4.6.5用户想要升级到4.7.1需要执行4.6.6.sql4.7.1.sql

感谢社区同学反馈的建议、问题及PR。@jackytsu @ziyunmuxu 等。

MQCloud RELEASE 4.6.5

11 Nov 06:53
Compare
Choose a tag to compare

新功能和优化:

  1. 生产流量支持预警功能
    traffic

  2. broker关闭后支持启动和升级
    startAndUpdate

  3. 增加管理员指南wiki
    adminWiki

  4. 申请单支持撤销。

  5. 审核状态正确提醒。

  6. 限速器支持漏桶和令牌桶,默认采用令牌桶,支持动态修改限速。

  7. 客户端支持消息序列化类型动态切换
    image

  8. 控制消费者关闭组件的顺序和状态,保障安全关闭。

  9. 消息支持从slave查询,减轻master压力。

  10. 消息反序列化自定义class支持远程动态更新

  11. 多生产者区分流量来源。

  12. 兼容go客户端获取消费者状态。

  13. 支持广播模式支持消息重发。

  14. 支持广播模式消费者堆积预警。

  15. 新建消费者增加限速选项。

  16. 客户端连接增加语言字段。

  17. 消费者列表,消费者流量图,topic拓扑支持分页。

  18. 消费者流量图支持消费者筛选。

重要bug修复:

  1. 重发消息不自动审核修复。
  2. 重试topic跳链错误修复。
  3. 流量图时间展示不全修复。
  4. 限速逻辑bug修复。

升级说明:

  1. 4.6.5用户直接参考快速运行即可。
  2. 4.6.5之前的用户,请依次执行相应的sql文件,例如:
    4.6.4用户想要升级到4.6.5只需要执行4.6.5.sql
    1.9.4用户想要升级到4.6.5需要执行4.6.2.sql4.6.4.sql4.6.5.sql

MQCloud RELEASE 4.6.4

01 Jul 02:12
Compare
Choose a tag to compare

新功能和优化:

  1. 消费者支持在线暂停和限流功能。
    image

  2. 增加broker配置模板概念:
    2.1 支持broker在线动态修改配置。
    2.2 支持部署broker参数灵活配置。
    2.3 支持新部署broker采用集群配置模板。

  3. 客户端资源安全关闭。

  4. 重试消息跳过功能重构。

  5. 服务器公钥登录支持降级为用户密码登录。

  6. 部分UI调整。

重要bug修复:

  1. 订阅错误丢失报警频率限制修复。
  2. 生产流量小于消费流量时,消费流量展示不全修复。
  3. 生产和消费者重名拓扑空白修复。

升级说明:

  1. 4.6.4用户直接参考快速运行即可。
  2. 4.6.4之前的用户,请依次执行相应的sql文件,例如:
    4.6.3用户想要升级到4.6.4只需要执行4.6.4.sql
    1.9.4用户想要升级到4.6.4需要执行4.6.2.sql4.6.4.sql