20230602 周会纪要 #1575

yaoyinnan · 2023-06-02T03:42:44Z

yaoyinnan
Jun 2, 2023

1 单机

P0 CI/CD
P0 数据同步
- rsync 去除，添加新的主从同步机制 rsync 进程去除，全量同步功能设计 #1228
  - 0506 新 issue 重构数据同步迁移系统，剥离rsync #1393
  - 0513 数据传输正确性，断点续传；
  - 0527 tanruoling 跟进
  - 0603 阻碍 raft 进展，需要在 6.24 前完成，
  - 0603 rsync 进程包协议和 pika 协议不兼容，如果能找到第三方协议兼容的 rsync 进程包的话也可以直接用
    - 第一个方案：找第三方 rsync 兼容的包，这是最快的方案。基于 rsync，由于 Pika 没有 e2e 测试，难易测试，简单测试的话可以模拟场景，需要有一个测试框架。
      - 需要调研 redis 等的 e2e 测试。
      - 单元测试需要有。
    - 第二个方案：pika 垃圾回收时把 rsync 进程清理掉，这个操作不可行。
    - 第三个方案：自己的网络库实现一套，一个月内较难替换。
- pika 实例硬盘容量满，清理数据后，pika仍然保持错误的状态，需要重启才能恢复 #1150 刘振：pika 实例硬盘容量满，清除数据后，pika仍然保持错误的状态，需要重启才能恢复，方案：在辅助线程里增加容量检查
  - TODO
- 3.3.3版pika哨兵模式下，一个节点挂掉后，无法重启该节点 #1001 3.3.3版pika哨兵模式下，一个节点挂掉后，无法重启该节点：没有有效回复
  - 0527 lyc 负责：开发中，待和 Pika 对接测试
  - 0603 codis sentinel 改完了，pika 一些命令还在适配，适配完主从就可以用了
P1 多平台支持
- 支持 windows：Port pika to windows platform #1437
  - 0506 kangjinci 同学 own ，已经初步提交一个 pr fix: refactor pstd_mutex #1440
  - 0513 主要目标是在保证 C++17，不要把 Pika 搞的很复杂
  - 0520 对代码侵入性大，暂时不继续推进windows支持
P1 性能调优
- 支持clang-tidy静态检查：build: support clang-tidy #1303 李浩
  - 0408 在 cmake 中加入编译时候的静态分析告警，henshui 负责
  - 0415 assign 给 cjg
  - 0429 cjg 继续推进
  - 0506 cjg 继续推进
  - 0513 李浩推进
  - 0518 李浩PR：feat: add clang-tidy for pika #1515
  - 0527 PR已经合并
- ttl 和 version 溢出：meta version conflict in heavy set/delete workload #1333
P2 RocksDB henshui
- 动态配置sst文件大小：动态配置sst文件大小 #1129 chuande
  - 0429 可参考 pr https://github.com/OpenAtomFoundation/pika/pull/1134/files
  - 0520 chuande own
  - 0527 chuande 跟进
  - 0603 https://github.com/OpenAtomFoundation/pika/pull/1574，
- P2 Pika on S3：[GitLink] Pika 在 AWS S3 上存储数据 #1438 henshui
  - 0408 henshui 说 Pika 可改成 share disk 架构 @Tangruilin ；henshui 觉得开发难度大，且用户切换的难度比较高；
  - 0506 ruiilin 提供指导，sacloudy 王若添 own
  - 0520 若添继续跟进
  - 0527 常远跟进，ruilin指导
  - 0603 常远编译了 rocksdb-cloud，缺少 AWS 账号，junhua 提供，拉群讨论
P2 Pika 兼容 Redis
- redis API: role：redis API: role #902
- Pipeline 功能改进：咨询问题pipeline #935 李浩
  - 0429 李浩负责验证推进
  - 0506 李浩继续跟进
  - 0520 提问者未回复，不再跟进
- blpop brpop 命令支持：redis API: support brpop, blpop #114 陈俊华
  - 0228 @Tangruilin
  - 0506 @cheniujh
  - 0520 俊华在写，继续推进
  - 0603 提了PR feat: support blpop/brpop #1548 还未完成
- pika支持MULTI和EXEC事务 Pika 支持 Redis 事务 #1446 李浩
  - 0429 李浩领走该 task
  - 0527 代码待测试
  - 0603 明天提一下初步 PR，CR一下再完善
- redis API: support commands_duration_seconds_total：redis API: support commands_duration_seconds_total #977 吴显荣
  - 0603 参考 todis 对命令耗时的监控，https://github.com/topling/todis
- zset range delete performence sucks：redis API: zset range delete performence sucks #1119 吴显荣
  - 0429 吴显荣 Mixficsol 领取该任务
  - 0506 有待继续推进
  - 0527 [跟进进度]
  - 0603 后续继续推进
- suport SYNC/PSYNC/PSYNC2 [GitLink] Pika 兼容 Redis 同步命令 #1070 （gitlink）
  - 0429 cjg
  - 0527
- hashtable field：set field ttl on Pika hashtable/zset field #1485 李浩
  - 0520 李浩还在做
  - 0603 暂时搁置，后面继续
- support lastsave redis API: support lastsave #1161 车金鸽
  - 0429 cjg
  - 0527 方案调研中
  - 0603 暂时搁置，看其他同学感兴趣可以领走
- pika 数据一致性校验：pika有数据一致性校验工具吗？ #1175
  - 用户：pika有数据一致性校验工具吗？尝试使用 redis-full-check工具好像不行。
  - 刘振：ok，要解决这个问题需要对pika的keyspace的返回格式进行修改了。
  - 0429 yuyu
  - 0527 待认领
- 支持 ACL，可参照 Redis 进行权限控制：Pika 支持 ACL 多租户功能 #1284 lqx（gitlink）
  - 0429 lqx
  - 0506 lqx 继续推进
  - 0520 lqx 参考redis实现
  - 0527 lqx 担任导师，指导其他同学跟进
- redis常见module支持：Pika 支持 Redis 常见 module #1220 赵昊（gitlink）
  - 0429 lqx
  - 0506 赵昊 ptbxzrt own
  - 0527 最近比较忙，和常远一起跟进（导师联系下）
    - 常远难点：不太熟悉C++，需要导师协助（李浩、瑞麟指导）
- admin能力支持，单机，基本的建表模型，观测/管理/配置修改：admin能力支持 #1221 lqx
  - 0429 lqx
  - 0520 lqx 原本部分已经支持了，先梳理一下需要支持的功能
  - 0603 继续梳理讨论需要支持的功能
- scan 命令不支持 type 参数：scan 命令不支持 type 参数 #1517 赵昊
  - 0603 赵昊跟进，fix issue #1517: scan 命令不支持 type 参数 #1582
- sub/pub 命令支持消费历史消息：pika sub/pub 命令支持消费历史消息 #1581
- redis兼容命令type：redis兼容命令type #1541 李浩
- rpushx 提示参数不对：rpushx 提示参数不对 #1521 李浩
- rpop 提示参数不对：rpop 提示参数不对 #1520 iSuperCoder
- ttl 命令返回值不对：ttl 命令返回值不对 #1519
- client kill 命令返回值不对：client kill 命令返回值不对 #1518
P2 依赖库

2 集群

codis 维护 maxin，yuecai
- codis: support hash range instead of slotnum #1294 在 codis 下支持 hash 而非 range
- codis : support etcd/local storage instead of zk #1295 codis 下支持 etcd
- pika: behind codis, pika should support raw command instead of redis command #1296 在 codis 架构下，proxy 解析一次 redis 协议，pika 再解析一次，属于重复工作。
- pika3.3.6单机主从架构多db如何做数据迁移到codis+pika分片版本 #1195 用户：pika3.3.6单机主从架构多db如何做数据迁移到codis+pika分片版本。我修改了codis和pika的默认slot，我5台物理机，将slot修改为了128，目前运行下来比较稳定，最开始使用1024个slot，性能很差，还经常timeout。
  - 0527 正在开发 Pika 的 classic+codis 的集群模式
  - 0603 开发完了，pika适配完命令做测试，https://github.com/pikiwidb/pika/pull/29 待CR和功能测试
- P0 删除Sharding jinge
  - 0520 jinge 整理文档，拆分issue，分出去做，加快推进
    - table partition去除，只剩下db和slot，有一些经典模式的命令需要重构
    - 李浩，baitao，冯智森，赖沐曦参与跟进
  - 0527 金鸽：暂时不删除table和partition，改为适配db和slot
  - 0603 已经删除了sharding 模式代码，已经合主库

3 可观测性

Info
- 完善info日志输出：完善日志输出--debug #1568
  - 0603 Pika 线上运行的时候，打印的日志太少了，不太好排查问题。比如主从同步。
Metrics
- 0401 目前重要的任务就是添加 RocksDB 的观测性指标
- 0408 baitao 继续基于 exporter 进行相关工作；baitao 老版本的 exporter 2.0 的指标在 exporter 3.0 中没有了，不保证支持
- pika观测性支持 #1218 一些的可观测性建议
- integrate pika_exporter into pika repo #1336 把 exporter 合入 pika repo
  - 0408 尚未合入
  - 0415 目前baitao还在doing 相关工作
  - 0429 liuyuecai & cjg 一块 review build: add pika_exporter to pika #1388 需要清楚观测了哪些指标
  - 0520 已合并，后面检查metrics全不全，yuecai 后续与 henshui、chuande 交流讨论，整理文档
  - 0527 胤楠梳理了 Pika 常见的 Metrics 指标，待讨论：Pika 需要哪些必要的 Metrics 指标？ #1549
- 0601 胤楠 feat: supplement RocksDB Metrics. #1560 增加 RocksDB 常用核心指标
- 增加 RocksDB Metrics API：pika_exporter: add RocksDB metric API #1565
  - 根据 chuande 的建议，提供一个 API，以供开发者获取指定 RocksDB 指标
- 增加 RocksDB Column Family Metrics（CFStats）：Add RocksDB column family metrics #1566
  - 目前未显示 CFStats Metrics，需要支持，但测试发现获取不到，还需要人跟进
Logging
Tracing
- P3 接入 OpenTelemetry hongfan

4 工具集

P3 基于 ldb 命令，做一个工具，分析 sst 文件 ruilin
P3 Pika-migrate 代码在 v3_2_7_migrate
- pika有数据一致性校验工具吗？ #1175 用户：pika有数据一致性校验工具吗？尝试使用 redis-full-check工具好像不行。刘振：ok，要解决这个问题需要对pika的keyspace的返回格式进行修改了。
- rocsksdb: support sst ingest file import #1292 把数据转换成 sst，然后导入 Pika。
codis 点对点数据迁移：codis: support migrate-tools #1302 baitao
- 0408 baitao 负责，在 codis 之上完成该任务
- 0506 baitao 看能否迁入 https://github.com/OpenAtomFoundation/pika/tree/unstable/pika-tools ，基于阿里的 redis-shake 魔改，相关系统已经放入 pika wiki
- 0520 内部 codis 版本好像是 Pika 3.2
  - 已合并PR，Add codis2pika to pika #1510 #1514
  - 只支持codis集群导入经典模式（redis to pika），后面继续支持原有sharding模式导入经典模式

5 云原生

P1 maxin贡献的主从 operator
- 0516 没有稳定的 docker 镜像，先搞一个 helm，helm 是标准，后续再继续推进
- 0603 有些 e2e 可以基于 operator 去做，比较方便
P1 docker maxin 、yinnan
- please update newest pika docker image in docker hub #1163 用户：the image in https://hub.docker.com/ is too old.
- 0527 等待下一个 Release 上传稳定版本的镜像

6 质量建设

P0 单测
- 单测刘振已经提交了 pr test: add redis test #1357 baitao，maxin，常顺宇
  - 0415 需要刘振继续验证
  - 0429 显荣推荐，可以借鉴 https://github.com/jianqingdu/kedis/tree/master/tests
  - 0506 老 pr 已经 merge，看怎么集成进 github action ci
  - 0520 baitao，常顺宇后面微调一下，让ut跑起来，add unit test start up script #1538
  - 0527 目前已经能跑单测，其他任务待跟进；待加上单测相关的 CI；
- pika: 差异化命令类型API 单元测试用例。增加针对 pika 独有的命令的ut：pika: 差异化命令类型API 单元测试用例 #1257
  - 0520 部分命令不完全对应，需要整理差异，wiki有几年前的一个列表供参考：https://github.com/OpenAtomFoundation/pika/wiki/pika-%E5%B7%AE%E5%BC%82%E5%8C%96%E5%91%BD%E4%BB%A4
  - 0603 baitao 提了PR fix unit test:type/set #1577 ，待CR，maxin CR 这个 PR 完列一个列表
  - 0603 hao 和 baitao、maxin 联系
P1 集成测试 yuecai ruilin
- 0520 yuecai 提单独仓库做 https://github.com/pikiwidb/pika/pull/1
- 0603 需要增加 e2e 测试框架，ruilin 跟进

7 社区

7.1 OSPP 开源之夏

Pika 实现 Raft 集群：[OSPP] Pika 实现 Raft 集群 #1444
- 赖沐曦，braft，先把brpc替换掉，已经写了部分申请书，后面继续跟ruilin沟通
  - 0603 提交了申请书
- 陆安璞，后面继续跟ruilin沟通
  - 0603 提交了申请书
  - ruilin 修改陆安璞的设计文档； laimuxi 已经给出设计文档
  - 于雨: 高优先级，可以 2~3 个同学参加
Pika 支持 Lua 脚本并引入 LuaJIT 解释器：[OSPP] Pika 支持 Lua 脚本并引入 LuaJIT 解释器 #1445
- 李超群，跟ruilin沟通过，先看一下 redis 2.0 支持实现方式（曾支持lua），看pika数据结构，需要提一个测试方案，下周之前交申请书初版
  - 不参加了
- 冯智森，redis使用的是原生的lua接口，tx 使用一些库在lua中调用pika的，通过库导出到lua层，需要做解析的客户端。Pika目前还不支持事务，后面配合支持
- 0520 冯智森给大家讲解lua相关分享
- 0527 超群、智森的设计文档已经给出，待导师审核；待处理问题：文档未提到C++如何适配C
- 0603 智森提交了，调研 redis 2.6 lua 实现，内部用 lua官方接口，跟lua虚拟机交互，pika代码是c++的，最好使用一个第三方库来兼容cpp oop特性，比如https://github.com/trumanzhao/luna 调研一下最终用哪个repo。
Pika 支持 Redis 事务：Pika 支持 Redis 事务 #1446
- 李浩，目前在推进
  - 0603 代码大概写完了个框架，提一个CR后继续做。
- 孙建钊，方案已经设计，代码写了一半
  - 0527 代码已写完，待测试
  - 0603 有事未参加周会，进展不知，cjg跟进

7.2 GitLink 开源夏令营

Pika 兼容 Redis 同步命令：[GitLink] Pika 兼容 Redis 同步命令 #1070
- 陈俊华，先梳理思路
- 0527 在了解pika的同步机制，设计方案中
- 0603 这个任务是 redis 内部使用的同步命令，并不属于pika的任务，任务有点伪需求，后续cjg、yy、cjh讨论后再定
Pika 支持 Redis 常见 module：Pika 支持 Redis 常见 module #1220
- 宁常远 & 赵昊
- 0527
  - 常远：最近比较忙，和常远一起跟进（导师联系下）
    - 难点：不太熟悉C++，需要导师协助（李浩、瑞麟指导）
  - 赵昊：感觉工作量很大，比如，兼容redis json，要实现所有的api；先跟进，看看能实现到什么程度
- 0603 单纯的module加载应该还好，我还在仔细看redis module加载的一些细节。难点可能还是后面API的兼容问题。
Pika 在 AWS S3 上存储数据：[GitLink] Pika 在 AWS S3 上存储数据 #1438
- 王若添
- 0527 宁常远跟进，ruilin 指导
  - 问题：rocksDB cloud 没有人维护，需要评估下，再确定方案
  - 工作量比较大，有适配工作，等确定了方案再来拆分工作
- 0603 宁常远编译 rocksdb-cloud，缺少 aws 账号
配合 Sentinel（哨兵）实现 Pika 自动容灾：配合 Sentinel（哨兵）实现 Pika 自动容灾 #1529
- 顾辰枫，后面梳理思路
- 0527 待跟进
- 0603 杨世禧，跟进先看一下redis sentinel 和 pika 兼容稳定性差的问题
Pika 支持 ACL 多租户功能：Pika 支持 ACL 多租户功能 #1284
- 0527 lqx 来指导新人来做
- 0603 姚思远想接一下
Pika 实现乐观锁功能：Pika 实现乐观锁功能 #1550
- 0527 陈品烨黄麒浩

7.3 members

Name	GithubID	Task	PR	Description
于雨	AlexStocks	#1175		pika数据一致性校验工具
李浩	ForestLH	#1303	#1515	在 cmake 中加入编译时候的静态分析告警
车金鸽	chejinge	#1333
车金鸽&刘月财	chejinge luky116	#1336 #1230 #1288	#1388	添加pika-exporter，调研清楚Pika需要哪些观测指标
车金鸽	chejinge	#1070		支持 SYNC/PSYNC/PSYNC2
车金鸽	chejinge	#1161		支持 lastsave
lqx	lqxhub	#1284		支持 ACL
赵昊	ptbxzrt	#1220		redis常见module支持
lqx	lqxhub	#1221		admin能力支持，单机，基本的建表模型，观测/管理/配置修改
吴显荣	Mixficsol	#1119		zset的范围删除的性能不好
李浩	ForestLH	#935		支持pipline
陈俊华	chenjunhua	#114		支持 brpop, blpop
王若添	sacloudy	#1438		Pika On S3
hongfan	georgehao	#1227		redis smart client的兼容
顾辰枫	ChanphongGu	#1228	#1250	rsync 进程去除，全量同步功能设计
张诗语	Joeyzsy	#1393		重构数据同步迁移系统，剥离rsync
陈柏韬	chenbt-hz	#1302		codis 点对点数据迁移
kangjinci	4kangjc	#1437		Pika 支持 Windows 平台

人员列表

Name	GithubID	Desc
李浩	ForestLH	华科
lqx	lqxhub	上海游戏公司
赵昊	ptbxzrt
吴显荣	Mixficsol	学生
陈俊华	chenjunhua	重邮
王若添	sacloudy
顾辰枫	ChanphongGu	福大
张诗语	Joeyzsy	北邮
baitao	chenbt-hz	hzgt
冯智森	A2ureStone	深哈工大
康锦赐	4kangjc
赖沐曦	iiiuwioajdks
chuande		zksg
陆安璞	Brokenice0415	南京大学
宁常远	longfar-ncy	南京航空航天大学
王立强
孙建钊	sjz-hub	北京邮电大学
黄麒浩		广州大学，研一
陈品烨		华南理工，研一，熟悉C++，win开发

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

20230602 周会纪要 #1575

{{title}}

{{editor}}'s edit

{{editor}}'s edit

Replies: 0 comments

Select a reply

20230602 周会纪要 #1575

yaoyinnan Jun 2, 2023

1 单机

2 集群

3 可观测性

4 工具集

5 云原生

6 质量建设

7 社区

7.1 OSPP 开源之夏

7.2 GitLink 开源夏令营

7.3 members

人员列表

Replies: 0 comments

yaoyinnan
Jun 2, 2023