20240322周会纪要

[luky116]

1 Pika core(master & slave)

• Pika 主从复制一些经验教训 #2408 Pika 主从复制一些经验教训

Item	Priority	Issue/Pr	Owner	Description
redis cache 版本升级	P1	Upgrade: using Redis 7 as redis cache	chengbo & lifengtao
		降低Pika Compact碎片化监控频率，提升compact性能		houxinsheng 还在 coding
进程退出时存在资源释放流程不正确	P1	#2286
list 存储结构改进	P1	OpenAtomFoundation/pikiwidb#128	wsy
list 的 pop 命令操作 cache 时需要增加 count 参数		#2297	cjg
支持 tls	P2	#2380 #2378	kolin	Review 月财
pika 主从同步过程需要使用 term 判断是否需要全量同步	P1	#2365	bx
codis dashboard call 3 times when got pika pool info, such as keep-alive & memory etc	P1	#2354	kolin
通过配置文件获取 rsync 和 replication 的端口	P1	#1669
主从复制 bug 汇总	P0	#1835	bx	lcy，可以继续改进的在下面回复下
compact old sst files	P1	#2053
add cuckoo filter for redis cache	P2	#2261
bug: When writing to the binlog, the spop command needs to be rewritten as srem	P0	#2407		baitao 近期提交 PR review完成，等待合并
移除 336 的一些没有用的线程及 config 中的配置信息	p1	#2400
增加一个管理员命令处理线程	P1	#2399
配置文件支持关闭 wal 日志	P2	#2398
353 测试，geohash 抛出异常	P2	#2392
PFADD 命令抛异常	P2	#2390	hanchuang
pika 中存在较多无意义的 binlog 记录	P1	#2417		baitao 处理
pika 添加命中率指标	P0	#2423
pika 支持 redis restore 指令	P0	pika 支持 redis restore 指令
pika 参数兼容 sentinel	P0	#2427
Get command performance downgrade on 32 core machine		#2465
support unix domain socket for pika	P2	#2450	kolin
Ability to change hash to xxh3, xxhash, aead or murmur etc	P2	#2442	kolin
Support pub/sub in pika when replicated	P2	#2440	kolin
2 个从节点 S1 和 S2，S1 完成全量同步，S2 全量同步执行一半，主从切换，将 S1 提升新主，S2 切新主后，不再进行全量同步	P2	#2436	lcy
全量同步过程中，db_repl_state 的状态显示为 WaitDBSync，但是 master_link_status 状态为 down	P2	#2428	lcy
(error) ERR Writing binlog failed, maybe no space left on device 空间写满后无法恢复	P0	#2520	wxr
info replication 中的 db_repl_state 输出信息组织方式不够友好，建议优化	P2	#2514
ZREVRANGEBYSCORE 重复操作 pika down 机	P2	#2513
主从复制老主降备手动 slaveof 的过程中会出现判断 sent_offset == acked_offset 的逻辑，当出现不相等的时候，会导致主从 slaveof ERROR 的情况	P1	#2512
unstable主干内存泄露	P1	#2537	baitao、shaoyi
db 命中率	P1	#2423
go集成测试主从复制问题	P1	#2524

todo：

• 1 存算分离 https://mp.weixin.qq.com/s/dV3A1_OFDXkMpDr-Vs71DQ

2 cluster

Item	Priority	Issue/Pr	Owner	Description
		https://github.com/OpenAtomFoundation/pika/issues/1691，https://github.com/OpenAtomFoundation/pika/issues/2228	马鑫	big key 熔断，借鉴 xcache
codis-fe Group 正常，但是仍然显示 OUT OF SYNC 状态	P1	#2394	lcy
add slogmigrate integration test	P1	#2504

xcache todo

• 1 大 key 检测；
• 2 auto split：小帅了解下相关功能，分析 floyd 的缺陷
• 3 codis 熔断 Add: big key & top key #1691 大 key 熔断
• 4 codis 限流

3 可观测性

Item	Priority	Issue/Pr	Owner	Description
染色日志

4 工具集

Item	Priority	Issue/Pr	Owner	Description
	P3	基于 ldb 命令做一个工具分析 sst 文件	瑞麟
		Pika 大数据同步工具		相关 bug 改进：https://github.com/OpenAtomFoundation/pika/pull/2306/files
		Pika 集群数据同步迁移工具		Bifrost 面向生产环境的 MySQL,MariaDB,kafka 同步到 Redis,MongoDB,ClickHouse,StarRocks,Doris,Kafka 等服务的异构中间件
Pika hot key 分析		#1691 #2169		todo：hot key

5 云原生

Item	Priority	Issue/Pr	Owner	Description
	马鑫外部推进，集群注册成功，rebalance 还没做，和珊珊交流做一做看 ，车金鸽、吴显荣内部推进	pika-operator on kubeblocks 现状总结及后续任务、思路	马鑫	Kubeblocks 0.8 已经发布：官方支持 component 多副本，在这个版本支持 pika 缩容
feat: pika supports kubeblocks component definition api	P0	#2411	马鑫
353镜像打失败	P0

todo:

• 1 chengyu 跟马鑫 学习
• 2 原地扩容磁盘可能有问题，chengyu 跟进
• 3 总的 任务 pika-operator on kubeblocks 现状总结及后续任务、思路 #1906

6 high quality(CI/CD) and high usability

Item	Priority	Issue/Pr	Owner	Description
		WIKI 配置信息能否补充大部分场景下的最优配置
tcl 单测跑不过	P0	#1605
test/unit type/hash 单测问题汇总	P0	#1623 #2046, #1605
pika automated stress testing script	P1	#2503
A problem occurs during go integration testing	P1	#2492

7 Pika doc

• 文档建设：中文文档少，英文文档没有；
• 网站建设：wiki 搬到了 website；
• readme 建设
• WIKI 配置信息能否补充大部分场景下的最优配置 #2008

Item	Priority	Issue/Pr	Owner	Description
		build a pika website	ningjie