Repository navigation
Replies: 1 comment
|
基于公开产品资料整理了一份对照分析(见文末附件),这里直接给出结论和问题的建议。 一、总体判断主流产品没有统一的通信库:
共同点不是“选哪个库”,而是先把控制语义和内存生命周期定义清楚,再把底层传输做成可替换实现。 二、四个开放问题1. 网卡分布与 M1 验证环境 不必等生产硬件。 2. 控制面是否 RDMA 化 建议长期保持 TCP 分平面。
量化门槛可:测量 3. landing buffer、block size 与 chunk_size 默认值 建议由公式推导而不写死: 100/200GbE:chunk 4 MB、pool 512 MB;400GbE:chunk 8 MB、pool 1 GB。另两点:ORPC 的 16 MiB 帧上限不应等同于 RDMA 单次 WR 大小;WEKA 的经验是小 I/O(读 < 32 KB、写 < 256 KB)走 RDMA 收益有限,初期建议保留 TCP 路径。 4. GPUDirect 优先级 不建议提前。
三、建议补充的三个设计点
附件:主流存储产品 RDMA 实现对照分析(IBM Storage Scale、Lustre/DDN、WEKA、VAST、DAOS) |
Uh oh!
There was an error while loading. Please reload this page.
RDMA 通信库选型与 Curvine 多后端适配框架(讨论稿)
摘要(TL;DR)
一、RDMA 通信库全景
fi_*API 通过 provider 覆盖 verbs/RoCE、rxm、efa、psm2/3、cxi、tcp/shm;存储行业生产验证(DAOS/CaRT、AWS EFA);tagged message(fi_tagged)天然契合 RPC 多路复用UCX_TLS等几十个环境变量)、版本兼容历史包袱多;对纯块存储场景"杀鸡用牛刀";API 面巨大一句话概括:通用通信库 ≈ 3 种(verbs、libfabric、UCX),加上 3 类封装/专用协议;能作为 Curvine 长期后端候选的只有前两个半。
二、Curvine 现状与约束
Curvine 的网络面是自研 ORPC:22 字节定长头 + protobuf header + data 段的二进制 RPC(
crates/core/rpc/src/message/rpc_message.rs:29),RpcFrame直接硬编码TcpStream(crates/core/rpc/src/handler/rpc_frame.rs:38),建连是 tokio TCP(crates/core/rpc/src/client/raw_client.rs:33)。块 I/O 走 Open→Running→Complete 三阶段流式 RPC(crates/client/curvine-client-core/src/block/block_client.rs),单帧上限 16 MiB。SPDK 仅用于本地块存储后端(crates/adapters/curvine-storage-spdk/src/spdk_bdev.rs:688),与网络面完全解耦。这对设计有几个关键含义:
DataSlice::MemSlice已经存在(crates/core/curvine-io/src/block_io.rs:8的 BlockIO 已处理 MemSlice),RDMA 落地到注册内存后可直接喂给现有BlockIO::write_region,与 SPDK 路径的对接方式完全相同。RpcFrame/splice/sendfile 这套成熟但强绑定 TCP 的代码。三、选型结论
主后端推荐 libfabric,UCX 作为 GPU/HPC 场景的可选后端,原生 verbs 作为性能基线/私有化备选,rsocket 不进入生产。
理由:
fi_tagged的 64 位 tag 可直接映射 ORPC 的req_id;fi_write/fi_read提供 one-sided RMA,覆盖块数据零拷贝;tcp/shmprovider 让同一套代码在无 RDMA 环境跑通测试。libfabric-sys;UCX 的 API 面和配置组合大得多,绑定维护成本显著更高。什么时候翻转:纯 NVIDIA RoCE + GPU 直连访存需求 → UCX;单厂商私有化且要求微秒级小消息 → 裸 verbs。框架的价值就在于这个选择是配置项而非重构。
四、适配框架设计
4.1 分层与 crate 布局(沿用现有 adapters 模式)
crates/core/curvine-rdma:trait、注册表、内存池、CQ↔tokio 桥、后端契约测试套件(永远可编译,macOS 上只有 TCP passthrough)。crates/adapters/rdma-libfabric、rdma-verbs、rdma-ucx:feature-gated(rdma-libfabric/rdma-verbs/rdma-ucx),Linux-only,build.rs 用 pkg-config 探测,缺依赖时编译期报错、默认构建不受影响——和现在curvine-storage-spdk的spdkfeature 模式一致。4.2 核心抽象:操作级 API,而非 WR 级 API
不要抽象成 "post_send/poll_cq"(那是 verbs 方言,libfabric/UCX 语义不同),抽象成操作语义 + 能力声明,各后端自行映射:
三个设计要点:
Vec<u8>:这是"匹配多种库"的核心——抽象层不关心连接语义,只负责搬运。控制面复用现有 ORPC 连接做 bootstrap:新增一条 RPC(worker.proto 增量消息,不动现有字段),交换backend / caps / handshake blob / session_nonce,Worker 回pool 参数(max_chunk、credits)。proto 是加法式变更,符合仓库现有的兼容性模型。one_sided_write=false的后端(如 tcp provider 或将来某个私有 SDK)自动降级为 two-sided 模拟,上层逻辑不变。libloading提供 C ABI vtable 形式的动态插件,让厂商私有 SDK(国产网卡、智能网卡)不改代码接入。4.3 数据面 rendezvous 时序(对接现有三阶段流)
写路径(push,客户端主动 WRITE):
读路径(push 优先,Worker 主动 WRITE 到客户端注册的接收 buffer):
备选 pull 模式(客户端
RDMA READ拉取)适合超大顺序读、接收端自定速;两模式共用同一套RemoteToken,由配置read_mode = push|pull切换。注意一个诚实的边界:磁盘→MR 的拷贝无法消除(除非走 NVMe-oF/GPU P2P),RDMA 消灭的是 TCP/IP 协议栈、系统调用和 socket 缓冲拷贝——客户端侧省一次、Worker 侧省一次,这正是块 I/O 的主要收益。Worker 间复制(
WriteReplicationBlock)复用同一条数据通道,复制流量同样零拷贝入 MR。4.4 CQ ↔ tokio:后台完成泵
wr_id = conn_id<<32 | slot路由完成事件。inflight > 0时 busy-poll;空闲时eventfd+tokio::AsyncFd休眠唤醒。完成通过tokio::sync::oneshot通知 async 调用方,批量完成合并 wake。await信号量,天然限流。4.5 内存注册池(MR Pool)
reg_mr的 pin + 建页表开销。DataSlice::MemSlice喂给BlockIO::write_region。memlockulimit 与madvise(MADV_HUGEPAGE);池大小进配置。4.6 配置形态
配置结构体挂在
crates/common/curvine-config/src/client_conf.rs/worker_conf.rs,映射到 ORPC 层配置,与现有client_rpc_conf/worker_server_conf的工厂函数模式一致。4.7 故障、安全与可观测性
fallback = tcp,保证 RDMA 永远不是可用性单点。REMOTE_WRITE,读路径REMOTE_READ)。RoCE 侧依赖 PFC/ECN/ACL 的网络隔离,文档里要写明运维前提。rdma_bytes_tx/rx、inflight、CQ 深度、完成延迟直方图、每后端错误计数,接入现有MetricsReport通道;CLI 增加rdma probe做 GID/MTU/provider 预检。4.8 测试策略
curvine-rdma:send/recv、one-sided write/read、令牌过期、错误注入,同一套用例跑所有后端——保证"多库适配"不是口头的。cv bench --transport rdma对比 TCP 基线。五、落地路线
curvine-rdma抽象层 + TCP passthrough 后端 + 契约测试;行为零变化MemSlice落盘、降级熔断rdma probe六、风险与边界
libfabric-sys/ucx-sys都需自维护,建议固定上游版本、CI 矩阵覆盖,别追最新。七、开放问题(欢迎拍砖)
chunk_size的默认值,有什么经验值建议?总结:Curvine 应选 libfabric 作为主 RDMA 后端(provider 机制顺带解决大半"多库适配"),UCX 留给 GPU/HPC,控制面保留 TCP;框架核心是"操作级 trait + 不透明握手 + 能力协商 + 内存池 + CQ 泵",按 M0→M4 渐进落地,每一步都可回退到 TCP。
All reactions