Repository navigation
v1.25.0
v1.25.0
性能与安全硬化版:全对象 GET 流式直出、列举键缓存、分片并行写、异步审计队列、feature level 6 作业历史保留,并合入一轮授权/DoS/运维审计修复。
新增
- 全对象 GET 流式直出:无 Range 的 GET 在 EC 形态按 64 KiB 块、旧 parts 按文件块直出;加密对象按 unit 解密(至多缓存一个 unit),内存不再随对象大小增长。逐片 CRC32C 与流末明文 SHA-256 终验;首字节前探测数据片,缺失回退受
OSS_MAX_BUFFERED_GET_BYTES约束的重建;开流后缺失/短读报错,绝不跳字节。Range/partNumber 仍有界缓冲,CopyObject 源读取同样流式。 - 列举键缓存与在途 MPU 索引:每节点按桶懒加载键集,每批 1024 键;
OSS_KEY_CACHE_MAX_KEYS/OSS_KEY_CACHE_MAX_TOTAL_KEYS默认各 200 万、OSS_KEY_CACHE_TTL_SECS默认 300;超限或加载失败回退逐页扫描。在途 MPU 索引按 create/abort/complete 增量维护,clean回收暂存区后同步失效。 - 分片并行写:同一块编码后的本地盘/远端 RPC 分片写并发执行,单片失败只作废该片,quorum 计数不变;断电注入测试保留逐片顺序路径。
- 异步审计队列:有界 4096 行,单 worker 每 100 ms 或 256 行批量事务落库;队列满时丢弃并计数(首次/每 1000 条告警),审计不阻塞也不改变请求结果。仅 serve 路径挂 worker,测试与离线命令保持同步直写。
- feature level 6
JobPurge:终态作业按OSS_JOB_RETENTION_DAYS(默认 30,0 关,上限 3650)由 leader 每小时最多 10×1000 批清理;只删done/error/cancelled,同事务清inventory_runs/tier_restores/parent_job_id引用,queued/running/preempted永不删除。
修复
- S3 授权与策略:补全 Select/加密/通知/复制/策略/ListBuckets 等操作授权映射;未映射操作与无桶会话 fail-closed;桶/会话策略 Deny 优先语义覆盖新操作;
ListBuckets仅返回有权限的桶。 - DoS 与输入边界:登录用户名/口令长度上限与通用 400;Argon2id 改为信号量限流的异步卸载;CopyObject 预 HEAD 上限;列举
OSS_LIST_MAX_KEYS;GET 条件判断与 body 使用同一次 meta 读取,消除 TOCTOU。 - 运维与部署:Docker secret 目录/文件权限 0700/0600、
.dockerignore、JWT 占位密钥 fail-closed、Compose 健康检查与监听端口环回;Web 控制台懒路由、无限分页与 Playwright 临时数据隔离。
验证
cargo fmt --all --check、workspace 五 crateclippy --all-targets -D warnings通过。xl-store --lib363/0、xl-s3 --lib189/0、object_ops57/0、oss-server --lib240/0、raft_command_contract3/0/1。policy_audit2/0、m8_ap23/0、m8_ap_trust9/0、m8_batch20/0、m8_inventory23/0、console_api33/0;raft_jobs_activation4/0、raft_runstate_snapshot14/0、raft_cutover_provenance6/0、raft_handshake2/0、kill91/0。
兼容性 / 启用前置
- feature 6 是单向门:v1.24.0 及更早节点 advertise ≤5,全集群升级并移除/升级旧节点前 effective 停在 5,
JobPurge在 append 前被拒;marker 6 后旧二进制按既有守卫拒绝启动。快照仍为 OSSCTL3,无新格式与 schema 迁移。 - 流式 GET 不改变 Range/partNumber 语义;EC 数据片缺失时整读重建仍受
OSS_MAX_BUFFERED_GET_BYTES限制。 - 键缓存是 advisory:TTL 内可能看不到带外写入,默认 300 秒重建;超限桶回退逐页扫描。
- 审计为 best-effort:队列满会丢行并计数,落库延迟至多约 100 ms。
仍未交付
tier restore 后续状态与 schedule lease/takeover、硬字节/对象数配额、真实 PrivateLink 身份、AP 动态 registry(需 feature level 7)、完整数据面滚动升级。