Repository navigation
v1.20.21 - Keepalives and resumable transfers
CLICD v1.20.21:远端传输加固——保活 + 断点续传 + 幂等重跑。
🔁 问题
上传是 cat > 文件:连接一断就从零重来、无保活、无重试。大快照同步长期失败(EOF),每次重跑都要再传几十 GB。
修复
- 保活:TCP keepalive(30s)+ SSH 层
keepalive@openssh.com(20s); - 断点续传:重试时从远端已有字节数继续(上传
cat >>、下载tail -c +N),重试 4 次、退避 5/15/45s; - 前缀校验:只比大小会把"同尺寸的不同文件"误判为已完成(实测抓到),现续传/跳过前比对双方前 64KB 的 MD5;
- ≤1MB 小文件一律重写:
snapshot-meta.json这类重新生成的文件尺寸可能不变; - 幂等:已完整的文件再同步直接跳过——重跑同步从"再传 50GB"变成"只补没传完的"。
实测(真 SFTP)
1.5GB 首传 16.35s MD5 一致;远端截断到 500MB 后重传 → 续传 1036MB 且 MD5 完全一致;重复上传 547ms 秒回;下载续传 MD5 一致。
Full Changelog: v1.20.20...v1.20.21