Skip to content

v1.20.21 - Keepalives and resumable transfers

Choose a tag to compare

@4kercc 4kercc released this 02 Oct 11:11
· 7 commits to main since this release

CLICD v1.20.21:远端传输加固——保活 + 断点续传 + 幂等重跑。

🔁 问题

上传是 cat > 文件:连接一断就从零重来、无保活、无重试。大快照同步长期失败(EOF),每次重跑都要再传几十 GB。

修复

  • 保活:TCP keepalive(30s)+ SSH 层 keepalive@openssh.com(20s);
  • 断点续传:重试时从远端已有字节数继续(上传 cat >>、下载 tail -c +N),重试 4 次、退避 5/15/45s;
  • 前缀校验:只比大小会把"同尺寸的不同文件"误判为已完成(实测抓到),现续传/跳过前比对双方前 64KB 的 MD5;
  • ≤1MB 小文件一律重写:snapshot-meta.json 这类重新生成的文件尺寸可能不变;
  • 幂等:已完整的文件再同步直接跳过——重跑同步从"再传 50GB"变成"只补没传完的"。

实测(真 SFTP)

1.5GB 首传 16.35s MD5 一致;远端截断到 500MB 后重传 → 续传 1036MB 且 MD5 完全一致;重复上传 547ms 秒回;下载续传 MD5 一致。

Full Changelog: v1.20.20...v1.20.21