Skip to content

2.0.0 — 批量上传/删除调度、双向哈希映射缓存与高可靠同步架构

Choose a tag to compare

@minLaoGe minLaoGe released this 20 Oct 06:56
· 7 commits to main since this release

Release Notes / 版本发布说明

2.0.0 批量上传/删除调度、双向哈希映射缓存与高可靠同步架构

  • 分批上传调度与有界并发控制:
    • 上传任务按每 20 个文件为一组分批切片,各批次严格受控于配置的 1–5 并发度。
    • 每个文件保持独立的预创建、分片上传、校验与基线检查点持久化,杜绝多文件耦合引发级联失败,网络中断后可无缝断点续传。
  • 云端批量删除与严格逐项回执校验:
    • 云端远端删除接入百度网盘官方批量管理接口(filemanager?opera=delete),每批最多 50 个路径,大幅减少网络往返耗时。
    • 删除前实时复核本地与云端最新状态;仅对接口明确回执成功或文件已不存在(errno: 0 / -9)的文件移除基线。
    • 遇到异常、失败或网络断开时坚决保留基线并立即中断后续批次,防止云端与本地状态失步。本地删除继续通过 Obsidian 原生回收站执行。
  • 本地与云端专有哈希映射缓存:
    • 适配百度网盘专有哈希特性,建立安全持久化的内容哈希映射缓存。
    • 跨路径比对与重命名场景下秒级识别相同内容,避免无意义的重复拉取与冗余流量开销。

1.0.9 本地扫描极速剪枝、10秒自动同步与防频繁同步冷却

  • 本地变更零 I/O 快速指纹筛查(Fast-path Check):
    • 核心解决在包含数千文件(如 2848 个文件)的大型仓库中,每次同步都需要从磁盘完整读取每个文件并计算 MD5 导致的高耗时、发热和掉电问题。
    • 引入基于 Obsidian 内存缓存的 stat.mtime 与 stat.size 快速指纹筛查:未修改的文件直接复用基线哈希,0 毫秒完成判定。数千文件扫描耗时从数十秒暴降至 50 毫秒以内。
  • 编辑防抖延迟安全下限 (>= 3 秒):
    • 设置面板中为编辑防抖延迟限制最低 3 秒,避免用户误设过短与 Obsidian 自身 Auto-save 机制冲突,杜绝打字期间高频碎片化上传。
  • 全量同步防频繁冷却 (10 秒 Cooldown):
    • 手动或自动全量同步之间增加 10 秒冷却保护,防止连击状态栏或短时间高频触发全库比对对网盘造成频控压力。
  • 自动同步支持最短 10 秒:
    • 设置面板支持秒级配置后台自动同步周期,最短可设置为 10 秒。
  • 桌面端与移动端统一进度 UI:
    • 桌面 App 端与移动端共用实时同步浮动卡片与详情弹窗,桌面端自适应固定于右下角。

1.0.8 安卓防闪退分片拉取、相同内容冲突自动消解与独立并发设置

  • 安卓端超大文件分片流式下载(彻底解决 OOM 闪退):
    • 排查根因:通过 ADB 系统日志深入定位,安卓版 Obsidian 运行于 Capacitor 容器,调用原生 requestUrlAndroid 拉取大文件(如 60MB+ 的 PDF 或音视频)时,Java 堆分配 Base64 字符串会瞬间突破安卓 Dalvik/ART 虚拟机的 256MB 堆内存硬上限,引发 java.lang.OutOfMemoryError 并导致系统发送 SIG 9 强制闪退。
    • 核心修复:重构底层 downloadFile 实现,对超大文件采用 HTTP Range: bytes=start-end 4MB 分片流式拉取,各分片在 Java 层内存仅占 ~20MB 并即时回收,最后在 JavaScript V8 原生内存高效拼接。真机实测 60.93MB 大文件 25.4 秒稳定拉取无闪退。
  • 相同内容冲突自动消解与冗余副本清理:
    • 解决因手机文件系统与百度网盘修改时间戳(mtime)存在秒级偏差导致实质内容相同的文件反复被判为冲突的问题。
    • 改用 MD5 内容哈希(sameFileContent)判定:同步启动时自动巡检历史冲突,若两端哈希相同立即自动标记为已解决、更新基准线并静默清理冗余的 .conflict-... 副本文件,告别人工繁琐确认。
  • 有界并发下载与写盘防覆盖安全防线:
    • 下载通道支持 1~3 有界并发(runBounded),显著提升多文件拉取速度。
    • 增加下载落盘前本地文件二次哈希复核:若排队等待期间本地发生了编辑,立即阻断覆盖并升级至冲突安全保护,绝不覆盖用户最新编辑。文件写盘继续采用 AtomicFileSystem 事务日志与互斥锁,确保原子落盘与断网自愈。
  • 独立设置上传与下载并发数:
    • 设置面板中将「上传并发数」与「下载并发数」正式拆分为独立选项(13 自由调节),手机端建议保持 12 并发以兼顾省电与内存稳定。

1.0.7 移动端前台亮屏提醒与网络异常指引

  • 移动端前台亮屏注意事项:进度弹窗与设置面板中增加明确指引,提醒用户在全量同步期间保持手机亮屏并停留在 Obsidian 前台,切勿锁屏息屏或切出后台(Android 系统电池省电策略在休眠时会切断网络,引发 UnknownHostException 域名解析失败)。
  • 友好网络错误诊断:对网络断开、超时及系统域名解析失败自动解析并给出排查建议(检查 WiFi/网络、关闭科学上网代理或系统专用 DNS)。
  • 真机双向同步验证:通过 Android 真机 ADB 实时连通性监控,实测通过 2700+ 项文件目录索引与文档附件传输。

1.0.6 安卓可见同步进度

  • 手机手动同步自动打开详情,收起保留底部进度卡片,不依赖桌面状态栏。
  • 显示当前阶段已完成/总文件数、耗时、当前文件、上传/下载/跳过/冲突/失败数量和最近记录。
  • 设置新增“查看进度”,新增命令“查看百度同步进度”。关闭面板不会取消同步,重复点击手动同步复用当前任务。
  • 进度按当前阶段文件数量计算,不虚构整体字节百分比;目录扫描没有计数时显示不定进度。

1.0.5 移动端首发适配与手动同步防护

  • 支持 Android 与 iOS 移动设备纯 Web 环境安全加载,解耦桌面端 Node.js 原生 API。
  • 新增 mobileManualSync 设置项,手机端默认采用明确手动同步,避免后台意外休眠导致写入异常。

1.0.4 预创建协议优化与社区规范

  • 修复预创建接口返回类型处理:区分 return_type=1(分块上传)与 return_type=2(秒传),修复大文件分块合并报错 31500。
  • 修复 Multipart 请求在部分平台由 Obsidian 自动计算 Content-Length,防止 ERR_INVALID_ARGUMENT。
  • 遵循社区审核规范优化设置布局、日志严重级别颜色与配对码动态遮罩。

1.0.3 Git 风格行内冲突标记与增量同步

  • 新增 Git 风格单文件行内标记合并模式(git_merge):笔记内标出 <<<<<<< LOCAL / ======= / >>>>>>> REMOTE,不产生额外副本。
  • 引入基于网盘服务端事件记录的增量同步模块(remote-index.ts),非首次同步无需全量扫描整个网盘。
  • 修复仅 fsId 变化但内容 MD5 实际未变时的误报冲突。

1.0.2 差异同步、可视化冲突解决与并发上传

  • 差异同步(Delta Sync):本地未修改保存直接跳过网络请求,全量未修改跳过网盘建目录与基线重写。
  • 可视化冲突人工解决:提供双向对比(Diff View),支持直接在界面内合并保存或批量选择接受版本。
  • 有界并发上传:1~3 线程受控并发池,实测上传提速约 2.97 倍。

1.0.1 / 1.0.0 核心基础架构

  • 两阶段提交原子文件系统(AtomicFileSystem),确保断电或意外退出不损坏文档。
  • 状态基准库(SyncStateStore),持久化同步基准数据。
  • 百度网盘 OAuth 2.0 自动续期与可选 AES-256-GCM 端到端加密(E2EE)。