v0.2.3 - Multi-Worker Distributed Session Cache, In-Memory Hot LRU & Async Offloading

Release v0.2.3: Multi-Worker Distributed Session Cache, In-Memory Hot LRU & Async Offloading

Highlights & Breakthroughs

1. 多 Worker 进程分布式前缀共享与 0 缓存击穿彻底解决 (Distributed Session Cache Guard)

   • 彻底定位并消除了多 Worker 轮询分发时的跨进程内存隔离导致的间歇性 0 缓存击穿现象。
   • 在 SQLite WAL 库中新增 session_cache 表与 idx_session_cache_updated 复合索引，构建 L1 RAM Hot + L2 SQLite WAL 双级热同步架构。
   • 路由层全面引入 pipeline.cache_guard.has_compressed_history(session_id) 跨进程历史感知，彻底杜绝客户端未序列化原始报文（raw body_bytes）直通发往上游导致 KV Cache 瞬间清零的隐患。

2. 纯内存热 LRU 缓存与宿主机 SSD 零写磨损 (In-Memory Hot LRU & Zero SSD Wear)

   • 参照 Headroom 内存优先架构，引入 10,000 条容量的 Python OrderedDict 纯内存热缓存，指纹读取 100% 纳秒级 O(1) 命中，杜绝高频磁盘 I/O。
   • SQLite 持久化改为每 250 次写入批量惰性淘汰，并新增 idx_fingerprints_lru 复合索引加速范围扫描。
   • 历史前缀去重跳过（if sha in fingerprint_store: continue），长会话磁盘事务写入次数削减 99% 以上。

3. CPU 密集流水线异步多线程卸载 (Async Pipeline Offloading)

   • 重构 Pipeline.process 为异步方法，使用 asyncio.to_thread 将 AST 代码树解析、正则分词与 SHA-256 哈希计算卸载到底层工作线程池。
   • 彻底释放主 asyncio 事件循环，彻底消除长会话大请求阻塞其他并发 Agent 请求的排队延迟问题。
   • CLI 新增 -w / --workers 参数，支持 Uvicorn 多进程并行加速，充分利用多核 CPU。

4. 系统提示词不可变性与通用清洗算子安全守卫

   • 严格落实 Cache Invariant 2，在 BaseCompressor.process 基类中显式跳过 system 与 developer 角色消息，守住字节级不变性。

5. 官方文档中心精简与架构沉淀

   • 清理多余冲突目录与过时副本，统一以 docs/ 为标准文档中心。
   • 新增踩坑 13（多 Worker 内存隔离与缓存击穿）、踩坑 14（通用算子角色守卫）以及面试 Q10、Q11 问答。

Test & Validation

• 145 passed (120 unit tests + 25 integration tests 100% pass rate).