Releases: Soren-ABT/dsh-knowledge
Releases · Soren-ABT/dsh-knowledge
Release list
v0.1.1 - SQLite storage, crash recovery, security hardening
自 v0.0.1 以来的完整功能 (npm 0.2.12)
This release packs the full feature set since v0.0.1 (corresponds to npm 0.2.12).
核心存储与检索 (Storage & Retrieval)
- SQLite 分块存储:解决大数据量 JSON 全量重写问题。
- 多维 SQL 检索:支持 FTS5 全文检索 + 向量检索。
- 库级嵌入 hash 去重:Reindex 操作不再重复付费。
- 崩溃可恢复导入:分批落盘,支持启动后自动续传。
文件与数据管理 (File & Data Mgmt)
- 原始文件存储:保留 raw 副本,支持重新解析。
- URL 快照 + 刷新:确保引用的数据保持最新。
- 目录子树操作:支持最外层折叠 + 递归删除 / 重索引。
- 空间回收:删除大量数据后支持 VACUUM 和 FTS optimize,释放空间。
模型与工具 (Models & Tooling)
- 多本地模型注册表:内置 5 个 ONNX 模型,支持按模型族进行向量池化。
- 检索上下文拼接:支持
siblingChunks拼接,提升检索质量。 - Metadata 过滤检索:支持通过元数据进行精确筛选。
- 检索评测工具:提供 Runner 和示例模板,方便评估系统效果。
安全加固 (Security Hardening)
- SSRF 防护
- 路径穿越攻击防御
- Zip 炸弹防护
完整详细变更记录请查阅:CHANGELOG.md
EN version:
Full feature set since v0.0.1 (corresponds to npm 0.2.12).
Highlights:
- SQLite chunk storage (fixes full-file JSON rewrites at scale) + SQL retrieval (FTS5 + vector)
- Library-wide embedding hash reuse (reindex never re-pays)
- Crash-resumable imports: incremental batch persistence + auto-resume on startup
- Raw source storage (rebuildable from the original file), URL snapshots + refresh
- Sibling-chunk context stitching (siblingChunks), metadata-filtered search
- Directory subtree operations (outermost-root folding + recursive delete/reindex)
- Multi-model local embedding registry (5 ONNX models, per-family pooling)
- Space reclamation after large deletes (VACUUM + FTS optimize)
- Security hardening: SSRF guard, path-traversal defense, zip-bomb cap
- Retrieval eval tooling (runner + example template)
Full changelog: CHANGELOG.md
v0.0.1 — Initial Release
dsh-knowledge 的首个版本:一个面向 DeepSeek Harness(DSH)的独立开源 bundle 插件,提供 Cherry Studio 风格的知识库系统——知识库与分组管理、多来源文档导入、标题感知分块、混合检索与本地嵌入,开箱即用,License: MIT。
The first release of dsh-knowledge: a standalone, open-source bundle plugin for DeepSeek Harness (DSH) providing a Cherry Studio-style knowledge base — bases and groups management, multi-source document import, heading-aware chunking, hybrid retrieval with in-process local embeddings, ready to use out of the box. License: MIT.
主要能力 / Key features:
- 知识库与分组:创建/重命名/删除、分组侧栏导航、移动分组
Knowledge bases & groups: create / rename / delete, grouped sidebar, move-to-group - 文档导入:文本 / 文件上传(txt/md/csv/html/json/pdf/docx/pptx/xlsx/epub)/ URL / 整目录
Document import: text, file upload, URL, and whole directories - 标题感知分块,注入标题路径上下文
Heading-aware smart chunking with title-path context injection - 嵌入:OpenAI 兼容 / Ollama / 进程内本地模型(transformers.js,默认 Qwen3-Embedding-0.6B)/ 纯词面回退
Embeddings: OpenAI-compatible, Ollama, in-process local model (default Qwen3-Embedding-0.6B), or lexical-only fallback - 检索:BM25 + 向量混合(RRF)、MMR 多样性、可选 rerank
Retrieval: BM25 + vector hybrid (RRF), MMR diversity, optional rerank - 本地模型管理器(下载/取消/删除/重试 + 实时进度)
Local model manager with download / cancel / remove / retry and live progress - 管理面板与模型工具
Management panel and model-facing tools