Skip to content

Releases: Soren-ABT/dsh-knowledge

v0.1.1 - SQLite storage, crash recovery, security hardening

Choose a tag to compare

@Soren-ABT Soren-ABT released this 17 Aug 08:25

自 v0.0.1 以来的完整功能 (npm 0.2.12)

This release packs the full feature set since v0.0.1 (corresponds to npm 0.2.12).


核心存储与检索 (Storage & Retrieval)

  • SQLite 分块存储:解决大数据量 JSON 全量重写问题。
  • 多维 SQL 检索:支持 FTS5 全文检索 + 向量检索。
  • 库级嵌入 hash 去重:Reindex 操作不再重复付费。
  • 崩溃可恢复导入:分批落盘,支持启动后自动续传。

文件与数据管理 (File & Data Mgmt)

  • 原始文件存储:保留 raw 副本,支持重新解析。
  • URL 快照 + 刷新:确保引用的数据保持最新。
  • 目录子树操作:支持最外层折叠 + 递归删除 / 重索引。
  • 空间回收:删除大量数据后支持 VACUUM 和 FTS optimize,释放空间。

模型与工具 (Models & Tooling)

  • 多本地模型注册表:内置 5 个 ONNX 模型,支持按模型族进行向量池化。
  • 检索上下文拼接:支持 siblingChunks 拼接,提升检索质量。
  • Metadata 过滤检索:支持通过元数据进行精确筛选。
  • 检索评测工具:提供 Runner 和示例模板,方便评估系统效果。

安全加固 (Security Hardening)

  • SSRF 防护
  • 路径穿越攻击防御
  • Zip 炸弹防护

完整详细变更记录请查阅:CHANGELOG.md

EN version:

Full feature set since v0.0.1 (corresponds to npm 0.2.12).

Highlights:

  • SQLite chunk storage (fixes full-file JSON rewrites at scale) + SQL retrieval (FTS5 + vector)
  • Library-wide embedding hash reuse (reindex never re-pays)
  • Crash-resumable imports: incremental batch persistence + auto-resume on startup
  • Raw source storage (rebuildable from the original file), URL snapshots + refresh
  • Sibling-chunk context stitching (siblingChunks), metadata-filtered search
  • Directory subtree operations (outermost-root folding + recursive delete/reindex)
  • Multi-model local embedding registry (5 ONNX models, per-family pooling)
  • Space reclamation after large deletes (VACUUM + FTS optimize)
  • Security hardening: SSRF guard, path-traversal defense, zip-bomb cap
  • Retrieval eval tooling (runner + example template)

Full changelog: CHANGELOG.md

v0.0.1 — Initial Release

Choose a tag to compare

@Soren-ABT Soren-ABT released this 17 Aug 08:14

dsh-knowledge 的首个版本:一个面向 DeepSeek Harness(DSH)的独立开源 bundle 插件,提供 Cherry Studio 风格的知识库系统——知识库与分组管理、多来源文档导入、标题感知分块、混合检索与本地嵌入,开箱即用,License: MIT。

The first release of dsh-knowledge: a standalone, open-source bundle plugin for DeepSeek Harness (DSH) providing a Cherry Studio-style knowledge base — bases and groups management, multi-source document import, heading-aware chunking, hybrid retrieval with in-process local embeddings, ready to use out of the box. License: MIT.

主要能力 / Key features:

  • 知识库与分组:创建/重命名/删除、分组侧栏导航、移动分组
    Knowledge bases & groups: create / rename / delete, grouped sidebar, move-to-group
  • 文档导入:文本 / 文件上传(txt/md/csv/html/json/pdf/docx/pptx/xlsx/epub)/ URL / 整目录
    Document import: text, file upload, URL, and whole directories
  • 标题感知分块,注入标题路径上下文
    Heading-aware smart chunking with title-path context injection
  • 嵌入:OpenAI 兼容 / Ollama / 进程内本地模型(transformers.js,默认 Qwen3-Embedding-0.6B)/ 纯词面回退
    Embeddings: OpenAI-compatible, Ollama, in-process local model (default Qwen3-Embedding-0.6B), or lexical-only fallback
  • 检索:BM25 + 向量混合(RRF)、MMR 多样性、可选 rerank
    Retrieval: BM25 + vector hybrid (RRF), MMR diversity, optional rerank
  • 本地模型管理器(下载/取消/删除/重试 + 实时进度)
    Local model manager with download / cancel / remove / retry and live progress
  • 管理面板与模型工具
    Management panel and model-facing tools