Skip to content

Commit

Permalink
docs: align module change
Browse files Browse the repository at this point in the history
  • Loading branch information
phodal committed Feb 5, 2024
1 parent b0296fc commit bd45cd9
Show file tree
Hide file tree
Showing 2 changed files with 2 additions and 2 deletions.
2 changes: 1 addition & 1 deletion docs/modules/local-embedding.md
Expand Up @@ -13,7 +13,7 @@ Local Embedding
> Onnx 是一个跨平台机器学习推理加速器。通常用于在客户端、服务端引入小模型推理,诸如于引入 SentenceTransformers 在本地进行相似式搜索。
> 从实现上,ONNX 使用的是 C++ 实现的,所以其它语言下使用的也是 FFI 的形式。
## Sentence Transformers
## Local Embedding

> Sentence Transformers 是一个自然语言处理工具,用于将文本句子嵌入到一个高维向量空间中,以便进行各种文本相关任务,如文本相似度计算、
> 文本分类、聚类等。它是通过预训练的深度学习模型实现的,通常使用诸如BERT、RoBERTa、DistilBERT等预训练模型作为其基础架构。
Expand Down
2 changes: 1 addition & 1 deletion docs/rag/splitter.md
Expand Up @@ -48,7 +48,7 @@ java -jar scanner_cli-2.0.5-all.jar --language=Kotlin --output=http --server-url

## Markdown Splitter

在使用本地的 Sentence Transformers 的 all-MiniLM-L6-v2 模型,由于受输出是 384 的长度影响,需要控制好 token 的长度。
在使用本地的 embedding 模型(all-MiniLM-L6-v2,由于受输出是 384 的长度影响,需要控制好 token 的长度。
因此,需要对文档进行**二次分割**

示例:
Expand Down

0 comments on commit bd45cd9

Please sign in to comment.