能否加一个新类型type:text_processor

[c2498168786]

表结构超多会报错：
litellm.exceptions.ContextWindowExceededError: litellm.ContextWindowExceededError: litellm.BadRequestError: ContextWindowExceededError: OpenAIException - This model's maximum context length is 18432 tokens. However, you requested 175399 tokens (171303 in the messages, 4096 in the completion). Please reduce the length of the messages or completion.

建议增加一个类型下面的文本处理
type: text_processor
chunk_size: 512 # 分块大小（直接影响RAG效果）
chunk_overlap: 50 # 块间重叠（防止语义割裂）
metadata_filter: # 过滤非必要元数据
exclude_fields: ["created_time"]

[cyyeh]

@c2498168786 請問這是在ui上做什麼操作導致的？

[c2498168786]

@c2498168786 請問這是在ui上做什麼操作導致的？

你好。是页面是deploying sync表结构那个按钮