[功能]: 支持前缀续写,思考内容续写 #2270
Unanswered
robinhan468
asked this question in
Ideas
Replies: 1 comment
-
|
DeepSeek有的时候会陷入过长的思考,部分第三方api会导致耗尽输出限制,这时候使用对话的方式使其继续生成不会携带有上次思考的内容,导致此次输出成为废稿 |
Beta Was this translation helpful? Give feedback.
0 replies
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment

Uh oh!
There was an error while loading. Please reload this page.
-
您的功能建议是否与某个问题相关?
前缀续写能显著的提高模型的操控性,通过指定模型输出的开头控制模型的回答。目前openai不支持,Claude,deepseek支持但deepseek需要使用beta api,且附带"prefix"=True。ui可以参考openwebui的那个继续生成。
https://docs.anthropic.com/en/docs/build-with-claude/prompt-engineering/prefill-claudes-response#example-structured-data-extraction-without-prefilling
思考内容续写目前是deepseek独一份,可以指定deepseek r1的思维链,同样可以现更强的输出控制。
请描述您希望实现的解决方案
同上
请描述您考虑过的其他方案
同上
其他补充信息
同上
Beta Was this translation helpful? Give feedback.
All reactions