Repository navigation
Replies: 1 comment
|
"普通对话正常、一涉及改文件就报错"这个形态,绝大多数情况是工具调用(tool calls)那一段的协议对不上,而不是模型不会改文件——普通对话不走工具,所以看起来一切正常。 本地部署的端点最常见的三类原因:
第 2 类有一份现成的、跑通了的参考配置:#4283 那位用 oMLX 跑 Qwen 时贴了完整的 compat:
supportsDeveloperRole: false
supportsReasoningEffort: false
supportsUsageInStreaming: true
maxTokensField: max_tokens
thinkingFormat: qwen-chat-template( 不过我得说清楚:上面全是按现象推的。 你贴的是截图,我这边读不出报错文字,没法确定是哪一类。麻烦把报错的文字原文贴出来(复制粘贴,不是截图),另外说一下:
有这三样基本就能定位。 利益相关:我维护 pi2dsh,跟这条回复无关——上面说的 |
0 replies
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
All reactions