使用llama-server本地部署的deepseek v4 flash 如何在deepseek harness中调整思考强度？

[livelylife]

LLAMA_CPP_DIR="${LLAMA_CPP_DIR:-${HOME}/workspace/llama.cpp-dsv4-ckpt/}"
LLAMA_SERVER="${LLAMA_SERVER:-${LLAMA_CPP_DIR}/build-cuda/bin/llama-server}"

MODEL="${MODEL:-/opt/models/unsloth__DeepSeek-V4-Flash-0731-GGUF/UD-Q8_K_XL/DeepSeek-V4-Flash-0731-UD-Q8_K_XL-00001-of-00005.gguf}"
SERVED_MODEL_NAME="${SERVED_MODEL_NAME:-DeepSeek-V4-Flash1}"
INSTANCE_NAME="${INSTANCE_NAME:-}"

HOST="${HOST:-0.0.0.0}"
PORT="${PORT:-8001}"

官方模型有思考强度选项

本地部署的模型没有思考强度选项

在vscode中可以自定义思考强度

在deepseek harness如何自定义思考强度？

[ciceroyang]

"思考强度"(reasoning effort)在 DSH 里的控制位置:

官方模型(deepseek-official)

• 全局默认:~/.dsh/settings.yaml 里 agent-default-model.reasoningEffort,取值 min | low | medium | high | max
• 也可以直接在 Web GUI 的模型设置页选
• 这是会话级偏好,修改后新会话生效

llama-server / OpenAI 兼容端点
DSH 走"自定义 provider"表单(Providers 页的 Custom 表单,支持自定义 base URL + 模型名)。这里有个现实边界需要说明:
reasoningEffort 是 DSH 的会话偏好参数,最终会不会变成请求里的 reasoning_effort/相应字段透传给 llama-server,取决于对应 LLM adapter 的实现——DSH 官方 adapter 是为 DeepSeek 官方 API 写的,第三方端点不一定映射这个参数。llama-server 侧的"思考强度"目前更直接的控制是它自己的参数(如 --reasoning、--jinja、chat template 或温度/采样参数)。

可行路径

1. 在自定义 provider 表单把 base URL 指向 llama-server,先用默认 reasoning 跑通;
2. 若需要压思考:优先调 llama-server 启动参数(采样/模板层);reasoningEffort 只作为 DSH 侧偏好设置,能否生效以请求抓包为准。

如果官方 adapter 支持自定义端点的 reasoning 透传,欢迎补充——这块以源码 packages/llm 里的实现为准。

[blackteaYES]

支持自定义提供商配置模型思考级别的插件 #1247
试试

[weijiafu14]

思考强度这件事在自定义路由上是有实测过的配置面的，给你已验证的姿势：

DSH 侧选择的思考等级（minimal/low/medium/high/xhigh）到 wire 上发什么，由模型声明里的 thinkingLevelMap 决定。这不是文档抄来的——我们在真实链路上录过请求体验证：声明 xhigh: 'high' 后，用户选 xhigh、线上真的发 reasoning_effort: "high"（透传录制代理抓的请求体，装置与判决见 examples/gateway-compat，断言就是"声明的映射赢过默认拼写"）。

对 llama-server：给它配一条自定义路由（llm-pi-ai settings 声明，或经 pi2dsh 用 Pi provider 包声明，写法照 examples/custom-gateways），模型条目里把 thinkingLevelMap 映射到你的 llama-server 认的值，再用界面/settings 的 reasoningEffort 切档。

边界说明：这条链路保证的是"你选的档位被正确翻译上线"；llama.cpp 那头认不认 reasoning_effort、认哪些值（还是要走 --reasoning-budget 之类启动参数），是 llama-server 自己的地盘——先拿上面的录制代理确认它收到了什么，再对着它的文档调。

[ciceroyang]

更新一下我 08-14 那条里的边界说明:当时写的是「第三方端点不一定映射 reasoningEffort」——现在 @weijiafu14 给出了实测答案,这个边界可以收紧成一句可操作的规则:发到 wire 上的字段由模型声明的 thinkingLevelMap 决定,不是由 DSH 侧拼默认拼写。

所以 llama-server 这类自定义端点的正确做法是:走自定义路由,在模型条目里把档位映射到 llama-server 实际认的值(而不是期望它接受 reasoning_effort),再用界面/settings 的 reasoningEffort 切档。链路保证的是「所选档位被正确翻译上线」,至于 llama.cpp 那侧如何解释该字段,仍由本地部署参数决定。

装置与判决(录制代理抓请求体、断言「声明的映射赢过默认拼写」)在 https://github.com/weijiafu14/pi2dsh/tree/main/examples/gateway-compat ,比口头结论更值得引用。

[drscrewdriver]

像qwen3.6 35ba3b 支持思考无effort 我也有做过例子

[drscrewdriver]

可以用带effort管理的插件么比如 https://github.com/drscrewdriver/dsh-thinking-levels

[drscrewdriver]

think effot关键词搜索也可

[PerryLink]

在 master（c291e7961）源码里核实了自定义端点声明思考强度的完整机制，供你对照 llama-server 配置：

• 模型条目通过 reasoningEfforts 声明可选档位（packages/llm/llm-pi-ai/src/catalog.ts:607）：省略=沿用内置目录能力；false=声明为无推理模型。
• 合法档位：off/minimal/low/medium/high/xhigh/max（catalog.ts:74-82）；resolveModelReasoning 会把声明展开成 thinkingLevelMap（catalog.ts:690-743），键=档位、值=实际发给服务的 wire 拼写；除 off 外至少要声明一个档位，否则配置校验直接报错（:730-733）。
• 请求侧按 profile 选中的 reasoning 档位取值写入请求（llm-pi-ai/src/adapter.ts:344-347）。
• 官方包注释自带 YAML 示例（llm-pi-ai/src/index.ts:28-53）。

配置示例（放在你的自定义 provider 模型条目下）：

models:
  - id: <你的模型id>
    contextWindow: 262144
    reasoningEfforts:
      off:
      high: high
      max: ultra

注意：以上机制属于 llm-pi-ai（OpenAI 兼容路由）；如果你用的是其他适配器插件，需查对应插件的 reasoning 配置。另外 harness 侧只负责把选中的 wire 值发出去，llama-server 是否识别该字段属于 llama.cpp 侧行为，我未验证（未验证）；楼上"字段没生效"的实测大概率就是 llama-server 不认这个拼写，建议先确认 llama-server 期望的参数名。