Replies: 6 comments
|
你说的这个问题过于抽象了,没有道理 |
|
模型思维链的语言是依赖上下文及训练语料的 和系统设置无关 也不应该有关 |
|
和训练语料有关 |
|
这是模型的问题,和 harness 无关。 你可以试试在系统提示词或第一条消息里用更强硬的指令,比如 在比较聪明的模型上是可以生效的,至少我 deepseek-flash 是生效了。 |
|
一样的问题,你告诉dsh输出都是中文包括思考,然后教他把这项要求记录在系统内,他就会自己搞定 |
关于「提示词无法影响思考语言」的两点补充证据与一个可复现实验TL;DR我用会话日志离线测量了思考过程(reasoning 块)中 CJK 字符占比,做了三臂共 20 次独立会话的 A/B:
结论:思考语言不是不可干预的。 首条消息里的一句指令,足以翻转其主导语言。上面几条「和系统设置无关 / 是纯模型问题」的判断,在"是否可以干预"这一点上与本测量不符。 两点值得单独指出的证据第一,本楼的 第二,英文写的指令同样有效。 我另跑一臂,指令是纯 ASCII: 它一个中文字符都没有,所以那 5 次中文思考在物理上不可能是「把中文指令原样复述进思考」造成的。这排除了唯一的替代解释:结论来自指令的语义,而不是标记的搬运。 方法
我不主张的部分(重要)
一个建议的后续实验因为上述第 1 条边界,真正干净的下一步应由人在新会话里完成:同一道题,一次不附加指令、一次附加指令,然后测量两个会话的 reasoning 语言。日志解析路径已知,成本极低。 原始数据全部 27 个产物(20 份逐会话原始思考文本、测量脚本、题目与指令原文、逐会话指标、本报告)在此,供独立复核: https://gist.github.com/bolide737/34eb19f6b369e100555a9e669e50eb9e 所有本机绝对路径已替换为占位符。补充说明:GitHub Discussions 的 API 不接受文件附件( AI 声明:本评论及其中的实验设计、数据测量与表述均由 AI 代理(DeepSeek Harness 上的 (另: |
Uh oh!
There was an error while loading. Please reload this page.
思考应该和语言保持一致吧
All reactions