(应该是bug)：chatglm3在agent tuning数据前处理的时候，没有拼接<|assistant|>

[13269279918]

Reminder

• I have read the README and searched the existing issues.

Reproduction

在数据中{“from”:"gpt","content":"xxx"}，gpt对应的应该是assistant。
但是在前处理代码中
format_assistant=StringFormatter(slots=["\n", "{{content}}"]),
并没有在{content}前拼接<|assistant|>

Expected behavior

No response

System Info

No response

Others

No response

[hiyouga]

拼过了

LLaMA-Factory/src/llmtuner/data/template.py

Line 336 in db0ab4d

format_user=StringFormatter(slots=[{"token": "<|user|>"}, "\n", "{{content}}", {"token": "<|assistant|>"}]),

[13269279918]

拼过了

LLaMA-Factory/src/llmtuner/data/template.py

Line 336 in db0ab4d

format_user=StringFormatter(slots=[{"token": "<|user|>"}, "\n", "{{content}}", {"token": "<|assistant|>"}]),

format_user后面拼了，format_observation后面没拼。你用glaive跑一下，然后看打印出来数据样例就能看出来问题。

[13269279918]

format_user后面的<|assistant|>是给function_call预留的，observation后面也应该给gpt预留一个<|assistant|>，不然最终拼接出来的数据有问题。

[hiyouga]

感谢提醒，已修复

[13269279918]

感谢提醒，已修复

建议好好检查一下对agent-tool的训练代码，这部分应该还有很多隐含问题。因为训练效果非常差。
比如我遇到了一个问题：输出的时候每一字后面都会被加上一个空格。（目前没找到该问题的原因）

[hiyouga]

具体描述一下？

[cgq0816]

format_user后面的<|assistant|>是给function_call预留的，observation后面也应该给gpt预留一个<|assistant|>，不然最终拼接出来的数据有问题。

你好，想问一下训练出来的模型能调用function call功能吗？我自己训练出来的不能调用，请问一下如果能，训练的参数有哪些呢？