[Docs] Add docs/zh_cn/preparation/prompt_template.rst

[LZHgrla]

No description provided.

[pppppM]

有些 base 模型的 tokenizer 和 chat 模型不一样，需要说一下怎么解决

@amulil 给点建议？

[amulil]

目前我是手动解决的，拿 yi-34b-chat 和 yi-34-200k（想让 200k 和 chat 一样使用 chatml 的对话模版） 为例子：

1. 对比 yi-34b-chat 和 yi-34b-200k 的 tokenizer.json 文件，看词表大小一样不，因为 yi 没提供 json 的格式，需要手动下载一下：

from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("01-ai/Yi-34B-Chat")
tokenizer.save_pretrained("01-ai/Yi-34B-Chat")

2. 对比之后，发现 Yi-34B-Chat 的 bos 和 eos 的 token_id 和 Yi-34B-200k 不一样，这部分以要微调的模型为准，所以保留 Yi-34B-200k 的 bos 和 eos，然后 special_tokens_map.json 、tokenizer_config.json 覆盖原始的 Yi-34B-200K 的文件，然后把 eos 和 bos 改成 Yi-34-200k 使用的。
3. tokenizer.json 里的 added_tokens 字段和 Yi-34B-Chat 同步，对齐 bos 和 eos。
4. tokenizer.json 还有 normalizer,pre_tokenizer,post_processor, decoder chat 和 base 也会有差别，都以 chat 的配置为准。（这个不知道会对效果有影响不）
5. 还有就是如果直接用 Yi-34B-200k 使用 xtuner 里的 qwen_chat(chatml) 模版：

    qwen_chat=dict(
        SYSTEM=('<|im_start|>system\n{system}<|im_end|>\n'),
        INSTRUCTION=('<|im_start|>user\n{input}<|im_end|>\n'
                     '<|im_start|>assistant\n'),
        SUFFIX='<|im_end|>',
        SUFFIX_AS_EOS=True,
        SEP='\n',
        STOP_WORDS=['<|im_end|>', '<|endoftext|>']),

SUFFIX_AS_EOS 设置为 False，SUFFIX 还是存在的，数据量少的时候比较难训练，得把 SUFFIX 干掉。
6. 有没有比较方便的自动化更新的脚本，还在思考。
7. 还有就是现在 base 都使用 default 模版是有问题的，因为如果没有加 specical token 的配置，类似 <|system|> 一个 token 会拆成很多个 token，并没有实现对话模版想要有的效果。

[hhaAndroid]

有些 base 模型的 tokenizer 和 chat 模型不一样，需要说一下怎么解决

@amulil 给点建议？

我有点不明白，在微调 base 和 微调 chat 时候不是应该选择对应的 tokenizer 吗？ 会存在跨 tokenizer 使用的场景吗？

[amulil]

有些 base 模型的 tokenizer 和 chat 模型不一样，需要说一下怎么解决
@amulil 给点建议？

我有点不明白，在微调 base 和 微调 chat 时候不是应该选择对应的 tokenizer 吗？ 会存在跨 tokenizer 使用的场景吗？

直接用 base 的 tokenizer 可能会把对话模版的 一个 token 编码成 几个 token，虽然看起来 text 还是一样，但和使用对话模版的初衷不一样了，就得改 base 的 tokenizer 的配置，让 tokenizer 正确编码对话模版。

[pppppM]

有些 base 模型的 tokenizer 和 chat 模型不一样，需要说一下怎么解决
@amulil 给点建议？

我有点不明白，在微调 base 和 微调 chat 时候不是应该选择对应的 tokenizer 吗？ 会存在跨 tokenizer 使用的场景吗？

@hhaAndroid 很多模型的 base tokenizer 中不包含对话模板的 token
https://huggingface.co/internlm/internlm2-1_8b/blob/main/tokenizer_config.json#L19
https://huggingface.co/internlm/internlm2-chat-1_8b/blob/main/tokenizer_config.json#L40-L87

[LZHgrla]

@pppppM @amulil @hhaAndroid

最正确的做法确实是要修改 tokenizer，一种修改方式是直接应用 chat 模型的 tokenizer 到 base 的微调中。

但感觉如果放到 xtuner 的应用场景，会不会把问题搞复杂了？如果用户在微调 base 模型时，期望使用 chat 的模版，那依旧使用 base 的 tokenizer，直接把特殊词当普通 text 来训会不会更合适？
目前想到有两个优势（主要是1）

1. 普通 text 是有语义的，而 special_tokens 没有。因此，使用普通 text 可以避免在数据量不够或数据质量不高的时候，special_tokens 表现不好的情况。
2. 从整个流程来看，可以确保 tokenizer、llm 两者与模型开源仓库的对齐，从而避免后续应用时的混用。

[pppppM]

这个事还是要强调一下，实际答疑的过程中，还是因为不知道这件事而用错了 tokenizer 的居多，从 base 训完模型后发现原来chat 模型的工具链出问题了

[LZHgrla]

@pppppM 增加了一个 小贴士～

[amulil]

这里任选对话模版后，可以用 https://github.com/InternLM/xtuner/blob/main/xtuner/tools/log_dataset.py 这个工具打印下
text 和 input_ids 信息，看下任选的对话模版是否编码正确，编码正确，在进行训练