[Bug]关于输入重复短语导致无限输出的问题

[tangsipeng]

Describe the bug
Sakura-13B-LNovel-v0_8-4bit 模型
输入为：
<reserved_106>将下面的日文文本翻译成中文：はっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっはっ<reserved_107>
输出为：

To Reproduce
我是按照这个python教程进行部署的
https://github.com/SakuraLLM/Sakura-13B-Galgame/wiki/Python%E9%83%A8%E7%BD%B2%E6%95%99%E7%A8%8B

Expected behavior
A clear and concise description of what you expected to happen.

Screenshots
If applicable, add screenshots to help explain your problem.

Desktop (please complete the following information):

• OS: [Linux]
• Python version [3.11]
• Whether use GPU, whether is NVIDIA GPU. [3090、A100均出现此问题]
• The version of the model you use [Sakura-13B-LNovel-v0_8-4bit]

Additional context
Add any other context about the problem here.

[sakura-umi]

#35

[Agateshefi]

@pipixia244 能请问下如何增加frequency_penalty么，云端部署着实找不到

[sakura-umi]

@pipixia244 能请问下如何增加frequency_penalty么，云端部署着实找不到

跟部署方式无关，发送请求的时候请求体带上frequency_penalty就行。如使用openai库，直接在参数中指定。

仓库中已经给出了例子：https://github.com/SakuraLLM/Sakura-13B-Galgame/blob/2c5fb94c88cb8952c0d4ed78de4fe8c33954e22b/tests/example_openai.py#L44

[Agateshefi]

@pipixia244 抱歉再请问用的是kaggle平台并用轻小说机翻机器人该把这行加到哪里呢？

[sakura-umi]

@pipixia244 抱歉再请问用的是kaggle平台并用轻小说机翻机器人该把这行加到哪里呢？

网站会自动检测退化并应用参数，不需要你自己做什么。

其他支持的项目如GalTransl和LunaTranslator也是如此。只有自己调用api时需要考虑这个问题。

[Agateshefi]

@pipixia244 那在网站也遇到这个问题是因为显卡不行吗

[sakura-umi]

@pipixia244 那在网站也遇到这个问题是因为显卡不行吗

遇到这个问题是正常的，是模型固有的问题，能够通过设置frequency_penalty的参数解决，而不是这个问题就不出现了。

[Agateshefi]

@pipixia244 好的谢谢解惑

[FFreQD]

@pipixia244 抱歉再请问用的是kaggle平台并用轻小说机翻机器人该把这行加到哪里呢？

网站会自动检测退化并应用参数，不需要你自己做什么。

其他支持的项目如GalTransl和LunaTranslator也是如此。只有自己调用api时需要考虑这个问题。

大佬我用Kaggle+GalTransl遇到同样的问题，我看Kaggle设置的是0.1，不知道怎么修改成0.2