不断输出重复的文字

[highkay]

Description

如果输出内容比较长，会不断出现重复的字符串

Steps to Reproduce (required)

1. 选择一张图
2. prompt为返回图中的文字

Expected Behavior

返回准确完整的文字

Actual Behavior

不断输出重复的文字，例如

服务名称：项目名称

服务描述：项目名称：项目名称

服务状态：已通过

服务状态：已通过

服务描述：项目名称：项目名称

服务状态：已通过

项目名称：项目名称

服务描述：项目名称：项目名称

服务状态：已完成

服务描述：项目名称：项目名称

服务状态：已完成

服务状态：已完成

服务描述：项目名称：项目名称

服务描述：项目名称：项目名称

服务状态: 已通过

服务描述：项目名称：项目名称

服务状态: 已通过

项目名称：项目名称

服务描述：项目名称：项目名称
服务状态: 已通过

服务描述：项目名称：项目名称

服务描述：项目名称：项目名

或者

Hakate Toolbox

Hakate Toolbox

Hakate Toolbox

Hakate ToolBox

Hakate Toolbox

Hakate Toolbox

HakateToolbox

Hakate Toolbox

Hakate Toolbox

Hakete Toolbox

Hakete Toolbox

Hakete Toolbox

Hekate Toolbox

Hekate Toolbox

Hekate Toolbox

Hakete Toolbox

Hekate Toolbox

Hakete Toolbox

Hakete Toolbox

Ultraland

Hakete Toolbox

Hakete Toolbox

HaketeToolbox

Hakete Toolbox

Hakete Toolbox

Haketa Toolbox

Haketa Toolbox

Haketa Toolbox

Hekate Toolbox

Hekate Toolbox

Hoketo Toolbox

Hoketo Toolbox

Hoketo Toolbox

Hekate Toolbox

Hoketo Tool

Environment (required)

win11+cuda12.4+rtx 2080ti，使用的是server模式

Runtime Settings (required)

[models]
active = "paddleocr-vl-q6k"

[models.entries.deepseek-ocr]
kind = "deepseek"

[models.entries.deepseek-ocr-q4k]
kind = "deepseek"

[models.entries.deepseek-ocr-q4k.snapshot]
dtype = "Q4_K"

[models.entries.deepseek-ocr-q6k]
kind = "deepseek"

[models.entries.deepseek-ocr-q6k.snapshot]
dtype = "Q6_K"

[models.entries.deepseek-ocr-q8k]
kind = "deepseek"

[models.entries.deepseek-ocr-q8k.snapshot]
dtype = "Q8_0"

[models.entries.paddleocr-vl]
kind = "paddle_ocr_vl"

[models.entries.paddleocr-vl-q4k]
kind = "paddle_ocr_vl"

[models.entries.paddleocr-vl-q4k.snapshot]
dtype = "Q4_K"

[models.entries.paddleocr-vl-q6k]
kind = "paddle_ocr_vl"

[models.entries.paddleocr-vl-q6k.snapshot]
dtype = "Q6_K"

[models.entries.paddleocr-vl-q8k]
kind = "paddle_ocr_vl"

[models.entries.paddleocr-vl-q8k.snapshot]
dtype = "Q8_0"

[inference]
device = "cuda"
template = "plain"
base_size = 1024
image_size = 640
crop_mode = true
max_new_tokens = 512
use_cache = true
do_sample = false
temperature = 0.0
top_p = 1.0
repetition_penalty = 1.0
no_repeat_ngram_size = 20

[server]
host = "0.0.0.0"
port = 8008

Inputs & Assets (required)

Logs & Screenshots (required)

Additional Context

[TimmyOVO]

什么模型，prompt是什么，量化是什么类型

[highkay]

什么模型，prompt是什么，量化是什么类型

paddle-ocr，就是返回图中的内容，q6k

[TimmyOVO]

什么模型，prompt是什么，量化是什么类型

paddle-ocr，就是返回图中的内容，q6k

换官方的prompt试一下

PROMPTS = {
"ocr": "OCR:",
"table": "Table Recognition:",
"formula": "Formula Recognition:",
"chart": "Chart Recognition:",
}