标点模型(punc model)推理速度过慢

[songyinghao]

What is your question?

使用标点模型(punc_ct-transformer_cn-en-common-vocab471067-large)时，推理速度很慢，20S左右
v2.0.4

Code

# punc_model
punc_model = AutoModel(model=punc_model_path,
                       device = "cuda",
                       ngpu = 1
                    )
sentence = punc_model.generate(input="你好，这是一个测试")[0]["text"]
print(sentence)

What have you tried?

What's your environment?

• OS (e.g., Linux):
• FunASR Version (e.g., 1.0.3):直接拉取最新的git代码
• Any other relevant information:

[jbang2004]

是不是gpu启动的开销？

[songyinghao]

是不是gpu启动的开销？

不是，模型加载到内存后，每次推理都很慢，能帮忙试验一下吗？

[AlvinAi96]

是不是gpu启动的开销？

不是，模型加载到内存后，每次推理都很慢，能帮忙试验一下吗？

我也发现了，无论句子长度，基本都是单次输入耗时在20s左右，GPU均已调用。请问有解决方案吗？

[LauraGPT]

This is a bug, please update funasr.