tts速度问题

[FredGoo]

我在开发机上和成一段20字左右的语音需要20十多秒,是我的电脑配置太差了,有啥优化方案么

[yt605155624]

使用 command line 第一次执行会下载模型
每次执行都会加载模型，想加速推荐您使用 example 里面的方法，可以只加载一次模型就推理多句 https://github.com/PaddlePaddle/PaddleSpeech/tree/develop/examples/csmsc/tts3
也可以使用 python api, 只会在第一次执行的时候加载模型，之后都不会加载
develop 版本的 cli 已经对长句按标点切分，按照分句合成再合并，您可以尝试对于不同的分句，多进程调用之后再合成，看看是否能加速
请问您是使用 cpu 推理嘛？可以尝试使用 aistuio, 可以免费使用 gpu

[FredGoo]

用的python api生成的,目前用的cpu,那我用aistudio试试

[xwydq]

使用 command line 第一次执行会下载模型 每次执行都会加载模型，想加速推荐您使用 example 里面的方法，可以只加载一次模型就推理多句 https://github.com/PaddlePaddle/PaddleSpeech/tree/develop/examples/csmsc/tts3 也可以使用 python api, 只会在第一次执行的时候加载模型，之后都不会加载 develop 版本的 cli 已经对长句按标点切分，按照分句合成再合并，您可以尝试对于不同的分句，多进程调用之后再合成，看看是否能加速 请问您是使用 cpu 推理嘛？可以尝试使用 aistuio, 可以免费使用 gpu

python api 是按照如下方式吗

from paddlespeech.cli import TTSExecutor
tts_executor = TTSExecutor()
wav_file = tts_executor(
    text='对数据集进行预处理',
    output='%s.wav' % uuid.uuid4(),
    am='fastspeech2_csmsc',
    am_config=None,
    am_ckpt=None,
    am_stat=None,
    spk_id=0,
    phones_dict=None,
    tones_dict=None,
    speaker_dict=None,
    voc='pwgan_csmsc',
    voc_config=None,
    voc_ckpt=None,
    voc_stat=None,
    lang='zh',
    device=paddle.get_device())

速度很慢，这种响应时间都要5,6秒。CPU这个响应时长正常？

[yt605155624]

@xwydq 刚发现了一个问题， 现在已发布版本 tts python api 第二次调用还是加载了模型，刚才已经修复了问题
原本的条件是，在第一次调用之后，就不用重新加载模型了，但是之前的判断规则写错了，现在已经改好了，

PaddleSpeech/paddlespeech/cli/tts/infer.py

Line 434 in ae521d3

if hasattr(self, 'am_inference') and hasattr(self, 'voc_inference'):

您可以安装 develop 版本的 PaddleSpeech (clone 仓库后 pip install .) 再看看用 python api 第二次的调用时间

[xwydq]

测试了下的确是这个问题 👍

[yt605155624]

安装最新的 develop ，我使用如下代码在 GPU 上运行结果如下（因为之前调用过，所以模型已经下载好了）

from paddlespeech.cli import TTSExecutor
import time
import paddle
tts_executor = TTSExecutor()
time_1 = time.time()
wav_file = tts_executor(
    text='对数据集进行预处理',
    output='1.wav',
    am='fastspeech2_csmsc',
    am_config=None,
    am_ckpt=None,
    am_stat=None,
    spk_id=0,
    phones_dict=None,
    tones_dict=None,
    speaker_dict=None,
    voc='pwgan_csmsc',
    voc_config=None,
    voc_ckpt=None,
    voc_stat=None,
    lang='zh',
    device=paddle.get_device())
time_2 = time.time()
print("time of first time:", time_2-time_1)
wav_file = tts_executor(
    text='你好吗',
    output='2.wav',
    am='fastspeech2_csmsc',
    am_config=None,
    am_ckpt=None,
    am_stat=None,
    spk_id=0,
    phones_dict=None,
    tones_dict=None,
    speaker_dict=None,
    voc='pwgan_csmsc',
    voc_config=None,
    voc_ckpt=None,
    voc_stat=None,
    lang='zh',
    device=paddle.get_device())
print("time of second time:", time.time()-time_2)

time of first time: 14.119463205337524
[2022-02-17 11:07:20,596] [    INFO] - Models had been initialized.
time of second time: 0.09334707260131836

使用 CPU

export CUDA_VISIBLE_DEVICES=

结果如下：

time of first time: 12.853452920913696
[2022-02-17 11:10:51,317] [    INFO] - Models had been initialized.
time of second time: 1.82204008102417

可以发现，使用 CPU 的时间是 1.82s 使用 GPU 的时间是 0.093s, 第一次执行慢是因为需要加载模型
之前的判断条件错了，导致第二次执行还是加载了模型

[FredGoo]

好的，十分感谢，明天去公司试一下

[FredGoo]

能不能加一个加载模型的方法，在第一次合成之前我可以手动调一下，这样第一次也不会慢了。
之前用paddlenlp可以这样操作的。

[yt605155624]

这个可以看 https://github.com/PaddlePaddle/PaddleSpeech/blob/develop/paddlespeech/cli/tts/infer.py 相关代码， 其实如果要求比较高，可以直接看 https://github.com/PaddlePaddle/PaddleSpeech/tree/develop/examples/csmsc/tts3 相关代码，用 shell 脚本调用

[FredGoo]

好的，我先看一下

[yt605155624]

CPU 推理时可以设置环境变量 export OMP_NUM_THREADS={线程数} 加速，但是目前 paddle 很多 CPU 算子都没有支持多线程，所以加速效果有限~

[yt605155624]

使用 TTS CLI 时，加载本地自定义的模型，参考：#2225