Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

显卡要求 #185

Open
liuyanqun0815 opened this issue Jul 12, 2024 · 10 comments
Open

显卡要求 #185

liuyanqun0815 opened this issue Jul 12, 2024 · 10 comments

Comments

@liuyanqun0815
Copy link

显卡使用云上的Nvidia Tesla T4,内存16G, 测试语音合成速度还是慢呢,大概1s的语音推理需要1s
image
需要调什么参数吗,内存使用也提不上去

@liuyanqun0815
Copy link
Author

企业微信截图_17207532739577
企业微信截图_17207532961449

@jianchang512
Copy link
Owner

1s没测试意义,合成1分钟的音频

@liuyanqun0815
Copy link
Author

image
测试很多了,都是视频速率, 平均1s的音频需要推理1s

@jianchang512
Copy link
Owner

升级到 0.98,打开 .env 将 merge_size 调大点,比如10,然后再试试

@liuyanqun0815
Copy link
Author

调到16,测试几笔效果没有变化,,另外同时打开两个页面,每个页面都输入内容,同时进行语音合成, 处理时长加倍了,单线程跑的吗?
测试单个合成请求
image
同时测试两个合成请求
image

另外开启了多线程,没有效果
image

@liuyanqun0815
Copy link
Author

image
当前版本28最新的

@jianchang512
Copy link
Owner

多线程没意义,除非有n个显卡并发,目前ChatTTS内核并不支持

如果调到16也无效,就只能这样了,或许ChatTTS后续内核升级会改善吧

@smallsee952
Copy link

为何推理的速度不能跑满GPU,我的1650的笔记本4G显卡跑的速度还没有MX150的2G显卡,1650只能跑25it/s,MX150都能跑30it/s,后面通过作者的方法打开 .env 将 merge_size 调大点,比如10,是快了一些,但是我觉得这个不应该是满速跑的,使用GPT-SoVITS都可以跑到45it/s,是不是Chat-TTS还不支持那么快的推理速度呢?如果知道的话,可以回复一下。

@jianchang512
Copy link
Owner

这个属于ChatTTS内核问题,目前就是跑不满,等ChatTTS优化吧

https://github.com/2noise/ChatTTS/issues

@smallsee952
Copy link

这个属于ChatTTS内核问题,目前就是跑不满,等ChatTTS优化吧

https://github.com/2noise/ChatTTS/issues

那只能等待原作者完善这个问题

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants