-
Notifications
You must be signed in to change notification settings - Fork 75
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
HiFiSVC训练问题 #47
Comments
我更倾向于是数据预处理的问题.. 你最好还是压缩上传下数据, 我来 debug... |
https://openi.pcl.ac.cn/attachments/4d7342ae-be05-4ceb-aa95-37ef57192209?type=0 |
在下载了 |
等我跑完手上的模型应该要 40h 左右, 急的话我给你单独开个炉... |
不急 |
训练已开始, 九尾保佑不要炸炉 (https://api.wandb.ai/links/fish-audio/aem9meb5) |
我没遇到你的问题, 但是 loss 已经爆炸3锅了, 可能需要一些调整. |
悲( |
Autovocoder ready for training? |
我这边还在测试, 在调整结构, 不推荐你现在跑. |
OK,啥时候能跑了告诉我一声() |
能问下用hifisvc训练很吃显存吗?batch_size = 20的情况下 都把32G显存瞬间吃满了? |
你数据集带了 segment size 么, 我 20 bs 大概是 10G |
用得utils里的get_dataset_from_sub_folder。 |
NaN 问题应该基本解决了, 等我跑两天没问题推上来 |
修好了, 不会 NaN 了, 佬你试试 |
确实是不Nan了,loss飞到无限了…… |
主打一个自由, 其实飞无限的 bug 也解决了, 在 |
绷不住 |
Diff的1024跑完了,500M参数大概能吃满80G显存。相比768还是有提升的,但是和算力开销不成正比了已经。 |
悲 ( 不过 1024 也太刺激了 |
我摆了,先搁置吧() |
如题。
https://wandb.ai/stardust-minus/HiFiSVC
在开了5次训练之后发现没有一个收敛成功的,期间尝试了降低lr,缩减speaker等等操作。
正在尝试修改网络参数,请问如何去修改model config来增加参数量?
The text was updated successfully, but these errors were encountered: