训练是loss很不稳定,字错率下降慢

[panliang5020]

目前模型已经训练了14个epoch,训练时loss频繁变化,最低为1,最高可到40多,字错率从初始0.57下降到0.49,不知道这是否是正常现象

[yeyupiaoling]

这应该是正常的，你训练那个数据集？

[panliang5020]

这应该是正常的，你训练那个数据集？

WenetSpeech数据集与前三个开源小型数据集

[yeyupiaoling]

字错率一开始就是0.57 ？batch size是多少？

[panliang5020]

字错率一开始就是0.57 ？batch size是多少？

batch size 32 使用多卡训练

[yeyupiaoling]

是正常的，一般是在20多轮的时候有较大的下降。你也可以用VisualDL查看训练log的变化，有loss有没有在减小的趋势。要看整体趋势，不能只看某个值，因为音频的长度不一。

[yeyupiaoling]

训练时间有点久，训练时，GPU占用大吗？

[panliang5020]

训练时间有点久，训练时，GPU占用大吗？

两块卡一共占了27g多,训练速度属实有点慢了,一个epoch37,8小时

[yeyupiaoling]

我问得是这个占用率。因为通常情况下，数据读取和预处理会导致GPU的占用率不够，WenetSpeech的数量很多，如果是机械硬盘，会导致读取速度变慢。

这个要注意。

[panliang5020]

[yeyupiaoling]

这就没问题了。等训练20多轮的时候变化情况

[panliang5020]

这就没问题了。等训练20多轮的时候变化情况

好的,感谢解惑

[yeyupiaoling]

有变化吗？

[panliang5020]

有变化吗？

依旧表现不太好,字错率没有下降

[yeyupiaoling]

对了，现在提供了更大的模型deepspeech2_big，你可以试试这个模型训练。

PPASR/train.py

Line 15 in 5141986

add_arg('use_model', str, 'deepspeech2', '所使用的模型', choices=['deepspeech2', 'deepspeech2_big'])