情绪，副语言信息这些在cosytts中是怎么处理的呢？

[GuangChen2016]

你好，想问一下论文中提到的情绪 副语言信息这些，在系统中具体是怎么处理的呢？这些是被当成一个phone token然后跟正常的phone token拼在一起，一起送入text encoder吗？

比如图中的1. A happy girl with high tone and quick speech.The sun is shining brightly today. 经过前端的处理后应该是什么样的形式呢？

[aluminumbox]

the instruction text is processed using whisper tokenizer like regular text, and ends with symbol, check frontend.py for details

[GuangChen2016]

@aluminumbox 嗯，就是被当成正常的文本进行编码，编码后也送入到text encoder然后经过ar解码是么？这样不会存在一些漏字漏读问题么，模型需要学习从prompts 结束符开始才进行正常的解码？
另外，我看whisper tokenizer 的颗粒度很大，对于中文基本上就是一个汉字，英文大部分是一个单词，这些就直接作为ar模型的输入了吗？
多谢多谢啦

[github-actions]

This issue is stale because it has been open for 30 days with no activity.