faq_zh

常见问题

问题1：后续会不会用更多数据进行训练？会不会做RLHF/DPO对齐？

答：我们会根据资源情况适时利用更多数据进行训练，以及利用偏好数据进行RLHF/DPO。目前不保证一定会推出。

问题2：为什么本次的模型没有做中文词表扩展？

答：主要有以下几个原因：1）训练效率；2）Mixtral相比LLaMA系列模型多出了一些中文token；3）考虑到量化之后的空间占用情况；4）通过小范围实验发现，扩展词表主要影响编解码效率，但对下游任务效果的影响不是很大。

问题3：是否支持Mixtral的下游生态？

答：支持。本项目推出的模型和Mixtral完全一致（包括词表），所以理论上原版支持的工具，这个项目里的模型也都支持。