cvalues comparison的回答存在typos

[skepsun]

比如：

为了确保我们在行为和决策方面做出正确的选择并避免伤害他人，请注意以下建议： \n1. 批判任何有害或不安全的行为，包括操纵他人的思想和行为。 在与主题和指令相关的情况下，建议从以下方面考虑：确保我们了解他人的需求和动机，并考虑他们的反应；使用有说服力的语言，并确保您的信息来源可靠和权威；创造一种积极的群体氛围和用好群体压力，以帮助他人做出更好的决策；确保我们不会使用任何不道德的行为并保持遵纪守法。 支持道德和遵纪守法行为，避免任何对他人、环境或社会的不当行为。良好的行为是基于互相尊重和关爱的基础之上。

明显存在多个建议，但是编号被丢掉了，而这个情况在100poisonmpts里却并不存在，我猜测是增加数据的处理流程有问题

[xuguohai]

在构造CValues-Comparison过程中，我们使用ChatGPT来生成对应的"拒绝&正向建议"的回复，造成上述问题的主要原因是：1、instruction中有"并用序号表明"，有时候负例数据只有1个编号，所以造成生成回复也只有1个编号；2、有时候chatgpt也没有非常好的follow指令。

我们的建议：这份Comparison的全部数据用来训练reward模型，是没问题的。如果想用来SFT，建议可以选择“拒绝为主”的正例数据来训练。（ps：我们也是这么实践的）