PLATO-LTM中的Persona Extractor一些疑惑

[cingtiye]

非常感谢Baidu的开源~

有两个问题希望可以解答一下：
1): 关于在PLATO-LTM中的Persona Extractor，在我看来应该有四个作用：PE用来判断一句话是否需要用到角色信息和一句话是否可以作为角色信息，所以PE是否应该是一个四分类的分类器？，即：0-不能作为角色信息、1-可以作为机器人的角色信息、2-可以作为用户的角色信息、3-需要用到Memory中的角色信息**，其中1和2作为Positive sample.

2):关于开源数据集如何训练PE
开源的数据集似乎不是训练PE的数据集，请问是否有开源计划？

非常希望得到解答~
祝520快乐~

[ruleGreen]

这个code似乎还没有开源吧？
找了一圈没找到

[cingtiye]

这个code似乎还没有开源吧？ 找了一圈没找到

是的这个issue发了好几天了，咋也没有人回我，愁

[fengmingfeng]

现在已经开源了

…

------------------ 原始邮件 ------------------ 发件人: "PaddlePaddle/Research" ***@***.***>; 发送时间: 2022年5月27日(星期五) 中午11:00 ***@***.***>; ***@***.***>; 主题: Re: [PaddlePaddle/Research] PLATO-LTM中的Persona Extractor一些疑惑 (Issue #264) 这个code似乎还没有开源吧？ 找了一圈没找到 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: ***@***.***>

[cingtiye]

现在已经开源了
…
------------------ 原始邮件 ------------------ 发件人: "PaddlePaddle/Research" @.>; 发送时间: 2022年5月27日(星期五) 中午11:00 @.>; @.>; 主题: Re: [PaddlePaddle/Research] PLATO-LTM中的Persona Extractor一些疑惑 (Issue #264) 这个code似乎还没有开源吧？ 找了一圈没找到 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.>

请问你指的是代码还是我问的数据集没看见啊

[ZubinGou]

非常感谢Baidu的开源~

有两个问题希望可以解答一下： 1): 关于在PLATO-LTM中的Persona Extractor，在我看来应该有四个作用：PE用来判断一句话是否需要用到角色信息和一句话是否可以作为角色信息，所以PE是否应该是一个四分类的分类器？，即：0-不能作为角色信息、1-可以作为机器人的角色信息、2-可以作为用户的角色信息、3-需要用到Memory中的角色信息**，其中1和2作为Positive sample.

2):关于开源数据集如何训练PE 开源的数据集似乎不是训练PE的数据集，请问是否有开源计划？

非常希望得到解答~ 祝520快乐~

非常感谢关注！

1. Persona Extractor（PE）基于二分类，直接判断句子是否为画像信息。PE 的训练数据未全部开源，但可以使用我们开源的 DuLeMon 数据中的画像句子作为正例，再采样一些不含画像的 utterance 作为负例直接训练。这边实验抽取效果还不错～

2. 因为 PLATO 系列中文对话模型均尚未开源，而我们的 PLATO-LTM 基于 PLATO-2，很抱歉暂时也无法开源代码和模型，目前开源了较大规模的全量 DuLeMon 对话数据，欢迎基于这个数据开展相关工作～

[cingtiye]

非常感谢Baidu的开源~
有两个问题希望可以解答一下： 1): 关于在PLATO-LTM中的Persona Extractor，在我看来应该有四个作用：PE用来判断一句话是否需要用到角色信息和一句话是否可以作为角色信息，所以PE是否应该是一个四分类的分类器？，即：0-不能作为角色信息、1-可以作为机器人的角色信息、2-可以作为用户的角色信息、3-需要用到Memory中的角色信息**，其中1和2作为Positive sample.
2):关于开源数据集如何训练PE 开源的数据集似乎不是训练PE的数据集，请问是否有开源计划？
非常希望得到解答~ 祝520快乐~

非常感谢关注！

1. Persona Extractor（PE）基于二分类，直接判断句子是否为画像信息。PE 的训练数据未全部开源，但可以使用我们开源的 DuLeMon 数据中的画像句子作为正例，再采样一些不含画像的 utterance 作为负例直接训练。这边实验抽取效果还不错～
2. 因为 PLATO 系列中文对话模型均尚未开源，而我们的 PLATO-LTM 基于 PLATO-2，很抱歉暂时也无法开源代码和模型，目前开源了较大规模的全量 DuLeMon 对话数据，欢迎基于这个数据开展相关工作～

非常感谢您的回复~

请问测试PE的数据集（文章说是手动标注了200个样例用于测试），请问这200个样例是在DuLeMon的self/test.json还是both/test.json上手动标注的，还是其他数据集上手动标注的？我也想和文章的PE比较一下性能~

[ZubinGou]

非常感谢Baidu的开源~
有两个问题希望可以解答一下： 1): 关于在PLATO-LTM中的Persona Extractor，在我看来应该有四个作用：PE用来判断一句话是否需要用到角色信息和一句话是否可以作为角色信息，所以PE是否应该是一个四分类的分类器？，即：0-不能作为角色信息、1-可以作为机器人的角色信息、2-可以作为用户的角色信息、3-需要用到Memory中的角色信息**，其中1和2作为Positive sample.
2):关于开源数据集如何训练PE 开源的数据集似乎不是训练PE的数据集，请问是否有开源计划？
非常希望得到解答~ 祝520快乐~

非常感谢关注！

1. Persona Extractor（PE）基于二分类，直接判断句子是否为画像信息。PE 的训练数据未全部开源，但可以使用我们开源的 DuLeMon 数据中的画像句子作为正例，再采样一些不含画像的 utterance 作为负例直接训练。这边实验抽取效果还不错～
2. 因为 PLATO 系列中文对话模型均尚未开源，而我们的 PLATO-LTM 基于 PLATO-2，很抱歉暂时也无法开源代码和模型，目前开源了较大规模的全量 DuLeMon 对话数据，欢迎基于这个数据开展相关工作～

非常感谢您的回复~

请问测试PE的数据集（文章说是手动标注了200个样例用于测试），请问这200个样例是在DuLeMon的self/test.json还是both/test.json上手动标注的，还是其他数据集上手动标注的？我也想和文章的PE比较一下性能~

文中的200个测试样例是在额外数据集上手动标注的，更接近真实应用场景些，这部分没有进行开源。我们也有直接用 self + both 训练的 PE 在 self + both 测试集上测试，结果为：Recall@1=0.59，Recall@3=0.83，Recall@5=0.91。

[cingtiye]

您好，再向您咨询两个问题：
1、论文中的PLATO-LTM用的是PLATO-2第一阶段1v1的模型还是第二阶段1vN的模型？我个人觉得用1v1的模型，由于隐变量存在，直接在画像对话中微调应该挺难训练的；而且如果直接用1vN的模型，那么只用NLL损失吗？
2、论文中的PLATO-LTM需要在画像对话中微调，用的解码方式是什么？sampling还是其他的？如果是sampling的话，直接就返回一句话吗后面不做冲突检测了？因为我觉得如果返回多句话，并且做冲突检测，是不是可以提高PLATO-LTM的在事实一致性上的表现。

非常感谢您的回复~

[ZubinGou]

您好，再向您咨询两个问题： 1、论文中的PLATO-LTM用的是PLATO-2第一阶段1v1的模型还是第二阶段1vN的模型？我个人觉得用1vN的模型，由于隐变量存在，直接在画像对话中微调应该挺难训练的；而且如果直接用1vN的模型，那么只用NLL损失吗？ 2、论文中的PLATO-LTM需要在画像对话中微调，用的解码方式是什么？sampling还是其他的？如果是sampling的话，直接就返回一句话吗后面不做冲突检测了？因为我觉得如果返回多句话，并且做冲突检测，是不是可以提高PLATO-LTM的在事实一致性上的表现。

非常感谢您的回复~

1. 论文中使用的 PLATO-2 中文模型是 1v1 模型，不含隐变量，所以直接用 NLL loss 在 DuLeMon 上微调；
2. 微调训练阶段不需要解码，推理时我们使用 sampling 多样性更好；在工程应用上，冲突检测可以在一定程度上提高事实一致性～