[Question] 论文中数据增强方法的一些疑惑？

[wangyuxinwhy]

论文中数据增强在小样本数据集上取得了大幅的性能提升，但是数据增强具体的方案没有细谈。我根据论文中的描述，不知道按照以下理解是否正确：

论文中的数据增强是指，通过添加 训练数据集外 相似的文本数据，让教师网络和学生网络在这些样本中通过 中间层 hidden or att 的匹配 loss 进行学习，而忽略掉 logits，因此数据增强这部分其实不需要任何标签。

感谢 HFL 能一直提供如此之多的高质量开源项目，实实在在的为中文 NLP 带来了巨大的积极影响！

[airaria]

差不多是这样，
不过中间层的hidden or att 以及最后的logits都是用的，
通过teacher给增强数据打logits标签，可以参见我在这里的回复
##37 (comment)

[stale]

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your contributions.