数据重复

[ggboondl]

为什么很多数据都是重复的呢

[taishan1994]

哪个数据集

[xuanxuanxuanxuan]

哪个数据集

比如”BERT-Relation-Extraction-main\data\duie\re_data\train.txt“路径下的就挺多重复，数据需要去重嘛

[taishan1994]

里面的关系不一样。

[xuanxuanxuanxuan]

里面的关系不一样。
嗯？怎么理解不一样呢，不都是季冠霖 周芷若 配音；而且上面7句话，一摸一样的呀? 是我哪里忽略了嘛

[taishan1994]

labels里面是一样的么

[xuanxuanxuanxuan]

labels里面是一样的么

嗯，我已经把图片上传了，不知道您是否看得到

[taishan1994]

看到了，确实重复了，可以考虑删除掉。

[zengtao1978]

process.py get_re_data 方法代码错误。
ent_rel_dict[spo["predicate"]].append((sbj, obj))
res.append(tmp) 错误
->
res.append(tmp.copy()) 修改后