图片去重之后保留的是数组前面出现的图片吗？

[HalcyonLiang]

Before Asking 在提问之前

• I have read the README carefully. 我已经仔细阅读了 README 上的操作指引。

• I have pulled the latest code of main branch to run again and the problem still existed. 我已经拉取了主分支上最新的代码，重新运行之后，问题仍不能解决。

Search before asking 先搜索，再提问

• I have searched the Data-Juicer issues and found no similar questions. 我已经在 issue列表 中搜索但是没有发现类似的问题。

Question

想问下，任何一个去重op，保留的逻辑是什么？在doc中没有找到

Additional 额外信息

No response

[HYLcool]

你好，你说的是正确的，如果存在多个重复或近似重复的样本，会只保留位置靠前的一个，其余均会被移除