运行image_deduplication的时候，consider_text的部分如何传参

[DietDietDiet]

Before Asking 在提问之前

• I have read the README carefully. 我已经仔细阅读了 README 上的操作指引。

• I have pulled the latest code of main branch to run again and the problem still existed. 我已经拉取了主分支上最新的代码，重新运行之后，问题仍不能解决。

Search before asking 先搜索，再提问

• I have searched the Data-Juicer issues and found no similar questions. 我已经在 issue列表 中搜索但是没有发现类似的问题。

Question

我使用图像去重算子，希望同时考虑文本

• image_deduplicator: # deduplicator to deduplicate samples at document-level using exact matching of images between documents.
  method: phash # hash method for image. One of [phash, dhash, whash, ahash]
  consider_text: true
  有两个问题：1. 图像的phash可以设置相似度阈值吗？ 2. 设置consider_text为true时，也希望设置相似度阈值来测试图文模态的去重效果，请问如何实现？

Additional 额外信息

No response

[liuyuhanalex]

从目前实现的代码看: 1. 不能设置阈值, 这个算子是通过hash值完全匹配来看是否重复的 2. 是说文本的相似度阈值吗? 这里调用的文本去重算子是DocumentDeduplicator, 只是计算文本的md5, consider_text=true的情况下也是完全匹配 (image_hash, md5(text)) 这个tuple (我的个人理解, 不一定对哈)