flagged_words_filter算子的process_batched()输入为何没有做Fields.stats值为list的判断？

[spacegrass]

Before Asking 在提问之前

• I have read the README carefully. 我已经仔细阅读了 README 上的操作指引。

• I have pulled the latest code of main branch to run again and the problem still existed. 我已经拉取了主分支上最新的代码，重新运行之后，问题仍不能解决。

Search before asking 先搜索，再提问

• I have searched the Data-Juicer issues and found no similar questions. 我已经在 issue列表 中搜索但是没有发现类似的问题。

Question

默认是list，但其它类似的算子，比如 average_line_length_filter和character_repetition_filter都会做是否list的判断，并分别处理 - 请问这个是出于什么考虑？

[HYLcool]

嗨 @spacegrass ，抱歉给你造成了误解。

process_batched方法默认是在batch模式下运行处理，因此按理来说参数中samples一定是list。部分算子中依旧存在对list的判断主要是因为之前做重构时为了进行前向兼容（兼容非batch模式）而做的判断，我们后面会陆续把这部分代码再进行清理，感谢你指出这个问题~👍🏻