Dynamic mask是否會造成data leakage的問題？

[nickchiang5121]

若同一句子，產生多個訓練資料，每一次mask不同的詞，這樣是否會有data leakage的問題？

[brightmart]

应该问题不大。动态的方式，也有这个类似的情况吧。
因为训练数据上亿，模型应该没有办法把所有的训练数据都记住。