求概率还是用AR model

[mlpod]

依照bert-as-language-model的思路，p(a,b) = p(a|b)*p(b|a)，显然错误，这得到的根本不是概率。
求概率还是用AR model：p(a,b) = p(a)*p(b|a)

[xu-song]

对，这里的近似是不严谨的，但表征句子通顺度、困惑度应该是没问题的。