[BERT] support 2D attention mask

[JunnYu]

PR types

Bug fixes

PR changes

Models

Description

support 2D attention mask

[JunnYu]

BERT当前不支持2D的attention mask。

import paddle
from paddlenlp.transformers import BertModel,BertTokenizer

path = "bert-base-chinese"
model = BertModel.from_pretrained(path)
tokenizer = BertTokenizer.from_pretrained(path)
model.eval()

text = "欢迎使用paddlenlp！"
inputs = {
    k: paddle.tile(paddle.to_tensor(
        v, dtype="int64").unsqueeze(0),[2,1])
    for k, v in tokenizer(text,return_attention_mask=True).items()
}

with paddle.no_grad():
    hidden_states = model(**inputs)[0]

print(hidden_states.shape)

[yingyibiao]

LGTM