multi_head_attention_torch.py

[WUHE-art]

作者您好，关于multi head attention代码中，self.coef=4，这里的coef=4的作用是什么呢？self.trans_dims = nn.Linear(dim, dim * self.coef)的输入输出是不同维度，但原始self attention中的Q经过现性变换前后维度相同，这是为什么呢。