How to initialize the learnable relation embedding?

[chenhaishun]

在阅读本篇优秀论文的一些疑问：

• 在Relation Knowledge Injection这一小节提到要将关系的语义知识注入到关系的初始化向量中，请问是通过对某一关系中的单词频率来对embedding进行加权的吗？例如有关系 y = per:countries_of_residence，那么其候选集单词为{"person", "country", "residence“}，其概率分布为{“1/3”，“1/3”，“1/3”}，所以关系y的初始化是 y_initialized_embedding = 1/3 person_embedding + 1/3 country_embedding + 1/3 residence_embedding吗？
• 同样是这一小节中假设在一个已知 PLM 的 vocabulary 中存在一个隐式的虚拟 answer word 来表示关系标签（例如问题1中的y），请问该虚拟的word embedding如何计算得到？和问题1中的关系y的初始化是什么关系呢？
• 请问 Figure 2 (b) 中的[MASK]处得到的是[MASK]在虚拟的answer words V'的概率分布吗？其结果和relation embedding head的输出进行叉乘表示的是什么呢？（relation embedding head 表示的是问题1中的初始化关系吗？）

期待作者们的回复！非常感谢！

[njcx-ai]

您好：

1. 是的
2. 该虚拟的word embedding of answer word 就是由问题1中的关系y的初始化得到
3. Figure 2 (b) 中的[MASK]处得到的当前instance关系的向量表征，其与relation embedding（即virtual answer word 的表征）向量内积就是相似度啊，以此判断当前instance属于哪个类别。

[chenhaishun]

好的 非常感谢您的回复 @njcx-ai

[chenhaishun]

再次打搅，请问论文中“we expand the MLM Head layer of L with extra learnable relation embeddings as the virtual answer word sets V' "应当怎么理解呢？

[njcx-ai]

假设BERT的MLM Head对应15000个词汇表embedding (Ps: MLM head 最后一层的权重就是词汇表embedding，可自行查阅huggingface 代码)，我们在此基础上扩展N个作为virtual answer word的embedding。

[chenhaishun]

明白了 再次感谢您的回复 @njcx-ai