You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
哈喽,拜读了大作,很佩服你们的工作。
论文在附录B中提到:"won't leak the information to the autogressive generative objection ..."
但看源码时发现一点疑惑,OAG数据文本生成时,您使用LSTM进行的解码。输入的其实是论文标题的全部正确字符(emb),就是说每次预测下一个字符-i时,用的都是前i-1个正确字符。这里跟传统的自回归文本生成不太一样,请问作者是基于训练难易度的考虑吗?
是因为下游任务不需要文本生成,这里只是利用文本生成做预训练来提升模型对图结构和节点属性文本的学习,所以不需要那么严格的自回归?
The text was updated successfully, but these errors were encountered:
哈喽,拜读了大作,很佩服你们的工作。
论文在附录B中提到:"won't leak the information to the autogressive generative objection ..."
但看源码时发现一点疑惑,OAG数据文本生成时,您使用LSTM进行的解码。输入的其实是论文标题的全部正确字符(emb),就是说每次预测下一个字符-i时,用的都是前i-1个正确字符。这里跟传统的自回归文本生成不太一样,请问作者是基于训练难易度的考虑吗?
是因为下游任务不需要文本生成,这里只是利用文本生成做预训练来提升模型对图结构和节点属性文本的学习,所以不需要那么严格的自回归?
The text was updated successfully, but these errors were encountered: