大規模言語モデルにおいて､「知識は全結合層に蓄積される」という仮説についての文献調査

[AkihikoWatanabe]

https://note.com/kan_hatakeyama/n/n04ef3afecba9?sub_rt=share_pb

[AkihikoWatanabe]

タイトルの通り、知識がFFNに蓄積されていると主張しているらしい原論文を読み解いている。まとめを引用すると

「知識は全結合層に蓄積される」という表現は､ややラジカルで､
少なくともこの論文では「全結合層は知識獲得において重要」という程度
の､もう少しマイルドな主張をしているように見受けられました｡

とのこと。