Deep Learning Recommendation Model for Personalization and Recommendation Systems, Naumov+, Facebook, arXiv‘19

[AkihikoWatanabe]

https://arxiv.org/pdf/1906.00091.pdf

[AkihikoWatanabe]

Facebookが開発したopen sourceのDeepな推薦モデル（MIT Licence）。

モデル自体はシンプルで、continuousなfeatureをMLPで線形変換、categoricalなfeatureはembeddingをlook upし、それぞれfeatureのrepresentationを獲得。
その上で、それらをFactorization Machines layer（second-order）にぶちこむ。すなわち、Feature間の2次の交互作用をembedding間のdot productで獲得し、これを1次項のrepresentationとconcatしMLPにぶちこむ。最後にシグモイド噛ませてCTRの予測値とする。

[AkihikoWatanabe]

実装: https://github.com/facebookresearch/dlrm

[AkihikoWatanabe]

Parallelism以後のセクションはあとで読む