LightLM: A Lightweight Deep and Narrow Language Model for Generative Recommendation, Kai Mei+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2310.17488

Affiliations

• Kai Mei, N/A
• Yongfeng Zhang, N/A

Abstract

• This paper presents LightLM, a lightweight Transformer-based language modelfor generative recommendation. While Transformer-based generative modeling hasgained importance in various AI sub-fields such as NLP and vision, generativerecommendation is still in its infancy due to its unique demand on personalizedgenerative modeling. Existing works on generative recommendation often useNLP-oriented Transformer architectures such as T5, GPT, LLaMA and M6, which areheavy-weight and are not specifically designed for recommendation tasks.LightLM tackles the issue by introducing a light-weight deep and narrowTransformer architecture, which is specifically tailored for direct generationof recommendation items. This structure is especially apt for straightforwardgenerative recommendation and stems from the observation that language modeldoes not have to be too wide for this task, as the input predominantly consistsof short tokens that are well-suited for the model's capacity. We also showthat our devised user and item ID indexing methods, i.e., SpectralCollaborative Indexing (SCI) and Graph Collaborative Indexing (GCI), enablesthe deep and narrow Transformer architecture to outperform large-scale languagemodels for recommendation. Besides, to address the hallucination problem ofgenerating items as output, we propose the constrained generation process forgenerative recommenders. Experiments on real-world datasets show that LightLMoutperforms various competitive baselines in terms of both recommendationaccuracy and efficiency. The code can be found athttps://github.com/dongyuanjushi/LightLM.

Translation (by gpt-3.5-turbo)

• この論文では、軽量なTransformerベースの言語モデルであるLightLMを提案します。Transformerベースの生成モデリングは、NLPやビジョンなどのさまざまなAIのサブフィールドで重要性を増していますが、個別の生成モデリングに特化した生成型レコメンデーションはまだ初期段階です。既存の生成型レコメンデーションの研究では、T5、GPT、LLaMA、M6などのNLP志向のTransformerアーキテクチャがよく使用されていますが、これらは重く、レコメンデーションタスクに特化していません。LightLMは、直接的なレコメンデーションアイテムの生成に特化した軽量で狭いTransformerアーキテクチャを導入することで、この問題に取り組んでいます。この構造は、単語数が少なく、モデルの容量に適しているため、このタスクにはモデルがあまり広くなる必要がないという観察結果に基づいています。また、ユーザーとアイテムのIDインデックス化方法として、Spectral Collaborative Indexing（SCI）とGraph Collaborative Indexing（GCI）を提案し、深くて狭いTransformerアーキテクチャがレコメンデーションのための大規模言語モデルを上回ることを示しています。さらに、出力としてアイテムを生成する際のhallucinationの問題に対処するために、制約付き生成プロセスを提案しています。実世界のデータセットでの実験結果は、LightLMがレコメンデーションの精度と効率の両方でさまざまな競合ベースラインを上回ることを示しています。コードはhttps://github.com/dongyuanjushi/LightLMで入手できます。

Summary (by gpt-3.5-turbo)

• この論文では、軽量なTransformerベースの言語モデルであるLightLMを提案し、生成型レコメンデーションタスクに特化したモデルを開発しています。LightLMは、モデルの容量を抑えつつも、レコメンデーションの精度と効率を向上させることに成功しています。また、ユーザーとアイテムのIDインデックス化方法として、Spectral Collaborative Indexing（SCI）とGraph Collaborative Indexing（GCI）を提案しています。さらに、アイテム生成時のhallucinationの問題に対処するために、制約付き生成プロセスを導入しています。実験結果は、LightLMが競合ベースラインを上回ることを示しています。

[AkihikoWatanabe]

Generative Recommendationはあまり終えていないのだが、既存のGenerative Recommendationのモデルをより軽量にし、性能を向上させ、存在しないアイテムを生成するのを防止するような手法を提案しました、という話っぽい。

Bayesian Personalized Ranking #28 ベースドなMatrix Factorizationよりは高い性能が出てるっぽい。