Recommendation as Language Processing (RLP): A Unified Pretrain, Personalized Prompt & Predict Paradigm (P5), Shijie Geng+, N/A, RecSys'22

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2203.13366

Affiliations

• Shijie Geng, N/A
• Shuchang Liu, N/A
• Zuohui Fu, N/A
• Yingqiang Ge, N/A
• Yongfeng Zhang, N/A

Abstract

• For a long time, different recommendation tasks typically require designingtask-specific architectures and training objectives. As a result, it is hard totransfer the learned knowledge and representations from one task to another,thus restricting the generalization ability of existing recommendationapproaches, e.g., a sequential recommendation model can hardly be applied ortransferred to a review generation method. To deal with such issues,considering that language can describe almost anything and language groundingis a powerful medium to represent various problems or tasks, we present aflexible and unified text-to-text paradigm called "Pretrain, PersonalizedPrompt, and Predict Paradigm" (P5) for recommendation, which unifies variousrecommendation tasks in a shared framework. In P5, all data such as user-iteminteractions, user descriptions, item metadata, and user reviews are convertedto a common format -- natural language sequences. The rich information fromnatural language assists P5 to capture deeper semantics for personalization andrecommendation. Specifically, P5 learns different tasks with the same languagemodeling objective during pretraining. Thus, it serves as the foundation modelfor various downstream recommendation tasks, allows easy integration with othermodalities, and enables instruction-based recommendation based on prompts. P5advances recommender systems from shallow model to deep model to big model, andwill revolutionize the technical form of recommender systems towards universalrecommendation engine. With adaptive personalized prompt for different users,P5 is able to make predictions in a zero-shot or few-shot manner and largelyreduces the necessity for extensive fine-tuning. On several recommendationbenchmarks, we conduct experiments to show the effectiveness of P5. We releasethe source code at https://github.com/jeykigung/P5.

Translation (by gpt-3.5-turbo)

• 長い間、異なる推薦タスクでは通常、タスク固有のアーキテクチャとトレーニング目標の設計が必要でした。その結果、学習された知識と表現をタスク間で転送することが困難であり、既存の推薦手法の汎化能力が制限されています。たとえば、シーケンシャルな推薦モデルは、レビュー生成方法に適用または転送することがほとんどできません。このような問題に対処するために、言語はほとんど何でも表現できると考えられ、言語の基盤はさまざまな問題やタスクを表現するための強力な手段です。そこで、我々は「Pretrain, Personalized Prompt, and Predict Paradigm」（P5）と呼ばれる柔軟で統一されたテキストからテキストへのパラダイムを提案します。P5は、共有フレームワーク内でさまざまな推薦タスクを統一します。P5では、ユーザーとアイテムの相互作用、ユーザーの説明、アイテムのメタデータ、ユーザーのレビューなど、すべてのデータを共通の形式である自然言語のシーケンスに変換します。自然言語からの豊富な情報は、P5が個別化と推薦のためのより深い意味を捉えるのに役立ちます。具体的には、P5は事前学習中に同じ言語モデリング目標で異なるタスクを学習します。したがって、これはさまざまな下流の推薦タスクの基礎モデルとして機能し、他のモダリティとの簡単な統合を可能にし、プロンプトに基づいた指示に基づく推薦を実現します。P5は、推薦システムを浅いモデルから深いモデル、そして大規模なモデルへと進化させ、普遍的な推薦エンジンに向けて技術的な形態を革新します。異なるユーザーに対して適応的な個別化プロンプトを使用することで、P5はゼロショットまたはフューショットの方法で予測を行い、広範な微調整の必要性を大幅に減らすことができます。いくつかの推薦ベンチマークで、P5の効果を実証するために実験を行いました。ソースコードはhttps://github.com/jeykigung/P5で公開しています。

Summary (by gpt-3.5-turbo)

• 我々は「Pretrain, Personalized Prompt, and Predict Paradigm」（P5）と呼ばれる柔軟で統一されたテキストからテキストへのパラダイムを提案します。P5は、共有フレームワーク内でさまざまな推薦タスクを統一し、個別化と推薦のための深い意味を捉えることができます。P5は、異なるタスクを学習するための同じ言語モデリング目標を持つ事前学習を行います。P5は、浅いモデルから深いモデルへと進化し、広範な微調整の必要性を減らすことができます。P5の効果を実証するために、いくつかの推薦ベンチマークで実験を行いました。

[AkihikoWatanabe]

概要

T5 のように、様々な推薦タスクを、「Prompt + Prediction」のpipelineとして定義して解けるようにした研究。

P5ではencoder-decoder frameworkを採用しており、encoder側ではbidirectionalなモデルでpromptのrepresentationを生成し、auto-regressiveな言語モデルで生成を行う。

推薦で利用したいデータセットから、input-target pairsを生成し上記アーキテクチャに対して事前学習することで、推薦を実現できる。

RatingPredictionでは、MatrixFactorizationに勝てていない（が、Rating Predictionについては魔法の壁問題などもあると思うのでなんともいえない。）

Sequential RecommendationではBERT4Recとかにも勝てている模様。

Prompt例

• Rating Predictionの例
  

• Sequential Recommendationの例
  

• Explanationを生成する例
  

• Zero-shotの例（Cold-Start）