Distillation Matters: Empowering Sequential Recommenders to Match the Performance of Large Language Model, Yu Cui+, N/A, arXiv'24

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2405.00338

Affiliations

• Yu Cui, N/A
• Feng Liu, N/A
• Pengbo Wang, N/A
• Bohao Wang, N/A
• Heng Tang, N/A
• Yi Wan, N/A
• Jun Wang, N/A
• Jiawei Chen, N/A

Abstract

• Owing to their powerful semantic reasoning capabilities, Large LanguageModels (LLMs) have been effectively utilized as recommenders, achievingimpressive performance. However, the high inference latency of LLMssignificantly restricts their practical deployment. To address this issue, thiswork investigates knowledge distillation from cumbersome LLM-basedrecommendation models to lightweight conventional sequential models. Itencounters three challenges: 1) the teacher's knowledge may not always bereliable; 2) the capacity gap between the teacher and student makes itdifficult for the student to assimilate the teacher's knowledge; 3) divergencein semantic space poses a challenge to distill the knowledge from embeddings.To tackle these challenges, this work proposes a novel distillation strategy,DLLM2Rec, specifically tailored for knowledge distillation from LLM-basedrecommendation models to conventional sequential models. DLLM2Rec comprises: 1)Importance-aware ranking distillation, which filters reliable andstudent-friendly knowledge by weighting instances according to teacherconfidence and student-teacher consistency; 2) Collaborative embeddingdistillation integrates knowledge from teacher embeddings with collaborativesignals mined from the data. Extensive experiments demonstrate theeffectiveness of the proposed DLLM2Rec, boosting three typical sequentialmodels with an average improvement of 47.97%, even enabling them to surpassLLM-based recommenders in some cases.

Translation (by gpt-3.5-turbo)

• 強力な意味推論能力を持つ大規模言語モデル（LLMs）は、印象的なパフォーマンスを達成し、効果的に推奨者として利用されてきた。しかし、LLMsの高い推論遅延は、実用的な展開を著しく制限している。この問題に対処するために、本研究では、煩雑なLLMベースの推奨モデルから軽量な従来の直列モデルへの知識蒸留を調査している。この過程で、次の3つの課題に直面することがある：1）教師の知識が常に信頼できるとは限らないこと、2）教師と生徒の容量の差が、生徒が教師の知識を吸収するのを困難にすること、3）意味空間の発散が埋め込みから知識を蒸留する際に課題を提起すること。これらの課題に対処するために、本研究では、LLMベースの推奨モデルから従来の直列モデルへの知識蒸留に特化した新しい蒸留戦略、DLLM2Recを提案している。DLLM2Recには、次のものが含まれている：1）重要度重視のランキング蒸留により、教師の信頼度と生徒-教師の一貫性に応じてインスタンスに重み付けを行い、信頼性の高く生徒にとって適した知識をフィルタリングすること、2）共同埋め込み蒸留は、教師の埋め込みからの知識をデータから採掘された共同信号と統合する。徹底的な実験により、提案されたDLLM2Recの効果が示され、3つの典型的な直列モデルを平均47.97%改善し、場合によってはLLMベースの推奨者を上回ることさえ可能にしている。

Summary (by gpt-3.5-turbo)

• LLMsの高い推論遅延を解消するために、本研究では、LLMベースの推奨モデルから軽量な従来の直列モデルへの知識蒸留を調査している。新しい蒸留戦略であるDLLM2Recには、重要度重視のランキング蒸留と共同埋め込み蒸留が含まれており、徹底的な実験により、提案されたDLLM2Recの効果が示され、典型的な直列モデルを平均47.97%改善し、場合によってはLLMベースの推奨者を上回ることが可能であることが示された。