Knowledge Conflicts for LLMs: A Survey, Rongwu Xu+, N/A, arXiv'24

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2403.08319

Affiliations

• Rongwu Xu, N/A
• Zehan Qi, N/A
• Cunxiang Wang, N/A
• Hongru Wang, N/A
• Yue Zhang, N/A
• Wei Xu, N/A

Abstract

• This survey provides an in-depth analysis of knowledge conflicts for largelanguage models (LLMs), highlighting the complex challenges they encounter whenblending contextual and parametric knowledge. Our focus is on three categoriesof knowledge conflicts: context-memory, inter-context, and intra-memoryconflict. These conflicts can significantly impact the trustworthiness andperformance of LLMs, especially in real-world applications where noise andmisinformation are common. By categorizing these conflicts, exploring thecauses, examining the behaviors of LLMs under such conflicts, and reviewingavailable solutions, this survey aims to shed light on strategies for improvingthe robustness of LLMs, thereby serving as a valuable resource for advancingresearch in this evolving area.

Translation (by gpt-3.5-turbo)

• この調査は、大規模言語モデル（LLMs）における知識の衝突についての深い分析を提供し、文脈とパラメトリック知識を組み合わせる際に遭遇する複雑な課題を強調しています。私たちの焦点は、知識の衝突の3つのカテゴリー、つまり文脈-メモリ、文脈間、およびメモリ内の衝突にあります。これらの衝突は、特にノイズや誤情報が一般的な実世界のアプリケーションにおいて、LLMsの信頼性とパフォーマンスに大きな影響を与える可能性があります。これらの衝突をカテゴリー分けし、原因を探求し、このような衝突下でのLLMsの振る舞いを検証し、利用可能な解決策を見直すことで、この調査はLLMsの堅牢性を向上させる戦略に光を当て、この進化する分野の研究を推進するための貴重なリソースとなることを目指しています。

Summary (by gpt-3.5-turbo)

• LLMsにおける知識の衝突に焦点を当て、文脈とパラメトリック知識の組み合わせによる複雑な課題を分析。文脈-メモリ、文脈間、メモリ内の衝突の3つのカテゴリーを探求し、実世界のアプリケーションにおける信頼性とパフォーマンスへの影響を検討。解決策を提案し、LLMsの堅牢性向上を目指す。