A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions, Lei Huang+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2311.05232

Affiliations

• Lei Huang, N/A
• Weijiang Yu, N/A
• Weitao Ma, N/A
• Weihong Zhong, N/A
• Zhangyin Feng, N/A
• Haotian Wang, N/A
• Qianglong Chen, N/A
• Weihua Peng, N/A
• Xiaocheng Feng, N/A
• Bing Qin, N/A
• Ting Liu, N/A

Abstract

• The emergence of large language models (LLMs) has marked a significantbreakthrough in natural language processing (NLP), leading to remarkableadvancements in text understanding and generation. Nevertheless, alongsidethese strides, LLMs exhibit a critical tendency to produce hallucinations,resulting in content that is inconsistent with real-world facts or user inputs.This phenomenon poses substantial challenges to their practical deployment andraises concerns over the reliability of LLMs in real-world scenarios, whichattracts increasing attention to detect and mitigate these hallucinations. Inthis survey, we aim to provide a thorough and in-depth overview of recentadvances in the field of LLM hallucinations. We begin with an innovativetaxonomy of LLM hallucinations, then delve into the factors contributing tohallucinations. Subsequently, we present a comprehensive overview ofhallucination detection methods and benchmarks. Additionally, representativeapproaches designed to mitigate hallucinations are introduced accordingly.Finally, we analyze the challenges that highlight the current limitations andformulate open questions, aiming to delineate pathways for future research onhallucinations in LLMs.

Translation (by gpt-3.5-turbo)

• 大規模言語モデル（LLMs）の出現は、自然言語処理（NLP）における重要なブレークスルーを示し、テキストの理解と生成における顕著な進歩をもたらしています。しかし、これらの進歩と並行して、LLMsは幻覚を生じる傾向があり、現実世界の事実やユーザーの入力と矛盾する内容を生成することがあります。この現象は、LLMsの実用的な展開において重大な課題を提起し、LLMsの信頼性についての懸念を引き起こしています。そのため、これらの幻覚を検出および軽減することに対する関心が高まっています。本調査では、LLMの幻覚に関する最近の進展について、包括的かつ詳細な概要を提供することを目指します。まず、LLMの幻覚に関する革新的な分類を紹介し、幻覚の要因について探求します。その後、幻覚検出手法とベンチマークの包括的な概要を示します。さらに、幻覚を軽減するために設計された代表的なアプローチも紹介します。最後に、現在の制約を明らかにし、将来のLLMにおける幻覚研究の方向性を示すために、課題を分析し、オープンな問題を提示します。

Summary (by gpt-3.5-turbo)

• LLMsの出現はNLPにおける重要な進歩をもたらしているが、幻覚を生じることがあり、その信頼性に懸念がある。本調査では、LLMの幻覚に関する最近の進展について包括的に概説し、幻覚の要因や検出手法、軽減アプローチについて紹介する。また、現在の制約や将来の研究方向についても分析する。

[AkihikoWatanabe]

Hallucinationを現象ごとに分類したSurveyとして #1048 もある

[AkihikoWatanabe]

Surveyの内容。必要に応じて参照すべし。