A Comprehensive Survey of Hallucination Mitigation Techniques in Large Language Models, S. M Towhidul Islam Tonmoy+, N/A, arXiv'24

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2401.01313

Affiliations

• S. M Towhidul Islam Tonmoy, N/A
• S M Mehedi Zaman, N/A
• Vinija Jain, N/A
• Anku Rani, N/A
• Vipula Rawte, N/A
• Aman Chadha, N/A
• Amitava Das, N/A

Abstract

• As Large Language Models (LLMs) continue to advance in their ability to writehuman-like text, a key challenge remains around their tendency to hallucinategenerating content that appears factual but is ungrounded. This issue ofhallucination is arguably the biggest hindrance to safely deploying thesepowerful LLMs into real-world production systems that impact people's lives.The journey toward widespread adoption of LLMs in practical settings heavilyrelies on addressing and mitigating hallucinations. Unlike traditional AIsystems focused on limited tasks, LLMs have been exposed to vast amounts ofonline text data during training. While this allows them to display impressivelanguage fluency, it also means they are capable of extrapolating informationfrom the biases in training data, misinterpreting ambiguous prompts, ormodifying the information to align superficially with the input. This becomeshugely alarming when we rely on language generation capabilities for sensitiveapplications, such as summarizing medical records, financial analysis reports,etc. This paper presents a comprehensive survey of over 32 techniques developedto mitigate hallucination in LLMs. Notable among these are Retrieval AugmentedGeneration (Lewis et al, 2021), Knowledge Retrieval (Varshney et al,2023),CoNLI (Lei et al, 2023), and CoVe (Dhuliawala et al, 2023). Furthermore, weintroduce a detailed taxonomy categorizing these methods based on variousparameters, such as dataset utilization, common tasks, feedback mechanisms, andretriever types. This classification helps distinguish the diverse approachesspecifically designed to tackle hallucination issues in LLMs. Additionally, weanalyze the challenges and limitations inherent in these techniques, providinga solid foundation for future research in addressing hallucinations and relatedphenomena within the realm of LLMs.

Translation (by gpt-3.5-turbo)

• 要約：
  大規模言語モデル（LLMs）が人間のようなテキストを生成する能力を向上させる一方で、根拠のない事実のように見える内容を幻覚的に生成する傾向が依然として課題となっています。
  この幻覚の問題は、人々の生活に影響を与える実世界のシステムにこれらの強力なLLMsを安全に展開する上で、おそらく最大の障害です。
  実用的な環境でのLLMsの普及への道は、幻覚を解決し軽減することに大いに依存しています。
  限られたタスクに焦点を当てた従来のAIシステムとは異なり、LLMsはトレーニング中に膨大な量のオンラインテキストデータにさらされています。
  これにより、印象的な言語の流暢さを示すことができますが、トレーニングデータのバイアスから情報を外挿したり、曖昧なプロンプトを誤解したり、情報を表面的に入力に合わせて修正したりすることも可能です。
  これは、医療記録の要約、財務分析レポートなどの感度の高いアプリケーションで言語生成能力に依存する場合に非常に懸念すべきです。
  本論文では、LLMsにおける幻覚を軽減するために開発された32以上の技術について包括的な調査を行います。
  これらの中でも特筆すべきは、Retrieval Augmented Generation（Lewis et al、2021）、Knowledge Retrieval（Varshney et al、2023）、CoNLI（Lei et al、2023）、およびCoVe（Dhuliawala et al、2023）です。
  さらに、データセットの利用、一般的なタスク、フィードバックメカニズム、およびリトリーバータイプなどのさまざまなパラメータに基づいてこれらの方法を詳細に分類するタクソノミを紹介します。
  この分類により、LLMsにおける幻覚の問題に取り組むために特に設計された多様なアプローチを区別することができます。
  さらに、これらの技術に固有の課題と制約を分析し、LLMsの範囲内での幻覚および関連現象に対する将来の研究の堅固な基盤を提供します。

Summary (by gpt-3.5-turbo)

• 要約：
  本論文では、大規模言語モデル（LLMs）における幻覚の問題について調査し、その軽減策について紹介しています。
  LLMsは強力な言語生成能力を持っていますが、根拠のない情報を生成する傾向があります。
  この問題を解決するために、Retrieval Augmented Generation、Knowledge Retrieval、CoNLI、CoVeなどの技術が開発されています。
  さらに、データセットの利用やフィードバックメカニズムなどのパラメータに基づいてこれらの方法を分類し、幻覚の問題に取り組むためのアプローチを提案しています。
  また、これらの技術に関連する課題や制約についても分析し、将来の研究に向けた基盤を提供しています。