Search-in-the-Chain: Towards the Accurate, Credible and Traceable Content Generation for Complex Knowledge-intensive Tasks, Shicheng Xu+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2304.14732

Affiliations

• Shicheng Xu, N/A
• Liang Pang, N/A
• Huawei Shen, N/A
• Xueqi Cheng, N/A
• Tat-seng Chua, N/A

Abstract

• With the wide application of Large Language Models (LLMs) such as ChatGPT,how to make the contents generated by LLM accurate and credible becomes veryimportant, especially in complex knowledge-intensive tasks. In this paper, wepropose a novel framework called Search-in-the-Chain (SearChain) to improve theaccuracy, credibility and traceability of LLM-generated content for multi-hopquestion answering, which is a typical complex knowledge-intensive task.SearChain is a framework that deeply integrates LLM and information retrieval(IR). In SearChain, LLM constructs a chain-of-query, which is the decompositionof the multi-hop question. Each node of the chain is a query-answer pairconsisting of an IR-oriented query and the answer generated by LLM for thisquery. IR verifies, completes, and traces the information of each node of thechain, so as to guide LLM to construct the correct chain-of-query, and finallyanswer the multi-hop question. SearChain makes LLM change from trying to give aanswer to trying to construct the chain-of-query when faced with the multi-hopquestion, which can stimulate the knowledge-reasoning ability and provides theinterface for IR to be deeply involved in reasoning process of LLM. IRinteracts with each node of chain-of-query of LLM. It verifies the informationof the node and provides the unknown knowledge to LLM, which ensures theaccuracy of the whole chain in the process of LLM generating the answer.Besides, the contents returned by LLM to the user include not only the finalanswer but also the reasoning process for the question, that is, thechain-of-query and the supporting documents retrieved by IR for each node ofthe chain, which improves the credibility and traceability of the contentsgenerated by LLM. Experimental results show SearChain outperforms relatedbaselines on four multi-hop question-answering datasets.

Translation (by gpt-3.5-turbo)

• 大規模言語モデル（LLMs）の広範な適用に伴い、ChatGPTなどのLLMsが生成するコンテンツの正確性と信頼性を高めることが非常に重要になっています。特に、複雑な知識集約型タスクにおいては、その重要性が高まります。本論文では、多段階質問応答という典型的な複雑な知識集約型タスクにおいて、LLMが生成するコンテンツの正確性、信頼性、追跡性を向上させるための新しいフレームワークであるSearch-in-the-Chain（SearChain）を提案します。SearChainは、LLMと情報検索（IR）を深く統合したフレームワークです。LLMは、多段階質問の分解であるクエリチェーンを構築します。チェーンの各ノードは、IR指向のクエリと、そのクエリに対するLLMが生成した回答から構成されるクエリ-回答ペアです。IRは、チェーンの各ノードの情報を検証、補完、追跡し、LLMが正しいクエリチェーンを構築し、最終的に多段階質問に回答するためのガイドを提供します。SearChainは、LLMが多段階質問に対処する際に、回答を提供することからクエリチェーンを構築することに変更することで、知識推論能力を刺激し、IRがLLMの推論プロセスに深く関与するためのインターフェースを提供します。IRは、LLMのクエリチェーンの各ノードと対話し、ノードの情報を検証し、LLMに未知の知識を提供することで、LLMが回答を生成する過程でチェーン全体の正確性を保証します。また、LLMがユーザーに返すコンテンツには、最終的な回答だけでなく、質問の推論プロセスであるクエリチェーンと、各ノードのサポート文書をIRが取得したものも含まれており、LLMが生成するコンテンツの信頼性と追跡性を向上させます。実験結果は、SearChainが4つの多段階質問応答データセットで関連するベースラインを上回ることを示しています。

Summary (by gpt-3.5-turbo)

• 本論文では、大規模言語モデル（LLMs）を使用した多段階質問応答タスクにおいて、正確性、信頼性、追跡性を向上させるための新しいフレームワークであるSearch-in-the-Chain（SearChain）を提案しています。SearChainは、LLMと情報検索（IR）を深く統合したフレームワークであり、LLMが生成するコンテンツの正確性と信頼性を高めることができます。実験結果は、SearChainが4つの多段階質問応答データセットで関連するベースラインを上回ることを示しています。