Chain-of-Table: Evolving Tables in the Reasoning Chain for Table Understanding, Zilong Wang+, N/A, arXiv'24

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2401.04398

Affiliations

• Zilong Wang, N/A
• Hao Zhang, N/A
• Chun-Liang Li, N/A
• Julian Martin Eisenschlos, N/A
• Vincent Perot, N/A
• Zifeng Wang, N/A
• Lesly Miculicich, N/A
• Yasuhisa Fujii, N/A
• Jingbo Shang, N/A
• Chen-Yu Lee, N/A
• Tomas Pfister, N/A

Abstract

• Table-based reasoning with large language models (LLMs) is a promisingdirection to tackle many table understanding tasks, such as table-basedquestion answering and fact verification. Compared with generic reasoning,table-based reasoning requires the extraction of underlying semantics from bothfree-form questions and semi-structured tabular data. Chain-of-Thought and itssimilar approaches incorporate the reasoning chain in the form of textualcontext, but it is still an open question how to effectively leverage tabulardata in the reasoning chain. We propose the Chain-of-Table framework, wheretabular data is explicitly used in the reasoning chain as a proxy forintermediate thoughts. Specifically, we guide LLMs using in-context learning toiteratively generate operations and update the table to represent a tabularreasoning chain. LLMs can therefore dynamically plan the next operation basedon the results of the previous ones. This continuous evolution of the tableforms a chain, showing the reasoning process for a given tabular problem. Thechain carries structured information of the intermediate results, enabling moreaccurate and reliable predictions. Chain-of-Table achieves new state-of-the-artperformance on WikiTQ, FeTaQA, and TabFact benchmarks across multiple LLMchoices.

Translation (by gpt-3.5-turbo)

• 大規模言語モデル（LLMs）を用いたテーブルベースの推論は、テーブルベースの質問応答や事実検証など、多くのテーブル理解タスクに取り組むための有望な方向性です。
  一般的な推論と比較して、テーブルベースの推論では、自由形式の質問と半構造化の表形式データから基礎となる意味を抽出する必要があります。
  Chain-of-Thoughtやそれに類するアプローチは、推論チェーンをテキストコンテキストの形式で組み込んでいますが、テーブルデータを推論チェーンで効果的に活用する方法はまだ開かれた問題です。
  私たちはChain-of-Tableフレームワークを提案しています。このフレームワークでは、テーブルデータを推論チェーン内で明示的に使用し、中間的な思考の代理として扱います。
  具体的には、コンテキスト学習を用いてLLMsをガイドし、反復的に操作を生成し、テーブルを更新して、テーブルベースの推論チェーンを表現します。
  LLMsは、前の操作の結果に基づいて次の操作を動的に計画することができます。
  このテーブルの連続的な進化は、与えられたテーブルの問題に対する推論プロセスを示すチェーンを形成し、中間結果の構造化情報を持ち、より正確かつ信頼性の高い予測を可能にします。
  Chain-of-Tableは、複数のLLMの選択肢にわたって、WikiTQ、FeTaQA、TabFactのベンチマークで新たな最先端のパフォーマンスを達成しています。

Summary (by gpt-3.5-turbo)

• LLMsを使用したChain-of-Tableフレームワークは、テーブルデータを推論チェーン内で活用し、テーブルベースの推論タスクにおいて高い性能を発揮することが示された。このフレームワークは、テーブルの連続的な進化を表現し、中間結果の構造化情報を利用してより正確な予測を可能にする。さまざまなベンチマークで最先端のパフォーマンスを達成している。