Large Language Model Guided Tree-of-Thought, Jieyi Long, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2305.08291

Affiliations

• Jieyi Long, N/A

Abstract

• In this paper, we introduce the Tree-of-Thought (ToT) framework, a novelapproach aimed at improving the problem-solving capabilities of auto-regressivelarge language models (LLMs). The ToT technique is inspired by the human mind'sapproach for solving complex reasoning tasks through trial and error. In thisprocess, the human mind explores the solution space through a tree-like thoughtprocess, allowing for backtracking when necessary. To implement ToT as asoftware system, we augment an LLM with additional modules including a prompteragent, a checker module, a memory module, and a ToT controller. In order tosolve a given problem, these modules engage in a multi-round conversation withthe LLM. The memory module records the conversation and state history of theproblem solving process, which allows the system to backtrack to the previoussteps of the thought-process and explore other directions from there. To verifythe effectiveness of the proposed technique, we implemented a ToT-based solverfor the Sudoku Puzzle. Experimental results show that the ToT framework cansignificantly increase the success rate of Sudoku puzzle solving. Ourimplementation of the ToT-based Sudoku solver is available on GitHub:\url{https://github.com/jieyilong/tree-of-thought-puzzle-solver}.

Translation (by gpt-3.5-turbo)

• この論文では、Tree-of-Thought（ToT）フレームワークを紹介し、自己回帰型の大規模言語モデル（LLM）の問題解決能力を向上させる新しいアプローチを提案します。
  ToTテクニックは、複雑な推論タスクを解決するための人間の思考方法に触発されています。このプロセスでは、人間の思考プロセスのようなツリー状の思考プロセスを通じて解決空間を探索し、必要に応じてバックトラックが可能です。
  ToTをソフトウェアシステムとして実装するために、プロンプターエージェント、チェッカーモジュール、メモリモジュール、およびToTコントローラーなどの追加モジュールをLLMに追加します。
  与えられた問題を解決するために、これらのモジュールはLLMとのマルチラウンドの対話を行います。メモリモジュールは、問題解決プロセスの対話と状態の履歴を記録し、システムが思考プロセスの前のステップにバックトラックしてそこから他の方向を探索することができます。
  提案手法の効果を検証するために、SudokuパズルのためのToTベースのソルバーを実装しました。実験結果は、ToTフレームワークがSudokuパズルの解決成功率を大幅に向上させることを示しています。ToTベースのSudokuソルバーの実装はGitHubで利用可能です：\url{https://github.com/jieyilong/tree-of-thought-puzzle-solver}。

Summary (by gpt-3.5-turbo)

• この論文では、Tree-of-Thought（ToT）フレームワークを紹介し、自己回帰型の大規模言語モデル（LLM）の問題解決能力を向上させる新しいアプローチを提案しています。ToTは、人間の思考方法に触発された技術であり、複雑な推論タスクを解決するためにツリー状の思考プロセスを使用します。提案手法は、LLMにプロンプターエージェント、チェッカーモジュール、メモリモジュール、およびToTコントローラーなどの追加モジュールを組み込むことで実現されます。実験結果は、ToTフレームワークがSudokuパズルの解決成功率を大幅に向上させることを示しています。