AIサイエンティスト: 完全自動化された
オープンエンドの科学的発見 🧑‍🔬

📚 [論文] | 📝 [ブログ記事] | 📂 [ドライブフォルダ]

人工知能の大きな課題の一つは、科学研究を行い、新しい知識を発見する能力を持つエージェントを開発することです。最先端のモデルはすでに人間の科学者を支援するために使用されていますが（例えば、アイデアのブレインストーミングやコードの作成など）、依然として広範な手動監督が必要であったり、特定のタスクに厳しく制約されています。

私たちは、AIサイエンティストを紹介できることを嬉しく思います。これは、基盤モデル（例えば、大規模言語モデル（LLM））が独立して研究を行うことを可能にする、完全自動化された科学的発見のための最初の包括的なシステムです。

私たちの論文からのすべての実行とデータをこちらで提供しています。各ベースモデルを各テンプレートで約50のアイデアに対して実行しています。システムの強みと弱みを理解するために、いくつかのClaude論文を読むことを強くお勧めします。以下はAIサイエンティストによって生成された例の論文です 📝:

1. DualScale Diffusion: Adaptive Feature Balancing for Low-Dimensional Generative Models
2. Multi-scale Grid Noise Adaptation: Enhancing Diffusion Models For Low-dimensional Data
3. GAN-Enhanced Diffusion: Boosting Sample Quality and Diversity
4. DualDiff: Enhancing Mode Capture in Low-dimensional Diffusion Models via Dual-expert Denoising
5. StyleFusion: Adaptive Multi-style Generation in Character-Level Language Models
6. Adaptive Learning Rates for Transformers via Q-Learning
7. Unlocking Grokking: A Comparative Study of Weight Initialization Strategies in Transformer Models
8. Grokking Accelerated: Layer-wise Learning Rates for Transformer Generalization
9. Grokking Through Compression: Unveiling Sudden Generalization via Minimal Description Length
10. Accelerating Mathematical Insight: Boosting Grokking Through Strategic Data Augmentation

注意:
警告! このコードベースはLLMによって書かれたコードを実行します。この自律性には、潜在的に危険なパッケージの使用、ウェブアクセス、およびプロセスの生成の可能性など、さまざまなリスクと課題が伴います。自己責任で使用してください。適切にコンテナ化し、ウェブアクセスを制限することをお勧めします。

目次

1. イントロダクション
2. 要件
   • インストール
   • サポートされているモデルとAPIキー
3. テンプレートの設定
   • NanoGPTテンプレート
   • 2D拡散テンプレート
   • Grokkingテンプレート
4. AIサイエンティスト論文生成実験の実行
5. LLM生成論文のレビュー取得
6. 独自テンプレートの作成
   • コミュニティが提供するテンプレート
7. テンプレートリソース
8. AIサイエンティストの引用
9. よくある質問
10. コンテナ化

イントロダクション

私たちは、論文で使用した3つのテンプレートを提供しています。これらは、NanoGPT、2D Diffusion、およびGrokkingのドメインをカバーしています。これらのテンプレートは、AIサイエンティストがこれらの分野でアイデアを生成し、実験を行うことを可能にします。コミュニティからの新しいテンプレートの貢献も受け付けていますが、それらは私たちによって維持されていません。提供された3つのテンプレート以外のすべてのテンプレートはコミュニティの貢献です。

要件

このコードは、CUDAおよびPyTorchを使用してNVIDIA GPU上でLinuxで実行するように設計されています。他のGPUアーキテクチャのサポートは、PyTorchガイドラインに従うことで可能かもしれません。現在のテンプレートは、CPUのみのマシンでは実行に非常に長い時間がかかる可能性があります。他のオペレーティングシステムでの実行には、かなりの調整が必要です。

インストール

conda create -n ai_scientist python=3.11
conda activate ai_scientist
# pdflatexをインストール
sudo apt-get install texlive-full

# PyPIの要件をインストール
pip install -r requirements.txt

注意: texlive-fullのインストールには長い時間がかかることがあります。インストール中にEnterを押し続ける必要があるかもしれません。

サポートされているモデルとAPIキー

私たちは、オープンウェイトモデルおよびAPI専用モデルを含むさまざまなモデルをサポートしています。一般的に、元のGPT-4の能力を超えるフロンティアモデルのみを使用することをお勧めします。サポートされているモデルの完全なリストについては、こちらを参照してください。

OpenAI API (GPT-4o, GPT-4o-mini, o1モデル)

デフォルトでは、OPENAI_API_KEY環境変数を使用します。

Anthropic API (Claude Sonnet 3.5)

デフォルトでは、ANTHROPIC_API_KEY環境変数を使用します。

Bedrock経由のClaudeモデル

Amazon Bedrockが提供するClaudeモデルについては、以下の追加パッケージをインストールしてください：

pip install anthropic[bedrock]

次に、有効なAWSクレデンシャルとターゲットAWSリージョンを指定します：

環境変数を設定します：AWS_ACCESS_KEY_ID、AWS_SECRET_ACCESS_KEY、AWS_REGION_NAME。

Vertex AI経由のClaudeモデル

Vertex AI Model Gardenが提供するClaudeモデルについては、以下の追加パッケージをインストールしてください：

pip install google-cloud-aiplatform
pip install anthropic[vertex]

次に、有効なGoogle Cloudプロジェクトの認証を設定します。例えば、リージョンとプロジェクトIDを指定します：

export CLOUD_ML_REGION="REGION"           # Model Garden呼び出し用
export ANTHROPIC_VERTEX_PROJECT_ID="PROJECT_ID"  # Model Garden呼び出し用
export VERTEXAI_LOCATION="REGION"         # Aider/LiteLLM呼び出し用
export VERTEXAI_PROJECT="PROJECT_ID"      # Aider/LiteLLM呼び出し用

DeepSeek API (DeepSeek-Coder-V2)

デフォルトでは、DEEPSEEK_API_KEY環境変数を使用します。

OpenRouter API (Llama3.1)

デフォルトでは、OPENROUTER_API_KEY環境変数を使用します。

Semantic Scholar API (文献検索)

私たちのコードは、オプションでSemantic Scholar APIキー（S2_API_KEY）を使用してスループットを向上させることができます（こちらから取得できます）。ただし、原則としてキーがなくても動作するはずです。Semantic Scholarに問題がある場合は、文献検索と引用フェーズをスキップすることができます。

実行に使用するモデルのキーを必ず提供してください。例えば：

export OPENAI_API_KEY="YOUR KEY HERE"
export S2_API_KEY="YOUR KEY HERE"

テンプレートの設定

このセクションでは、論文で使用した3つのテンプレートの設定手順を提供します。AIサイエンティストの実験を実行する前に、興味のあるテンプレートの設定手順を完了してください。

NanoGPTテンプレート

説明: このテンプレートは、トランスフォーマーベースの自己回帰次トークン予測タスクを調査します。

設定手順:

1. データの準備:

   python data/enwik8/prepare.py
   python data/shakespeare_char/prepare.py
   python data/text8/prepare.py

2. ベースラインランの作成（マシン依存）:

   # NanoGPTベースラインランの設定
   # 注意: まず上記の準備スクリプトを実行してください！
   cd templates/nanoGPT
   python experiment.py --out_dir run_0
   python plot.py

2D拡散テンプレート

説明: このテンプレートは、低次元データセットに対する拡散生成モデルの性能向上を研究します。

設定手順:

1. 依存関係のインストール:

   # 2D拡散の設定
   git clone https://github.com/gregversteeg/NPEET.git
   cd NPEET
   pip install .
   pip install scikit-learn

2. ベースラインランの作成:

   # 2D拡散ベースラインランの設定
   cd templates/2d_diffusion
   python experiment.py --out_dir run_0
   python plot.py

Grokkingテンプレート

説明: このテンプレートは、ディープニューラルネットワークにおける一般化と学習速度に関する質問を調査します。

設定手順:

1. 依存関係のインストール:

   # Grokkingの設定
   pip install einops

2. ベースラインランの作成:

   # Grokkingベースラインランの設定
   cd templates/grokking
   python experiment.py --out_dir run_0
   python plot.py

AIサイエンティスト論文生成実験の実行

注意: これらの実験を実行する前に、上記のセットアップ手順が完了していることを確認してください。

conda activate ai_scientist
# 論文生成を実行します。
python launch_scientist.py --model "gpt-4o-2024-05-13" --experiment nanoGPT_lite --num-ideas 2
python launch_scientist.py --model "claude-3-5-sonnet-20241022" --experiment nanoGPT_lite --num-ideas 2

複数のGPUを持っている場合は、--parallelオプションを使用してアイデアを複数のGPUに並列化できます。

LLM生成論文のレビュー取得

import openai
from ai_scientist.perform_review import load_paper, perform_review

client = openai.OpenAI()
model = "gpt-4o-2024-05-13"

# PDFファイルから論文を読み込む（生テキスト）
paper_txt = load_paper("report.pdf")

# レビューディクショナリを取得
review = perform_review(
   paper_txt,
   model,
   client,
   num_reflections=5,
   num_fs_examples=1,
   num_reviews_ensemble=5,
   temperature=0.1,
)

# レビュー結果を確認
review["Overall"]    # 全体のスコア（1-10）
review["Decision"]   # 'Accept' または 'Reject'
review["Weaknesses"] # 弱点のリスト（文字列）

バッチ分析を実行するには：

cd review_iclr_bench
python iclr_analysis.py --num_reviews 500 --batch_size 100 --num_fs_examples 1 --num_reflections 5 --temperature 0.1 --num_reviews_ensemble 5

独自テンプレートの作成

The AI Scientistに探求してほしい研究分野がある場合、独自のテンプレートを作成するのは簡単です。一般的に、既存のテンプレートの構造に従ってください。これらは以下で構成されています：

• experiment.py — これは主要なスクリプトで、コアコンテンツが含まれています。--out_dir引数を取り、実行結果を保存するフォルダを指定します。
• plot.py — このスクリプトはrunフォルダから情報を取得し、プロットを作成します。コードは明確で編集しやすいはずです。
• prompt.json — テンプレートに関する情報をここに記載します。
• seed_ideas.json — ここに例のアイデアを配置します。例を使わずにアイデアを生成し、最良のものを選んでここに配置することもできます。
• latex/template.tex — LaTeXフォルダを使用することをお勧めしますが、事前に読み込まれた引用を期待されるものに置き換えてください。

新しいテンプレートを機能させる鍵は、基本ファイル名と出力JSONを既存の形式に一致させることです。それ以外は自由に変更できます。また、template.texファイルが正しい引用スタイル/基本プロットを使用するように更新されていることを確認してください。

コミュニティ提供テンプレート

私たちは、新しいテンプレートの形でのコミュニティの貢献を歓迎します。これらは私たちによって維持されていませんが、他の人々にあなたのテンプレートを紹介できることを嬉しく思います。以下に、コミュニティ提供のテンプレートとそのプルリクエスト（PR）へのリンクを示します：

• 感染症モデリング（seir） - PR #137
• MobileNetV3を使用した画像分類（mobilenetV3） - PR #141
• Sketch RNN（sketch_rnn） - PR #143

このセクションはコミュニティの貢献に予約されています。テンプレートをリストに追加するためにプルリクエストを提出してください！PRの説明でテンプレートを説明し、生成された論文の例も示してください。

テンプレートリソース

私たちは、他のリポジトリからのコードを多用した3つのテンプレートを提供しています。以下にクレジットを示します：

• NanoGPTテンプレートはNanoGPTとこのPRのコードを使用しています。
• 2D Diffusionテンプレートはtiny-diffusion、ema-pytorch、およびDatasaurのコードを使用しています。
• GrokkingテンプレートはSea-Snell/grokkingおよびdanielmamay/grokkingのコードを使用しています。

オープンソースモデルやパッケージの開発者に感謝し、その貢献と彼らの仕事を利用できることに感謝します。

AIサイエンティストの引用

The AI Scientistを研究に使用する場合は、以下のように引用してください：

@article{lu2024aiscientist,
  title={The {AI} {S}cientist: Towards Fully Automated Open-Ended Scientific Discovery},
  author={Lu, Chris and Lu, Cong and Lange, Robert Tjarko and Foerster, Jakob and Clune, Jeff and Ha, David},
  journal={arXiv preprint arXiv:2408.06292},
  year={2024}
}

よくある質問

The AI Scientistに関する質問がある場合は、まず私たちの論文を読むことをお勧めします。

The AI Scientistを実行するときにファイルが見つからないのはなぜですか？

メインの実験スクリプトの前に、すべてのセットアップと準備手順を完了していることを確認してください。

PDFやレビューが生成されないのはなぜですか？

The AI Scientistは、テンプレート、基盤モデル、およびアイデアの複雑さに依存して、成功率が異なります。私たちのメイン論文を参照することをお勧めします。最も高い成功率はClaude Sonnet 3.5で観察されています。レビューはGPT-4oで行うのが最適です。他のモデルは、ポジティブバイアスや必要な出力に従わない問題があります。

各アイデアの生成コストはどれくらいですか？

通常、Claude Sonnet 3.5で1論文あたり15ドル未満です。よりコスト効果の高いアプローチとして、DeepSeek Coder V2をお勧めします。新しいモデルを探す良い場所はAiderリーダーボードです。

書き込みのベース会議フォーマットを変更するにはどうすればよいですか？

各テンプレート内に含まれるベースのtemplate.texファイルを変更してください。

異なる分野のアイデアに対してThe AI Scientistを実行するにはどうすればよいですか？

異なるテンプレートの指示を参照してください。この現在のバージョンでは、コードで表現できるアイデアに制限されています。しかし、この制限を解除することは将来的に興味深い課題です！ :)

新しい基盤モデルのサポートを追加するにはどうすればよいですか？

ai_scientist/llm.pyを変更して、新しい基盤モデルのサポートを追加できます。The AI Scientistには、GPT-4レベルよりも著しく弱いモデルの使用はお勧めしません。

なぜベースラインランを自分で実行する必要があるのですか？

これらはrun_0として表示され、ハードウェアの違いによる正確な実行時間の比較のために、The AI Scientistを実行する各マシンで実行する必要があります。

Semantic Scholar APIにアクセスする際に問題がある場合はどうすればよいですか？

私たちは、アイデアの新規性を確認し、論文の引用を収集するためにSemantic Scholar APIを使用しています。APIキーがない場合やAPIへのアクセスが遅い場合は、これらのフェーズをスキップできるかもしれません。

コンテナ化

experimental/Dockerfileに、コンテナ化の取り組みに役立つコミュニティ提供のDockerイメージを含めています。

このイメージは以下のように使用できます：

# エンドポイントスクリプト
docker run -e OPENAI_API_KEY=$OPENAI_API_KEY -v `pwd`/templates:/app/AI-Scientist/templates <AI_SCIENTIST_IMAGE> \
   --model gpt-4o-2024-05-13 \
   --experiment 2d_diffusion \
   --num-ideas 2

# インタラクティブ
docker run -it -e OPENAI_API_KEY=$OPENAI_API_KEY \
   --entrypoint /bin/bash \
   <AI_SCIENTIST_IMAGE>