v202411

主な変更点

• Language Model Evaluation Harness
  • 数学のベンチマークである MATH の評価を行えるようにしました。
  • 博士課程レベルの科学的知識や能力のベンチマークである GPQA の評価を行えるようにしました。
• FastChat
  • 日本語MT-Benchに用いる設問・審判・模範解答のバージョンを更新しました。
• Code Generation LM Evaluation Harness
  • MBPP-Ja の評価を行えるようにしました。

Swallowプロジェクトとの関連性

v202411は，以下のモデルの開発に使用しています（2025年3月現在）。

• Llama 3.3 Swallow