v2.0.0

主な変更点

• パッケージ管理ツールを uv に移行しました。(#39, #45)
• Python のバージョンを 3.10 以上とし、依存ライブラリをアップデートしました。(#47)
• 依存ライブラリの vllm を optional dependency としました。(#48)
• vLLMClient による vLLM を利用した推論を廃止しました。(#46)
  • vLLM を利用した推論は、vLLM の OpenAI API 互換サーバ機能を使用することで実行できます。実行例は README を参照してください。
• 日本文化 (culture_ja)、安全性境界テスト (safety_boundary_ja)、安全性ボーダーライン評価 (safety_borderline_ja) のタスクを追加しました。(#52, #55)
• 設定ファイルのタスク名を「名称_言語名」という形式に統一しました。(#51)
• 各種タスクのプロンプトを設定ファイルに記述するように変更しました。(#51)
• 設定ファイルの sampling_params に reasoning_effort の項目を追加しました。(#56)
• コードに型ヒントを追加し、mypy による型チェックに対応しました。(#49, #50)

対応している評価

• 品質評価（日本語）: culture_ja
• 安全性評価（日本語）: safety_ja
• 安全性ボーダーライン評価（日本語）: safety_borderline_ja
• 日本文化（日本語）: culture_ja
• 安全性境界テスト（日本語）: safety_boundary_ja
• MT-Bench（英語）: mt_bench_en
• MT-Bench（日本語）: mt_bench_ja

メタ評価結果

llm-jp-judge の評価の妥当性を検証するため、以下の4つのデータセットについてメタ評価を行いました。評価者としての LLM には OpenAI の gpt-5.4-2026-03-05 を使用しました。

品質評価 (日本語)

ichikara-instruction のデータの一部を用いて、いくつかのモデルの出力に対して付与された人間による評価値の平均と LLM による評価値の平均を比較した結果を下図に示します（論文 図1と同様の評価方法です）。

安全性評価 (日本語)

AnswerCarefully のデータの一部を用いて、いくつかのモデルの出力に対して付与された人間による評価値の平均と LLM による評価値の平均を比較した結果を下図に示します（論文 図2と同様の評価方法です）。

安全性ボーダーライン評価 (日本語)

AnswerCarefully-borderline のデータの一部を用いて、 llm-jp/llm-jp-3-8x13b-instruct3, Qwen/Qwen2.5-72B-Instruct, openai/gpt-4-0613 の3つのモデルの出力に対して付与された人間による評価値と LLM による評価値を比較しました。結果を下表に示します。

Note

llm-jp-judge では回答拒否の程度を3段階で評価しますが、評価対象のデータでは回答拒否の有無の2値分類として人手評価が行われていたため、LLM-as-a-Judge による3段階評価を回答拒否があった場合 (1,2点) を0点、なかった場合 (3点) を1点とする2値に変換して評価値の比較を行いました。

	評価値の平均
人手評価	0.765
LLM評価	0.540

	相関係数
人手評価の相関	0.817
人手評価とLLM評価の相関	0.648

「人手評価の相関」は3名の人間（毎回同じ3名とは限らない）のスコアの相関です。「人手評価とLLM評価の相関」は3名の人間に LLM が加わった場合（すなわち計4名の評価者）のスコアの相関です。相関係数として Krippendorff's alpha を用いました。

日本文化 (日本語)

jcultureのデータの一部を用いて、llm-jp/llm-jp-3-8x13b-instruct3, Qwen/Qwen2.5-72B-Instruct, openai/gpt-4-0613 の3つのモデルの出力に対して付与された人間による評価値とLLMによる評価値を比較しました。結果を下表に示します。

	評価値の平均
人手評価	2.54
LLM評価	2.05

	相関係数
人手評価の相関	0.605
人手評価とLLM評価の相関	0.576

「人手評価の相関」は3名の人間（毎回同じ3名とは限らない）のスコアの相関です。「人手評価とLLM評価の相関」は3名の人間に LLM が加わった場合（すなわち計4名の評価者）のスコアの相関です。相関係数として Krippendorff's alpha を用いました。