Add scripts for g-leaderboard (GENIAC official evaluation)

[hkiyomaru]

What

Add scripts for evaluating LLMs using g-leaderboard (GENIAC official evaluation).

Related issues

#29

[hkiyomaru]

GENIAC の評価をローカルで回すためのスクリプトです．

@Taka008 児玉さんは自分で回せた方が都合が良いと思うので，動作確認をお願いしたいです．Azure OpenAI API の endpoint と key は @cr-liu さんに聞いてください．

@YumaTsuta llm-jp-eval-v1.3.1 のスクリプトを参考に作成しました．レビューお願いします．

[ytivy]

@hkiyomaru レビューしました。
OPENAI_API_KEYが必要そうなのもあり、動作確認できておらず、またconfig周りはあまり確認できていません。

[ytivy]

install.sh は wrapper欲しくなりますね。時間がった時にでもやりますか

[Taka008]

動作確認は @YumaTsuta さんの修正が反映されたあとにこちらでやります

[hkiyomaru]

@Taka008 修正終わったので動作確認お願いします．（手元では動くことを確認済みです）

[ytivy]

@hkiyomaru gpu関連の module loadが不要なことに気がついて、評価スクリプト (v1.4.0)の方を修正しています（動作確認済み）。同様に適用しても問題ないですが、その場合はお手数おかけします。

[hkiyomaru]

llm-jp-eval v1.4.0 の変更を反映しました．動作確認済みです．

[Taka008]

v3 シリーズ用の resources/config_base.yaml の見本はありますか？

[hkiyomaru]

v3 シリーズ用の resources/config_base.yaml の見本はありますか？

今のものが v3 シリーズ用のつもりです．モデルサイズに関しては 172B 想定で，MT Bench 評価時に 8GPUs を確保するのをデフォルトにしています．

[Taka008]

1.7B v3 で試しに動かしてみましたが，空の回答が結構あったのでなにか間違えたのかと思っていました
こんなものなんですか？

[hkiyomaru]

空の回答，そんなにありますか？Jaster 4-shot は空回答 0 件ですし，問題なさそうに見えます．

[Taka008]

MT-bench を見てました

[hkiyomaru]

172B-instruct (55k steps) は無回答問題はありませんでした．

https://wandb.ai/nii-geniac/llm-leaderboard/runs/8xrr9dqg

いきなり EOS を吐いているとは考えづらいので，会話の separator (###) を吐いて出力が truncate されているとかでしょうか．いずれにそても，ベースモデルに指示追従能力がないことに由来する問題な気がします．

[Taka008]

チューニング済みの 13B v3 exp4 を試しに回してみましたが，確かに問題なさそうです
https://wandb.ai/llm-jp-eval/test/runs/wouna8fd

[Taka008]

@hkiyomaru
mdx, sakura の両環境で動作確認が取れました．approve しておきました

[hkiyomaru]

マージします