如何通过命令行方式获取数据集平均值

[cobraheleah]

我已经跑完infer和eval，predictions和results下面都有对应的文件。
在运行 python run.py --datasets mmlu_ppl --hf-path /data/vjuicefs_ai_gpt/public_data/PTM/3mp/llama2/Llama-2-7b-hf --model-kwargs device_map='auto' --tokenizer-kwargs padding_side='left' truncation='left' use_fast=False --max-out-len 100 --max-seq-len 2048 --batch-size 16 --no-batch-padding --num-gpus 1 -r 20231017_070453 -m viz后，发现生成的summary文件夹下面还是没有整体的平均值的统计，还是每个子集的指标，想请问下，如何通过命令行方式获取数据集平均值

[Leymore]

Try add the following argument --summarizer example

[cobraheleah]

好的，还有一个问题，我看configs里面模型的配置文件里面有max_out_len这个参数，数据集的配置文件里面也有max_out_len这个参数，想请问下，代码运行的时候最终是以哪个为准

[Leymore]

If there is max_out_len in model config, use the one in model config.

If there is max_out_len in both model and dataset config, use the one in dataset config.

[cobraheleah]

好的，还有个问题想请教一下，我看OpenCompassData.zip里面没有gsm8k的数据，因为网络的原因，我这边访问不了HF的datasets，所以下载不了数据。因此我从https://github.com/openai/grade-school-math/tree/master/grade_school_math/data上面下载了gsm8k的数据，然后放到data目录下，然后修改了dataset config中的path为对应的data目录下的路径，请问这样评测指标也是可以对齐的吧，如果不行，是还有其他地方需要修改吗

[Leymore]

Sure, that will work. No other modification is needed.

[cobraheleah]

好的，感谢，现在测试的速度非常慢(8卡a100，测试gsm8k_gen，1300条数据，默认配置，要两个小时)，比用vllm要慢好多，我现在有8张a100，不知道是不是要设置一下配置参数，请问怎么配置可以提高性能呢