[Bug] GPQA答案解析成null错误导致精度异常（MiniMax-M2.7量化版GPQA数据集返回**Answer:**A无法解析）

[Gongdayao]

操作系统及版本

Linux w24 5.10.0-216.0.0.115.oe2203sp4.aarch64

安装工具的python环境

在anaconda/miniconda创建的python虚拟环境

python版本

3.10

AISBench工具版本

3.1.20260330

AISBench执行命令

ais_bench --models vllm_api_general_chat --datasets gpqa_gen_0_shot_cot_chat_prompt.py --mode all --dump-eval-details --merge-ds --debug

模型配置文件或自定义配置文件内容

from ais_bench.benchmark.models import VLLMCustomAPIChat
from ais_bench.benchmark.utils.postprocess.model_postprocessors import extract_non_reasoning_content

models = [
dict(
attr="service",
type=VLLMCustomAPIChat,
abbr="vllm-api-general-chat",
path="path/MiniMax-M2.7-w8a8",
model="minimax27",
stream=False,
request_rate=0,
use_timestamp=False,
retry=2,
host_ip="localhost",
host_port=8015,
max_out_len=65536,
batch_size=32,
trust_remote_code=False,
generation_kwargs=dict(
seed=None,
),
pred_postprocessor=dict(type=extract_non_reasoning_content),
)
]

预期行为

形如“Answer: C”、“Answer: C”等输出应能被成功解析。

实际行为

“Answer: C”、“Answer: C” 被解析成了null，导致此题算作错题，影响了精度结果：

附一次完整测试结果：

GPQA_diamond.json

前置检查

• 我已读懂主页文档的快速入门，无法解决问题
• 我已检索过FAQ，无重复问题
• 我已搜索过现有Issue，无重复问题
• 我已更新到最新版本，问题仍存在

[github-actions]

🌟欢迎给AISBench benchmark测评工具提issue，您可以先尝试以下途径寻求issue的解决方法：

1. 【强烈推荐❤️‍🔥】确保issue描述完整后，可以试着将issue交给回答，deepwiki包含了和工具相关的所有知识库
2. 在 工具历史issue 中通过问题的关键日志片段或关键词检索相似issue
3. 在 官方文档 的搜索栏中通过问题的关键日志片段或关键词检索
4. 寻求仓库维护者的帮助（issue评论区中 @SJTUyh）

[github-actions]

🤖 基于AI机器人的issue内容完整性检查结果:

问题内容检查结果

检查状态

PASS

详细检查

• 操作系统及版本: COMPLETE
• 安装工具的python环境: COMPLETE
• python版本: COMPLETE
• AISBench工具版本: COMPLETE
• AISBench执行命令: COMPLETE
• 模型配置文件或自定义配置文件内容: COMPLETE
• 实际行为: COMPLETE

改进建议

所有内容已完备！

补充说明

该Issue内容非常详细和完整，包含了所有必需的信息，并提供了清晰的描述、配置文件、执行命令、截图和测试结果文件，对于问题的诊断和解决非常有帮助。

👉 如果想重新检查，在评论区@issue_checker即可。

【强烈推荐❤️‍🔥】确保issue描述完整后，可以试着将issue交给回答，deepwiki包含了和工具相关的所有知识库

[SJTUyh]

@TEXT_POSTPROCESSORS.register_module()
def GPQA_Simple_Eval_postprocess(text: str) -> str:
    ANSWER_PATTERN = r'(?i)\banswer\b[ \t]*:[ \t]*(?:\*\*)?[ \t]*([A-D])\b'
    match = re.findall(ANSWER_PATTERN, text)
    match = match[-1] if match else None
    if match:
        return match
    return None