帮助 ChartArena 结果可复现的推理与评测细节补充说明

[pspdada]

十分感谢社区对 ChartArena 的关注与支持，为确保 ChartArena 所报告结果的复现性，同时帮助大家更顺畅地使用本仓库进行测评，我们在此补充说明一些具体推理环境、参数配置以及评测细节。

1. 评测 Pipeline 的一致性

ChartArena 所报结果，完全由本仓库中的代码可计算得到。仓库中的 infer、judge 以及 analyse 流程，即为生成排行榜中分数的流水线。

2. 模型推理环境与 Decoding 设置 (以 Qwen3.5-35B-A3B 为例)

不同的 Serving Framework 和解码参数可能会对评测结果产生影响。为了确保结果对齐，我们在测试 Qwen3.5-35B-A3B 时使用了如下配置：

• 依赖环境：vllm: v0.17.1 以及 transformers: v5.3.0，使用 vLLM 部署
• 推理模式：采用了官方默认的推理模式（开启 thinking 模式）
• Decoding 参数：均采用默认设置
  • temperature=1.0
  • top_p=0.95
  • top_k=20
  • min_p=0.0
  • presence_penalty=1.5
  • repetition_penalty=1.0

3. 输入处理

将图表传给模型时，我们直接将原图字节转换为 base64 格式后传入模型，没有使用图像预处理。对于 Qwen3.5 模型，我们先传文字问题再传图片；没有 system prompt；只有一条 user message。

---

如果在复现过程中遇到分数无法对齐的情况，或者有任何关于 benchmark 改进的建议，非常欢迎在这个 Discussion 下方留言。你可以提供详细的运行日志和参数配置，我们会积极协助大家解决。