进行单选题测试

[arthaschan]

大佬，我的fork 仓是：https://github.com/arthaschan/minimind.git,已经完成了full_sft_512.pth和lora/lora_huatuo_512.pth .就是黑盒蒸馏+lora.
现在为了测试，我准备了一个单选题问题集 mental.csv,已经转换成了jsonl 格式， 现在就是想写一段测试代码，启动模型，回答mental.jsonl里的问题，mental.jsonl 里有正确答案。通过答案匹配，我就知道回答的正确率。 现在就是这个测试代码写不好，通过ai 也完成不了。 autoTest.py就是一个半成品，请问如何完成这个测试代码？

mental.csv

[arthaschan]

autoTest.py 代码能正确运行，返回结果在文件dental_model_test_report.json里，但每个问题答复的都是未知，所以正确率为0.不知道问题出在哪里

[arthaschan]

一个可能的原因就是我做黑盒蒸馏的时候，就没训练选择题，所以模型不会回答。但我现在想把一部分 选择题数据加入到 黑盒蒸馏的数据集里的时候，不能暴力加，因为 选择题的数据格式是：{"Question":"属呼吸系统疾病问诊内容的是","Options":"A 呼吸困难\nB 呕吐\nC 腰痛\nD 肌肉震颤”，"Answer":"A"} ,所以如何保证 2种数据兼容，正确完成训练。
一句话描述：如何黑盒蒸馏的时候，让系统学会做选择题。

val.csv

[arthaschan]

继续描述进展，我的fork 仓是：https://github.com/arthaschan/minimind.git，今天对蒸馏数据源补充了带选择题的数据重新做了蒸馏，然后把牙科选择题数据加入到lora数据集里重新训练，再重新测试，正确率仍然为0.
train_full_sft_medical.py。蒸馏训练
train_lora_huatuo_cmexam_choice。lora训练，数据里有选择题
autoTestChoice.py。做选择题 测试

部分jsonl 数据我没有上传到 GitHub 里。
请大佬帮忙分析原因在哪里？

[arthaschan]

我打印模型的回答，发现模型回答的只有 11 ：： ( 以上的 这种数据

[arthaschan]

我用python eval_llm_medical_cmexam.py （比eval_llm.py，只改了几个文件地址），发现模型确实能回答选择题，但好像只会回答c，或者乱回答。这个至少证明模型在给了选择题后，是会回答选择题的。那么我的自动测试回答11 ::这种乱码则是bug，需要我对照eval_llm_medical_cmexam.py 和autoTestChoice.py ，找 模型初始化、build_choice_prompt、get_model_answer 等方法哪里存在bu g.