Skip to content

yzqzy/llm_benchmark

 
 

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

361 Commits
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

大模型测评记录

榜单查询

简介

  1. 本评测是个人性质,使用滚动更新的私有题库进行长期跟踪评测。
  2. 本评测侧重模型对逻辑,数学,编程,人类直觉等问题的测试。不够权威,不够全面。仅从一个侧面观察各个大模型的长期进化趋势。
  3. 本评测的题库规模不大,长期维持在28题/270个用例以内,不使用任何互联网公开题目。题目每月会有滚动更新。题目不公开,意图是分享一种评测思路,以及个人见解。每个人应该根据自己所需,对大模型进行考察。不可盲信任何评测。
  4. 因为题目会每月增减,每个模型的成绩在每个月榜单中会有正负4分左右的变化,属于正常现象。大致排序保持稳定。

评测方法

  1. 每道题设置若干个得分点,有些题目每个用例通过记1分,有些题目每答出一个符合要求的数据/文本记1分。每题有至少1个得分点。最终得分是计分除以得分点总数,再乘以10。(即每道题满分10分)
  2. 每题要求推导过程必须正确,猜对的答案不得分。部分题目有额外要求,输出多余答案会扣分,避免枚举。
  3. 要求回答必须完全符合题目要求,如果明确要求不写解释,不得编程等,而回答包含了解释或编程部分,即使正确,也记0分。
  4. 评测统一使用官方API或OpenRouter/Zenmux中转。官方有明确建议的温度值,使用官方温度,否则使用默认温度值(不传参),其他超参同理。推理模型限制总长度80K,非推理模型设置输出长度15K。模型支持的MaxToken达不到上限,就按模型上限。其他参数均默认。每道题测3遍,取最高分。

题目大纲

30、日记整理:阅读长文本,按给定条件和多个要求整理文本,考察指令遵循
31、棋盘图案:求经过棋盘上给定2个点的最大面积等腰三角形顶点
32、干支纪年:天干中删除部分,求历史某一年的干支
38、函数求交:给多个函数求所有交点
39、火车售票:多个车次,多人次操作购票退票,求最终售票情况
41、交织文本解读:从多段交织混合文本中寻找问题答案
43、目标数:通过数学运算将给定数字组合,计算得到目标数字
44、工具组合:给定若干工具,通过使用工具,得到指定输出
45、程序编写:完成复杂约束下的python编程
48、字符处理:根据规则对一段文本进行字符级别处理和统计
49、激光布局:根据条件约束,在10x10空间中部署满足要求的激光器
50、日志分析:在约20K的生产服务器日志中找到有效线索进行归纳
51、复杂计算:综合考察K12范围内的数学公式和计算能力
52、观棋不语:从一场没有解说的对局中归纳游戏规则
53、管道疏通:使用一定手段使阻塞的管道通畅
54、高级拼图:从多块拼图中选择部分拼图完成图形
55、寻路问题:在给出的地图中寻找符合条件的通路
56、年会抽奖:在多重规则下和复杂文本下找到年会中奖者
57、单词组合:从数百个单词中找到满足条件的N个词
58、规则推导:给给出的计算示范中推导计算规则
59、代码阅读:复现约300行的算法代码的计算结果
60、程序编写:完成有多个相互影响条件的程序编写
61、信息解压:还原一段被压缩的信息
62、字符矩阵:按多条件约束填充一个字符矩阵
63、机器操作:按指令操作一台有大量状态的机器
64、三维重建:根据多个方向拍摄的X光片,重建三维物体
65、长文本总结:从文本中提炼关键数据进行统计汇总
66、深度关系:根据文字描述理解物体的位置关系

更新机制

  • 新模型测试后,总榜实时更新
  • 每月底做一次成绩归档

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

No releases published

Packages

 
 
 

Contributors