性能压测：Qwen2.5-72B-Instruct-GPTQ-Int4的RPS比Qwen2-72B-Instruct-GPTQ-Int4要低，平均耗时高

[kartikzheng]

使用locust对vllm起的接口进行性能压测，发现Qwen2.5-72B-Instruct-GPTQ-Int4的RPS比Qwen2-72B-Instruct-GPTQ-Int4要低，平均耗时高，具体压测数据如下：
测试前提：压测时间5分钟；每秒产生用户数5；
测试环境：H800，两块40G
单位：毫秒

<style> </style>

压测任务	用户数	RPS	平均延时	中位数	失败率
qwen2.5	20	1.726	10396.213	11000	0
	40	2.293	15681.877	16000	0
	60	2.521	21491.306	22000	0
qwen2	20	1.88	9430.782	9900	0
	40	2.633	13716.861	14000	0
	60	3.159	17132.189	18000	0

[jklj077]

输出长度可能不一样