Skip to content

LLM API Concurrent Test v1.0

Latest
Latest

Choose a tag to compare

View all tags
@gesong2077 gesong2077 released this 27 Jul 19:36
v1.0
44ccd13

LLM API Concurrent Test v1.0 Release Notes

🎉 首次正式发布！/ First Official Release!

这是 LLM API Concurrent Test 的首次正式发布版本，为您提供专业的 LLM API 并发性能测试解决方案。

This is the first official release of LLM API Concurrent Test, providing you with a professional concurrent performance testing solution for LLM APIs.

✨ 核心功能 / Core Features

🚀 并发负载测试 / Concurrent Load Testing

  • 支持 1-20 个并发连接同时测试
  • Support for 1-20 concurrent connections simultaneous testing
  • 智能超时控制，确保测试数据准确性
  • Intelligent timeout control ensuring test data accuracy

📊 精确性能指标 / Precise Performance Metrics

  • 首次响应时间测量: 精确测量到第一个内容 token 的时间
  • First Token Latency Measurement: Precisely measures time to first content token
  • Token 输出速度: 使用官方 tiktoken 库进行精确计算
  • Token Output Speed: Uses official tiktoken library for precise calculation
  • 总计性能统计: 包含成功率、平均响应时间、总输出速度
  • Comprehensive Statistics: Including success rate, average response time, total output speed

🌐 多语言界面 / Multilingual Interface

  • 支持中文 (cn) 和英文 (en) 界面
  • Support for Chinese (cn) and English (en) interfaces
  • 配置文件和程序输出均支持双语
  • Both configuration files and program output support bilingual

⚙️ 灵活配置 / Flexible Configuration

  • YAML 配置文件，支持详细参数设置
  • YAML configuration file with detailed parameter settings
  • 可配置并发数、超时时间、API 端点等
  • Configurable concurrent count, timeout, API endpoints, etc.

🛠️ 技术特性 / Technical Features

  • .NET 8: 基于最新 .NET 8 框架构建
  • 自包含部署: 无需安装 .NET 运行时
  • Self-contained Deployment: No need to install .NET runtime
  • 跨平台支持: 支持 Windows、Linux、macOS 多架构
  • Cross-platform Support: Supports Windows, Linux, macOS multi-architecture
  • MIT 开源协议: 最宽松的开源许可证
  • MIT License: Most permissive open source license

📦 支持的平台 / Supported Platforms

平台/Platform 架构/Architecture 文件名/Filename
Windows x64 LLMApiConcurrentTest-v1.0-win-x64.zip
Windows x86 LLMApiConcurrentTest-v1.0-win-x86.zip
Windows ARM64 LLMApiConcurrentTest-v1.0-win-arm64.zip
Linux x64 LLMApiConcurrentTest-v1.0-linux-x64.zip
Linux ARM64 LLMApiConcurrentTest-v1.0-linux-arm64.zip
macOS x64 (Intel) LLMApiConcurrentTest-v1.0-osx-x64.zip
macOS ARM64 (Apple Silicon) LLMApiConcurrentTest-v1.0-osx-arm64.zip

🚀 快速开始 / Quick Start

  1. 下载对应平台的版本 / Download the version for your platform
  2. 解压到任意目录 / Extract to any directory
  3. 复制 config.yaml.template 为 config.yaml / Copy config.yaml.template to config.yaml
  4. 配置你的 API 设置 / Configure your API settings
  5. 运行程序开始测试 / Run the program to start testing

Windows:

LLMApiConcurrentTest.exe

Linux/macOS:

./LLMApiConcurrentTest

📖 配置示例 / Configuration Example

# 并发请求数量 / Number of concurrent requests
concurrent_num: 3

# API 基础 URL / API Base URL
baseurl: "https://api.openai.com/v1"

# API 密钥 / API Key
api_key: "your-api-key-here"

# 模型名称 / Model Name
model_name: "gpt-3.5-turbo"

# 超时时间（确保并发测试准确性）/ Timeout (ensuring concurrent test accuracy)
timeoutsec: 10

# 界面语言 / Interface Language
language: "cn"  # or "en"

📊 性能优势 / Performance Benefits

  • ⚡ 高精度: 使用官方 tiktoken 库，token 计算误差 < 10%
  • ⚡ High Precision: Uses official tiktoken library, token calculation error < 10%
  • 🎯 并发准确性: 智能超时机制确保真实并发测试
  • 🎯 Concurrent Accuracy: Intelligent timeout ensures genuine concurrent testing
  • 📈 详细指标: 首次响应时间、输出速度、成功率等完整指标
  • 📈 Detailed Metrics: Complete metrics including first response time, output speed, success rate

🔗 项目链接 / Project Links

🙏 致谢 / Acknowledgments

感谢所有使用的开源组件：

开始你的 LLM API 性能测试之旅吧！/ Start your LLM API performance testing journey! 🚀

Assets 9
Loading