Skip to content

v0.3.0 — Developer Experience & Ecosystem 🚀

Choose a tag to compare

View all tags
@1304674612 1304674612 released this 10 Jul 03:00
v0.3.0
4b3a5d4

🎯 AgentBench v0.3.0 — The Testing Framework for AI Agents

5 分钟从安装到第一次测试

npm install -g agentbench
agentbench init
agentbench test

✨ 核心更新

🔥 全新 CLI 开发者体验

  • agentbench init 完全重写 — ASCII Logo + 5步交互引导 + 9 个 API Key 自动检测 + 模板选择
  • agentbench test Jest 风格输出 — watch/coverage/replay/json/junit/ci 全模式支持
  • 零配置理念，渐进式披露

📦 2 个新基础 Package

Package 说明
@agentbench/config defineConfig()、Jest 风格配置解析、Zod 校验、异步配置
@agentbench/provider-utils Provider SDK、OpenAICompatibleProvider 基类、CostCalculator(50+ 模型)、TokenCounter(tiktoken+启发式)

🌐 6 个新 LLM Provider（tsc --noEmit 通过）

Provider 说明 特点
@agentbench/gemini Google Gemini 原生 Google AI API、Vision、Tool Calling
@agentbench/deepseek DeepSeek OpenAI 兼容、Reasoning Models
@agentbench/azure-openai Azure OpenAI Azure AD 认证、Deployment 端点
@agentbench/openrouter OpenRouter 200+ 模型透传
@agentbench/groq Groq 超快推理、LPU 优化
@agentbench/ollama Ollama 本地运行、零成本、自动检测

📚 14 个官方 Examples（从 3 个扩展）

hello-agent · customer-support-agent · research-agent · code-review-agent · rag-agent · sql-agent · coding-agent · tool-calling-agent · mcp-agent · langgraph-agent · openai-agent-sdk · crewai-agent · llamaindex-agent · multi-agent-workflow

每个 Example 包含：README + Agent 源码 + 测试套件 + Dataset + CI 配置

📊 Dataset 系统

  • 7 种格式导入导出 — CSV / JSON / JSONL / HuggingFace / OpenAI Evals / DeepEval / LangSmith
  • 完整操作 — validate / split（分层抽样）/ sample / version / diff / compare
  • 600+ 行测试 · CLI 10 个子命令

🛠️ VS Code 插件（15 文件）

  • 13 条命令 · CodeLens（▶Run · 🐛Debug · 📊Replay）
  • TreeView 侧边栏 · StatusBar 状态栏 · Diagnostics 问题面板
  • TraceViewer 轨迹可视化 · Coverage 覆盖率展示

🔗 GitHub 集成

  • Actions CI/CD 工作流 · 复合 Action · PR 评论模板
  • 自动回归检测 · 成本追踪 · 评分对比

🏆 Benchmark Marketplace

  • 完整类型系统 · CLI 7 个子命令 · 14 个分类
  • Mock 数据支持 · 搜索/安装/运行/提交排行榜

📖 品牌 & 文档

  • 全新 README — Jest 类比定位 · 竞品对比 · 14 个 Example 索引
  • CHANGELOG v0.3.0 — 完整更新日志
  • ROADMAP v0.3→v1.0 — 路线图
  • 15 章节产品设计文档 — 系统架构、模块设计、信息架构

📊 数据对比

指标 v0.2.0 v0.3.0
Packages 8 15
Examples 3 14
CLI 命令 11 13
Providers 2 8
TypeScript 文件 ~100 274
VS Code 插件 无 15 文件
GitHub 集成 基础 CI Action + PR 模板

🔗 链接

AgentBench is to AI Agents what Jest is to JavaScript.

Assets 2
Loading