GitHub Copilot 响应时间统计 MCP 服务

这是一个基于 Python 的 MCP（Model Context Protocol）服务，用于统计和对比 GitHub Copilot 以及其他 AI 模型的响应时间。

功能特性

• 📊 实时记录模型响应时间
• 🔄 支持多个会话同时进行
• 📈 提供详细的统计分析
• 🏆 模型性能对比
• 💾 数据持久化存储
• 🛠️ 简单易用的 API

安装依赖

pip install -r requirements.txt

快速开始

1. 启动 MCP 服务

python index.py

2. 基本使用流程

# 开始记录一个问题的响应时间
start_question_timing(
    session_id="unique-session-1", 
    model_name="GitHub Copilot", 
    question="如何优化Python代码性能？"
)

# 向模型提问并等待回答...

# 收到回答后结束记录
end_question_timing(session_id="unique-session-1")

3. 查看统计结果

# 查看特定模型的统计
get_model_statistics(model_name="GitHub Copilot")

# 对比所有模型性能
compare_all_models()

API 工具说明

核心工具

• start_question_timing - 开始记录响应时间
• end_question_timing - 结束记录并计算时间
• get_model_statistics - 获取统计数据
• compare_all_models - 模型性能对比

辅助工具

• get_active_sessions - 查看活动会话
• clear_all_data - 清除所有数据
• resource://usage - 使用指南

数据结构

每条记录包含以下信息：

• 模型名称
• 问题内容
• 开始时间戳
• 结束时间戳
• 响应时间（毫秒）
• 记录时间
• 会话ID

使用示例

测试不同模型

# 测试 GitHub Copilot
start_question_timing("test-1", "GitHub Copilot", "创建REST API")
# ... 向 Copilot 提问 ...
end_question_timing("test-1")

# 测试 Claude
start_question_timing("test-2", "Claude-3", "创建REST API") 
# ... 向 Claude 提问 ...
end_question_timing("test-2")

# 对比结果
compare_all_models()

批量测试

运行示例客户端查看完整演示：

python client_example.py

数据存储

• 所有数据自动保存到 response_stats.json
• 支持服务重启后数据恢复
• JSON 格式便于数据分析

注意事项

1. 会话ID唯一性 - 确保每个测试使用唯一的会话ID
2. 及时结束计时 - 收到回答后立即调用 end_question_timing
3. 数据备份 - 定期备份 response_stats.json 文件

实际使用场景

1. 对比不同AI模型

测试同一个问题在不同AI模型上的响应速度

2. 模型性能监控

长期跟踪特定模型的响应时间趋势

3. 优化提示词

测试不同的提示词对响应时间的影响

4. 服务质量评估

为AI服务选择提供数据支持

扩展功能

可以轻松扩展以支持：

• 响应质量评分
• 更复杂的统计分析
• 图表可视化
• 导出报告功能

许可证

MIT License