JsonGeekAI 文档目录

目录结构

docs/
├── architecture/          # 架构文档
│   ├── mcp/              # MCP架构相关文档
│   │   ├── overview.md   # 架构概述
│   │   └── design.md     # 详细设计
│   └── README.md         # 架构文档说明
├── api/                  # API文档
│   ├── reference/        # API参考
│   └── README.md         # API文档说明
├── guides/              # 指南文档
│   ├── getting-started/ # 入门指南
│   ├── best-practices/  # 最佳实践
│   └── README.md        # 指南文档说明
├── modules/             # 模块文档
│   ├── injection/       # 注入检测模块
│   ├── privacy/         # 隐私保护模块
│   ├── robustness/      # 鲁棒性测试模块
│   ├── compliance/      # 合规服务模块
│   └── README.md        # 模块文档说明
├── deployment/          # 部署文档
│   ├── setup/          # 安装配置
│   ├── monitoring/     # 监控维护
│   └── README.md       # 部署文档说明
└── development/        # 开发文档
    ├── contributing/   # 贡献指南
    ├── testing/       # 测试文档
    └── README.md      # 开发文档说明

核心文档导航

1. 架构文档

• MCP架构详细设计
  • Model层：核心算法和模型
  • Command层：命令行接口
  • Processor层：处理逻辑
• 优先级分类 (P0-P2)
  • P0：核心JSON处理功能
  • P1：Schema验证和SIMD优化
  • P2：智能压缩特性
• 模块交互说明
  • 组件间通信
  • 数据流转
  • 异步处理
• 扩展性设计
  • 插件系统
  • 中间件
  • 自定义规则

2. API文档

• 命令行接口说明
  • 注入检测命令
  • 隐私扫描命令
  • 鲁棒性测试命令
• 核心API参考
  • StandardsLibrary API
  • Processor API
  • 审计日志 API
• 返回值格式
  • 注入检测结果
  • 隐私扫描结果
  • 测试结果格式
• 错误处理
  • 异常类型
  • 错误码
  • 处理策略

3. 模块指南

• 模块优先级说明
  • P0核心功能
  • P1扩展功能
  • P2高级特性
• 核心模块详解
  • 标准库模块
  • 注入检测模块
  • 隐私保护模块
  • 鲁棒性测试模块
• 工具模块说明
  • 审计日志模块
  • 命令行工具
• 测试模块指南
  • P0测试套件
  • P1测试套件
  • P2测试套件

4. 开发指南

• 快速开始
  • 环境设置
  • 依赖安装
  • 基本使用
• 开发流程
  • 代码规范
  • 测试流程
  • 文档维护
• 贡献指南
  • 提交规范
  • 代码审查
  • 版本控制
• 性能优化
  • SIMD优化
  • 异步处理
  • 缓存策略
• 安全注意事项
  • 输入验证
  • 数据保护
  • 审计日志
• 故障排除
  • 常见问题
  • 调试技巧
  • 性能分析

文档更新日志

2025-03-19

• 完善文档结构，按P0-P2优先级分类
• 添加MCP架构详细设计文档
• 更新API参考和模块指南
• 补充开发指南和最佳实践

JsonGeekAI

基于 Anthropic MCP 协议的智能 JSON 处理引擎，为 AI 训练数据提供全方位安全防护。

🚀 核心特性

• 扩展的 MCP 协议：基于 Anthropic MCP 标准，提供结构化数据处理框架
• DeepSeek LLM 集成：智能分析和理解 JSON 数据语义
• 多层次验证架构：语法 -> 结构 -> 语义的渐进式验证
• 全面安全防护：
  • SQL 注入防护
  • XSS 防护
  • 命令注入防护
  • 双重编码检测
  • 注释混淆检测

🎯 性能指标

• 处理时间：< 2秒 (10MB JSON文件)
• 内存占用：< 500MB
• 递归深度：支持 > 5层嵌套结构
• 验证准确率：> 99.9%

🛠 快速开始

安装

pip install jsongeek

基础使用

from jsongeek import JsonGeekValidator
from jsongeek.validator import ValidationLevel

# 创建验证器实例
validator = JsonGeekValidator()

# 验证 JSON 数据
result = await validator.validate(
    json_data='{"key": "value"}',
    level=ValidationLevel.SEMANTIC
)

# 检查结果
if result.is_valid:
    print("验证通过!")
else:
    print("验证错误:", result.errors)

📚 文档导航

1. 架构文档

• MCP架构详细设计
  • Model层：核心算法和模型
  • Command层：命令行接口
  • Processor层：处理逻辑
• 优先级分类 (P0-P2)
  • P0：核心JSON处理功能
  • P1：Schema验证和SIMD优化
  • P2：智能压缩特性
• 模块交互说明
  • 组件间通信
  • 数据流转
  • 异步处理
• 扩展性设计
  • 插件系统
  • 中间件
  • 自定义规则

2. API文档

• 命令行接口说明
  • 注入检测命令
  • 隐私扫描命令
  • 鲁棒性测试命令
• 核心API参考
  • StandardsLibrary API
  • Processor API
  • 审计日志 API
• 返回值格式
  • 注入检测结果
  • 隐私扫描结果
  • 测试结果格式
• 错误处理
  • 异常类型
  • 错误码
  • 处理策略

3. 模块指南

• 模块优先级说明
  • P0核心功能
  • P1扩展功能
  • P2高级特性
• 核心模块详解
  • 标准库模块
  • 注入检测模块
  • 隐私保护模块
  • 鲁棒性测试模块
• 工具模块说明
  • 审计日志模块
  • 命令行工具
• 测试模块指南
  • P0测试套件
  • P1测试套件
  • P2测试套件

4. 开发指南

• 快速开始
  • 环境设置
  • 依赖安装
  • 基本使用
• 开发流程
  • 代码规范
  • 测试流程
  • 文档维护
• 贡献指南
  • 提交规范
  • 代码审查
  • 版本控制
• 性能优化
  • SIMD优化
  • 异步处理
  • 缓存策略
• 安全注意事项
  • 输入验证
  • 数据保护
  • 审计日志
• 故障排除
  • 常见问题
  • 调试技巧
  • 性能分析

🔒 安全特性

1. 注入防护

• SQL 注入检测与防御
• NoSQL 注入防护
• 命令注入防护

2. 隐私保护

• 敏感数据识别
• 数据脱敏处理
• 隐私合规检查

3. 攻击防护

• XSS 攻击防护
• 双重编码检测
• 注释混淆检测

🤝 技术生态

• 完整支持 Anthropic MCP 协议
• DeepSeek LLM API 深度集成
• 兼容主流 JSON Schema 标准
• 支持自定义验证规则扩展

📈 性能优化

• 智能缓存机制
• 增量验证支持
• SIMD 指令集优化
• 内存复用技术

🔍 使用场景

1. AI 训练数据处理

   • 数据清洗和验证
   • 格式规范化
   • 安全性检查

2. API 安全防护

   • 请求数据验证
   • 响应数据检查
   • 异常数据拦截

3. 数据质量控制

   • 结构完整性验证
   • 语义正确性检查
   • 合规性审计

📊 基准测试

测试场景	数据大小	处理时间	内存占用
基础验证	1MB	200ms	50MB
完整验证	5MB	800ms	200MB
并发处理	10MB	1.5s	400MB

🤝 贡献指南

1. Fork 本仓库
2. 创建特性分支 (git checkout -b feature/AmazingFeature)
3. 提交更改 (git commit -m 'Add some AmazingFeature')
4. 推送分支 (git push origin feature/AmazingFeature)
5. 创建 Pull Request

📄 开源协议

本项目采用 MIT 协议 - 详见 LICENSE 文件