PyMCPAutoGUI 🖱️⌨️🖼️

Warning

主项目关联与运行限制：

1. 本项目是 mcp-gateway (MCP 聚合网关) 的子项目之一。
2. 硬件要求：由于本项目集成了 EasyOCR 用于屏幕文字识别与视觉定位，在运行时强依赖显卡 (GPU) 硬件加速。因此，目前不适合直接整合到轻量化的 mcp-gateway 网关容器中运行。建议将本项目在具有 GPU 的宿主机本地独立启动，再通过网关进行代理连接。

赋予 AI Agent 视觉与操作能力。

PyMCPAutoGUI 是连接 AI Agent（如 Cursor）与本地 GUI 的桥梁，使其能够像人类一样看屏幕 👁️、控键鼠 🖱️⌨️、管窗口 🪟。

---

✨ 核心特性

• 视觉感知: 基于 EasyOCR 深度链路，支持 50% 预缩小高性能扫描、屏幕取词、智能过滤与精准点击。
• 键鼠控制: 模拟人类操作，支持移动、点击、拖拽、输入及组合键。
• 窗口管理: 跨平台支持窗口查找、激活、移动与缩放。
• MCP 协议: 完美适配 Cursor, Claude Desktop 等所有 MCP 兼容客户端。

📚 文档指南

为了方便查阅，我们将文档进行了细化拆分：

1. 🚀 使用指南 (User Guide)

   • 快速安装与同步
   • 如何与 Cursor / AI Agent 集成
   • 可用工具矩阵（键鼠、截图、OCR 等）

2. 🛠️ 二次开发手册 (Developer Guide)

   • 开发环境配置
   • 自动化测试与手动验证
   • 代码规范与架构说明

🐧 跨平台配置

如果您在 macOS 或 Linux 上运行，请参考以下指南：

• macOS/Linux 配置指南

---

📄 License

本项目采用 MIT 许可证 - 详情请见 LICENSE 文件。 祝自动化愉快！ 😄