UIAutomation MCP Server

基于 Python-UIAutomation-for-Windows 的 MCP (Model Context Protocol) 服务器

特别感谢 yinkaisheng 开发的优秀 UI 自动化库，本项目是其 MCP 封装实现。

---

简介

UIAutomation MCP Server 让 AI 助手（如 Claude、ChatGPT）能够通过 MCP 协议直接操作 Windows UI 控件，实现：

• 自动化桌面应用程序操作
• 控件信息查询与截图
• 键盘鼠标模拟
• 窗口管理

支持的应用类型：Win32、MFC、WPF、Windows Forms、Modern UI (UWP)、Qt、Firefox、Chrome、Electron 等。

安装

pip install -e .          # 或 uv sync
pip install comtypes overlay-arrows-and-more

overlay-arrows-and-more 只有 ui_highlight 高亮工具需要；未安装时该工具会返回 DEPENDENCY_MISSING，其余工具不受影响。

配置

在 Claude Desktop / Claude Code / Cursor / Kiro 等 MCP 客户端的配置文件中添加：

{
  "mcpServers": {
    "uiautomation": {
      "command": "uiautomation-mcp",
      "type": "stdio"
    }
  }
}

也可以不安装、直接用源码运行：

{
  "mcpServers": {
    "uiautomation": {
      "command": "uv",
      "args": [
        "--directory",
        "D:\\path\\to\\Python-UIAutomation-for-Windows",
        "run",
        "main.py"
      ],
      "type": "stdio"
    }
  }
}

可用工具

控件查找 (6)

交互操作 (5)

信息查询 (6)

Pattern 操作 (6)

辅助工具 (5)

高亮与拾取 (3)

环境变量

安全机制

以下操作需要用户确认才会执行：

• ui_close_window - 关闭窗口
• ui_terminate_process - 终止进程

可通过设置 UIAUTOMATION_CONFIRMATION_ENABLED=false 禁用确认机制（不推荐）。

使用示例

配置完成后，你可以对 AI 助手说：

请帮我打开记事本，输入 "Hello World"，然后保存到桌面

截图当前活动窗口并保存

列出所有打开的 Chrome 标签页

系统要求

• 操作系统: Windows 7 SP1 或更高版本
• Python: 3.10 或更高版本
• 权限: 建议以管理员权限运行以获得最佳兼容性

注意事项

1. 管理员权限: 要自动化以管理员权限运行的应用，MCP 服务器也需要管理员权限
2. Chrome/Electron: 需要添加 --force-renderer-accessibility 启动参数
3. UWP 应用: 部分现代应用可能有访问限制

致谢

• yinkaisheng/Python-UIAutomation-for-Windows - 核心库
• Model Context Protocol - 协议规范

License

Apache License 2.0