
为你的AI代理提供任何桌面的眼线和手感——跨平台无障碍API,支持MCP服务器
概览
Touchpoint 让你的AI代理在任何桌面上都能看到和双手。PIP 安装 Touchpoint-PY AI代理在Chrome中研究数据,然后创建格式化的Excel表格——完整任务完成时间约为12分钟 Touchpoint 是通过原生无障碍 API 阅读和交互桌面界面的工具。一个导入,一个 API ——支持 Linux、macOS 和 Windows,并通过 CDP(Chrome DevTools 协议)内置支持 Chromium 和 Electron 应用。 Touchpoint 无需抓取像素或运行视觉模型,而是读取真正的可访问性树——为屏幕上的每个元素提供结构化的名称、角色、状态和位置。快速且可靠,且自带 MCP 服务器,使像 Claude、Cursor 或任何本地模型这样的大型语言模型代理都能开箱即用地控制任何桌面应用。 所有功能都包含在内:平台的原生后端、对浏览器和Electron应用的CDP支持、MCP服务器以及截图功能。
概述(AI 翻译)
接触点
让你的AI客服在任何桌面上都能拥有眼睛和手。
PIP 安装 Touchpoint-PY
AI代理在Chrome中研究数据,然后创建格式化的Excel表格——完整任务完成时间约为12分钟
Touchpoint 是一个跨平台 Python 库,通过原生无障碍 API 阅读和交互桌面界面。一次导入,一个 API ——支持 Linux、macOS 和 Windows,并通过 CDP(Chrome DevTools 协议)内置支持 Chromium 和 Electron 应用。
Touchpoint 无需抓取像素或运行视觉模型,而是读取真正的可访问性树——屏幕上每个元素的结构化名称、角色、状态和位置。快速且可靠,无需视觉模型。自带 MCP 服务器,因此像 Claude、Cursor 或任何本地模型这样的大型语言模型代理可以开箱即用地控制任何桌面应用。
为什么是Touchpoint?
| 截图 / 愿景 | 浏览器自动化 | 触点 | |
|---|---|---|---|
| 原生桌面应用 | ⚠️不准确或慢 | ❌ | ✅ |
| 浏览器 | ⚠️不准确或缓慢 | ✅ | ✅ 通过CDP |
| Electron应用(Slack、VS Code等) | ⚠️不准确或慢速 | ⚠️仅网页内容 | ✅原生 + 网页 |
本页由 AI 翻译,技术细节请以原文为准。
README
以下为原文 README 节选,完整内容请查看原文。
Touchpoint
Give your AI agent eyes and hands on any desktop.
pip install touchpoint-py
AI agent researches data in Chrome, then creates a formatted Excel table — full task completed in ~12 minutes
Touchpoint is a cross-platform Python library for reading and interacting with desktop UI through native accessibility APIs. One import, one API — works on Linux, macOS, and Windows, with built-in support for Chromium and Electron apps via CDP (Chrome DevTools Protocol).
Instead of scraping pixels or running vision models, Touchpoint reads the real accessibility tree — structured names, roles, states, and positions for every element on screen. Fast and reliable, with no vision model required. Ships with an MCP server so LLM agents like Claude, Cursor, or any local model can control any desktop app out of the box.
import touchpoint as tp
elements = tp.find("Send", role=tp.Role.BUTTON, app="Slack")
tp.click(elements[0])
Why Touchpoint?
| Screenshot / vision | Browser automation | Touchpoint | |
|---|---|---|---|
| Native desktop apps | ⚠️ inaccurate or slow | ❌ | ✅ |
| Browsers | ⚠️ inaccurate or slow | ✅ | ✅ via CDP |
| Electron apps (Slack, VS Code, …) | ⚠️ inaccurate or slow | ⚠️ web content only | ✅ native + web |
| Structured element data | ❌ needs OCR/vision model | ✅ web only | ✅ names, roles, states, positions |
| Works with local / non-vision models | ❌ | ✅ web only | ✅ all apps |
| Works across Linux, macOS, Windows | ✅ | ✅ | ✅ |
Table of Contents
安装
This server does not publish a one-line install command.
Open the repository installation guide 新手?先看 mcpskill.org 教程 →配置
{
"mcpServers": {
"touchpoint": {
"command": "touchpoint-mcp"
}
}
}