TL

touchpoint-labs/touchpoint

开发工具

本页由 AI 翻译,技术细节请以原文为准。 查看原文

47 stars 5 forks 质量 82 趋势 17MIT

为你的AI代理提供任何桌面的眼线和手感——跨平台无障碍API,支持MCP服务器

概览

Touchpoint 让你的AI代理在任何桌面上都能看到和双手。PIP 安装 Touchpoint-PY AI代理在Chrome中研究数据,然后创建格式化的Excel表格——完整任务完成时间约为12分钟 Touchpoint 是通过原生无障碍 API 阅读和交互桌面界面的工具。一个导入,一个 API ——支持 Linux、macOS 和 Windows,并通过 CDP(Chrome DevTools 协议)内置支持 Chromium 和 Electron 应用。 Touchpoint 无需抓取像素或运行视觉模型,而是读取真正的可访问性树——为屏幕上的每个元素提供结构化的名称、角色、状态和位置。快速且可靠,且自带 MCP 服务器,使像 Claude、Cursor 或任何本地模型这样的大型语言模型代理都能开箱即用地控制任何桌面应用。 所有功能都包含在内:平台的原生后端、对浏览器和Electron应用的CDP支持、MCP服务器以及截图功能。

概述(AI 翻译)

接触点

让你的AI客服在任何桌面上都能拥有眼睛和手。

PIP 安装 Touchpoint-PY

AI代理在Chrome中研究数据,然后创建格式化的Excel表格——完整任务完成时间约为12分钟


Touchpoint 是一个跨平台 Python 库,通过原生无障碍 API 阅读和交互桌面界面。一次导入,一个 API ——支持 Linux、macOS 和 Windows,并通过 CDP(Chrome DevTools 协议)内置支持 Chromium 和 Electron 应用。

Touchpoint 无需抓取像素或运行视觉模型,而是读取真正的可访问性树——屏幕上每个元素的结构化名称、角色、状态和位置。快速且可靠,无需视觉模型。自带 MCP 服务器,因此像 Claude、Cursor 或任何本地模型这样的大型语言模型代理可以开箱即用地控制任何桌面应用。

为什么是Touchpoint?

截图 / 愿景 浏览器自动化 触点
原生桌面应用 ⚠️不准确或慢 ❌ ✅
浏览器 ⚠️不准确或缓慢 ✅ ✅ 通过CDP
Electron应用(Slack、VS Code等) ⚠️不准确或慢速 ⚠️仅网页内容 ✅原生 + 网页

本页由 AI 翻译,技术细节请以原文为准。

README

以下为原文 README 节选,完整内容请查看原文。

Touchpoint

Give your AI agent eyes and hands on any desktop.












pip install touchpoint-py

AI agent researches data in Chrome, then creates a formatted Excel table — full task completed in ~12 minutes


Touchpoint is a cross-platform Python library for reading and interacting with desktop UI through native accessibility APIs. One import, one API — works on Linux, macOS, and Windows, with built-in support for Chromium and Electron apps via CDP (Chrome DevTools Protocol).

Instead of scraping pixels or running vision models, Touchpoint reads the real accessibility tree — structured names, roles, states, and positions for every element on screen. Fast and reliable, with no vision model required. Ships with an MCP server so LLM agents like Claude, Cursor, or any local model can control any desktop app out of the box.

import touchpoint as tp

elements = tp.find("Send", role=tp.Role.BUTTON, app="Slack")
tp.click(elements[0])

Why Touchpoint?

Screenshot / vision Browser automation Touchpoint
Native desktop apps ⚠️ inaccurate or slow ❌ ✅
Browsers ⚠️ inaccurate or slow ✅ ✅ via CDP
Electron apps (Slack, VS Code, …) ⚠️ inaccurate or slow ⚠️ web content only ✅ native + web
Structured element data ❌ needs OCR/vision model ✅ web only ✅ names, roles, states, positions
Works with local / non-vision models ❌ ✅ web only ✅ all apps
Works across Linux, macOS, Windows ✅ ✅ ✅

Table of Contents

在 GitHub 查看完整 README

安装

This server does not publish a one-line install command.

Open the repository installation guide 新手?先看 mcpskill.org 教程 →

配置

{ "mcpServers": { "touchpoint": { "command": "touchpoint-mcp" } } }