рабочий стол

Использование компьютера для агентов ИИ: считывать и управлять настольными приложениями через дерево доступности ОС.

Библиотека CLI и C для macOS, Windows и Linux. Снимок возвращает JSON с исправлением для каждого элемента, на который может действовать агент. Агент действует на ref и снова делает снимки, чтобы проверить, без сопоставления пикселей; цикл остается в вашем агенте.

В macOS CLI вызывает повторное использование частного хоста команд для каждого пространства имен и бинарной сборки. Он сохраняет нативные объекты доступности, поэтому удаленная строка не может молча разрешить выжившую строку с тем же идентификатором. Хост выходит через 15 холостых минут. TMPDIR должен принадлежать текущему пользователю с режимом 0700; стандартная временная директория macOS для пользователя удовлетворяет этому требованию. Безголовые звонки по-прежнему запрещают активацию переднего плана и синтезированный вход.

Снимки, считывания буфера обмена, скриншоты, вывод команд и артефакты отладки могут содержать содержимое частного рабочего стола. Держите их вне публичных журналов и загрузок. Дополнительный помощник JEV отправляет описания экрана настроенному поставщику моделей; он отделен от родного CLI. См. конфиденциальность и обработка данных.

##Установка

Установите на macOS, Windows или Linux с помощью npm:

agent-desktop

Computer use for AI agents: read and operate desktop apps through the OS accessibility tree.

A CLI and C library for macOS, Windows and Linux. A snapshot returns JSON with a ref for every element an agent can act on. The agent acts on a ref and snapshots again to check, with no pixel matching; the loop stays in your agent.

On macOS, CLI calls reuse a private command host for each snapshot namespace and binary build. It retains native accessibility objects so a removed row cannot silently resolve to a surviving row with the same identifier. The host exits after 15 idle minutes. TMPDIR must be owned by the current user with mode 0700; the standard macOS per-user temporary directory satisfies this requirement. Headless calls still prohibit foreground activation and synthesized input.

Snapshots, clipboard reads, screenshots, command output and debug artifacts can contain private desktop content. Keep them out of public logs and uploads. The optional JEV helper sends screen descriptions to a configured model provider; it is separate from the native CLI. See privacy and data handling.

Installation

Install on macOS, Windows or Linux with npm:

npm install -g agent-desktop
agent-desktop version

Bun, Yarn and pnpm can install the same package. It includes native binaries and platform helpers for x64 and ARM64. For direct execution without a JavaScript launcher, download the matching native archive from GitHub Releases and keep its helper beside the executable.

Official Homebrew and Scoop packages are being submitted; they are not yet available in the default catalogs. The repository no longer maintains a custom Homebrew tap or Scoop bucket.

• macOS needs Accessibility permission: agent-desktop permissions --guide.