에이전트-desktop

AI 대리인을 위한 컴퓨터 사용: OS accessibility 나무를 통해서 데스크탑 앱을 읽고 운영하십시오.

macOS, Windows 및 Linux용 CLI 및 C 라이브러리. snapshot는 모든 요소에 대한 ref로 JSON을 반환합니다. 에이전트는 정제에 작동하고 다시 확인하기 위해 스냅 샷, 픽셀 일치없이; 루프는 에이전트에 머물.

macOS에서 CLI는 각 스냅샷 네임스페이스 및 이진 빌드를 위한 개인 명령 호스트를 재사용합니다. 그것은 기본 접근성 개체를 유지 그래서 제거 행을 침묵으로 같은 식별자를 가진 생존 행에 해결 할 수 없습니다. 15 idle 분 후에 호스트 출구. TMPDIR]는 모드로 현재 사용자가 소유해야 0700; 표준 macOS per-user 임시 디렉토리는이 요구 사항을 만족시킵니다. Headless는 아직도 prohibit 전경 활성화 및 종합적인 입력을 부릅니다.

Snapshots, 클립보드 읽기, 스크린 샷, 명령 출력 및 디버그 artifacts는 개인 데스크탑 콘텐츠를 포함 할 수 있습니다. 공개 로그 및 업로드를 유지하십시오. 선택적 JEV 헬퍼는 구성 모델 공급자에 화면 설명을 보냅니다. 그것은 네이티브 CLI에서 분리됩니다. 개인 정보 보호 및 데이터 취급을 참조하십시오.

설치

macOS, Windows 또는 Linux에서 npm으로 설치하십시오

agent-desktop

Computer use for AI agents: read and operate desktop apps through the OS accessibility tree.

A CLI and C library for macOS, Windows and Linux. A snapshot returns JSON with a ref for every element an agent can act on. The agent acts on a ref and snapshots again to check, with no pixel matching; the loop stays in your agent.

On macOS, CLI calls reuse a private command host for each snapshot namespace and binary build. It retains native accessibility objects so a removed row cannot silently resolve to a surviving row with the same identifier. The host exits after 15 idle minutes. TMPDIR must be owned by the current user with mode 0700; the standard macOS per-user temporary directory satisfies this requirement. Headless calls still prohibit foreground activation and synthesized input.

Snapshots, clipboard reads, screenshots, command output and debug artifacts can contain private desktop content. Keep them out of public logs and uploads. The optional JEV helper sends screen descriptions to a configured model provider; it is separate from the native CLI. See privacy and data handling.

Installation

Install on macOS, Windows or Linux with npm:

npm install -g agent-desktop
agent-desktop version

Bun, Yarn and pnpm can install the same package. It includes native binaries and platform helpers for x64 and ARM64. For direct execution without a JavaScript launcher, download the matching native archive from GitHub Releases and keep its helper beside the executable.

Official Homebrew and Scoop packages are being submitted; they are not yet available in the default catalogs. The repository no longer maintains a custom Homebrew tap or Scoop bucket.

• macOS needs Accessibility permission: agent-desktop permissions --guide.