エージェントデスクトップ

AIエージェントのコンピュータ使用:OSアクセシビリティツリーを介してデスクトップアプリを読み込み、操作します。

macOS、Windows、Linux用のCLIとCライブラリ。 スナップショットは、エージェントが実行できるすべての要素の ref で JSON を返します。 エージェントは、ピクセルマッチングなしで、再び ref とスナップショットで機能します。ループはエージェントにとどまります。

macOS では、CLI は、各スナップショットの名前空間とバイナリビルド用のプライベートコマンドホストを再利用します。 ネイティブアクセシビリティオブジェクトを保持しているため、削除された行は、同じ識別子で生存する行に黙って解決できません。 ホストは 15 の idle 分後に終了します。 TMPDIR]] は、現在のユーザがモード [0700] で保持する必要があります。標準 macOS per-user ディレクトリは、この要件を満たしています。 ヘッドレスコールは、フォアグラウンドの活性化と合成入力を禁止します。

スナップショット、クリップボード読み取り、スクリーンショット、コマンド出力、デバッグアーティファクトは、プライベートデスクトップコンテンツを含むことができます。 公開ログやアップロードから保存してください。 オプションの JEV ヘルパーは、設定されたモデルプロバイダに画面の説明を送信します。ネイティブ CLI とは分離されます。 プライバシーとデータ処理を参照してください。

インストール

macOS、Windows、Linux に npm をインストールします

agent-desktop

Computer use for AI agents: read and operate desktop apps through the OS accessibility tree.

A CLI and C library for macOS, Windows and Linux. A snapshot returns JSON with a ref for every element an agent can act on. The agent acts on a ref and snapshots again to check, with no pixel matching; the loop stays in your agent.

On macOS, CLI calls reuse a private command host for each snapshot namespace and binary build. It retains native accessibility objects so a removed row cannot silently resolve to a surviving row with the same identifier. The host exits after 15 idle minutes. TMPDIR must be owned by the current user with mode 0700; the standard macOS per-user temporary directory satisfies this requirement. Headless calls still prohibit foreground activation and synthesized input.

Snapshots, clipboard reads, screenshots, command output and debug artifacts can contain private desktop content. Keep them out of public logs and uploads. The optional JEV helper sends screen descriptions to a configured model provider; it is separate from the native CLI. See privacy and data handling.

Installation

Install on macOS, Windows or Linux with npm:

npm install -g agent-desktop
agent-desktop version

Bun, Yarn and pnpm can install the same package. It includes native binaries and platform helpers for x64 and ARM64. For direct execution without a JavaScript launcher, download the matching native archive from GitHub Releases and keep its helper beside the executable.

Official Homebrew and Scoop packages are being submitted; they are not yet available in the default catalogs. The repository no longer maintains a custom Homebrew tap or Scoop bucket.

• macOS needs Accessibility permission: agent-desktop permissions --guide.