Дайте агенту ИИ возможность обнаруживать приложения, понимать их элементы управления и работать На рабочем столе. Компьютерное использование MCP соединяет MCP-совместимые агенты с нативными инструментами macOS, Windows и Linux.

Используйте сценарии приложений и элементы управления доступностью, когда они доступны, и скриншоты, Ввод мыши и клавиатуры, когда интерфейс требует их.

Посмотреть Краска

Астра нарисовала это с помощью настоящих мышиных штрихов. Агент использовал OpenAI Responses API для работы в комплекте с лакокрасочной студией через этот MCP: 105 штрихов Семь цветов и 15 вызовов моделей, за которыми следует проверенный экспорт PNG. Результатом является Оригинальный пейзаж, вдохновленный Ван Гогом, созданный с помощью местных указательных событий.

Это платные вызовы API. Записанный прогон использовал 191 734 входа и 3274 выхода. Токены. Запустите демо и прочитайте их пределы.

Посмотреть Читать

Тридцать восемь секунд, десять полей, без ключа ответа. Накладная слева - это нарисованный на холсте, поэтому его текст никогда не достигает дерева доступности — единственный способ Читать - значит смотреть. DeepSeek Flash считывает его со скриншотов, набирает каждое значение через API доступности и нажимает Verify; локальный хост оценивает Записи и говорит только, какие из них неверны.

Computer Use MCP

Give an AI agent the ability to discover apps, understand their controls, and work on a desktop. Computer Use MCP connects MCP-compatible agents to native tools on macOS, Windows and Linux.

Use app scripting and accessibility controls when available, and screenshots, mouse and keyboard input when the interface requires them.

See it paint

Astra painted this through real mouse strokes. The agent used the OpenAI Responses API to operate the bundled paint studio through this MCP: 105 strokes, seven colors and 15 model calls, followed by a verified PNG export. The result is an original Van Gogh-inspired landscape made through native pointer events.

# From a clone of this repository, after the setup below:
npm install --prefix agents/openai-agent
npx playwright install chromium
export OPENAI_API_KEY=your-key
node agents/openai-agent/showcase.mjs paint --studio --turns 24 --tokens 200000

This makes paid API calls. The recorded run used 191,734 input and 3,274 output tokens. Run the demos and read their limits.

See it read

Thirty-eight seconds, ten fields, no answer key. The invoice on the left is drawn on a canvas, so its text never reaches the accessibility tree — the only way to read it is to look. DeepSeek Flash reads it from screenshots, types each value through the accessibility API, and presses Verify; the local host scores the entries and tells it only which ones are wrong. This run scored 10 of 10 on the first Verify, over 12 model calls and 23 tool calls, at a 94% prompt-cache hit rate. Every entry is recorded with its isTrusted flag, so a submission that was not typed through the UI is refused.

npm install --prefix agents/deepseek-agent
npx playwright install chromium
export DEEPSEEK_API_KEY=your-key
node agents/deepseek-agent/showcase.mjs --seed 7             # the run above
node agents/deepseek-agent/showcase.mjs --receipt random     # a real receipt from the web

Full-resolution capture · how it works, and what it cannot fake

See it plan

Watch the work instead of reading tool calls. The run console is an MCP App the agent reports into. It declares a plan, marks one task active at a time, and attaches real screen captures as it goes — the frame above is a live capture of Blender’s own window.

Underneath the conversation is everything it is doing: each thought, each tool call and each result, with timings. That feed is reported by the host driving the run