AR

Эта страница переведена автоматически. Технические детали смотрите в оригинале. Открыть оригинал

2,1 тыс. stars 422 forks Качество 66 Тренд 47NOASSERTION

Автоматизация браузера и рабочего стола с MCP-сервером для AI-ассистентов. Записывайте макросы или пишите JavaScript для автоматизации сайтов, извлечения данных и управления десктопными приложениями с помощью OCR и распознавания изображений.

Обзор

Ui.Vision сочетает автоматизацию браузера, OCR и распознавание изображений с MCP-сервером, который позволяет AI-агентам создавать, редактировать и запускать повторно используемые макросы в вашем браузере. Установите расширение · Подключите AI-ассистента к MCP · Ссылка на API · Форум пользователей - заполнять формы, извлекать веб-данные, скачивать отчёты и повторять рабочие процессы в существующей сессии браузера. - записывать и воспроизводить взаимодействия, использовать команды Selenium IDE и выполнять проверки с разными входными данными. - находить текст на экране с помощью OCR и находить управление по изображению, когда HTML-селекторы недоступны. - автоматизировать приложения и интерфейсы удалённого рабочего стола с помощью визуального распознавания и ввода мышью и клавиатурой. Автоматизация рабочего стола требует дополнительных компонентов UI.Vision (XModules). - попросить встроенного AI-ассистента или внешнего MCP-клиента написать и запустить макросы, затем проверить полученный скрипт, логи и скриншоты. Используйте регистратор макросов и командную таблицу, пишите JavaScript с помощью UIV.

Обзор (машинный перевод)

Автоматизация веб-сайтов и десктопных приложений с помощью макросов, JavaScript или AI-ассистента. Ui.Vision сочетает автоматизацию браузера, OCR и распознавание изображений с MCP-сервером, который позволяет AI-агентам создавать, редактировать и запускать повторно используемые макросы в вашем браузере.

Установите расширение · Подключите AI-ассистента к MCP · Ссылка на API · Форум пользователей

Что можно автоматизировать?

  • Задачи браузера: заполнение форм, извлечение веб-данных, скачивание отчётов и повторение рабочих процессов в вашей существующей сессии браузера.
  • Тестирование сайта: запись и повтор взаимодействий, использование команд Selenium IDE и выполнение проверок с разными входными данными.
  • Визуальные задачи: поиск текста на экране с помощью OCR и поиск управления по изображению, когда HTML-селекторы недоступны.
  • Рабочие процессы: автоматизация приложений и интерфейсов удалённых рабочих столов с использованием визуального распознавания и ввода мышью и клавиатурой. Автоматизация рабочего стола требует дополнительных компонентов UI.Vision (XModules).
  • Автоматизация с помощью ИИ: попросите встроенного AI-ассистента или внешнего MCP-клиента написать и запустить макросы, затем проверить полученный скрипт, логи и скриншоты.

Используйте регистратор макросов и командную таблицу, пишите JavaScript с помощью ‘uiv’.

Эта страница переведена автоматически. Технические детали смотрите в оригинале.

README

Показан фрагмент оригинального README. Открыть оригинал.

Ui.Vision - Browser and Desktop Automation

Automate websites and desktop applications with macros, JavaScript, or an AI assistant. Ui.Vision combines browser automation, OCR and image recognition, with an MCP server that lets AI agents create, edit and run reusable macros in your browser.

Install the extension · Connect an AI assistant with MCP · API reference · User forum

What can you automate?

  • Browser tasks: fill forms, extract web data, download reports and repeat workflows in your existing browser session.
  • Website testing: record and replay interactions, use Selenium IDE commands, and run checks with different input data.
  • Visual tasks: find on-screen text with OCR and locate controls by image when HTML selectors are unavailable.
  • Desktop workflows: automate applications and remote desktop interfaces using visual recognition and mouse and keyboard input. Desktop automation requires the additional Ui.Vision desktop components (XModules).
  • AI-assisted automation: ask the built-in AI assistant or an external MCP client to write and run macros, then inspect the resulting script, logs and screenshots.

Use the macro recorder and command table, write JavaScript with the uiv.* API, or let an AI assistant author the macro. The resulting automation can be saved and run again.

Get started

Install the browser extension; you do not need to build this repository:

Open Ui.Vision and record a browser task, or start with a macro from the extension’s demos. For desktop input and additional native capabilities, see the XModules installation guide.

The browser extension is open source and free for personal and commercial use. See the Ui.Vision website for desktop components and available editions.

Connect an AI assistant with MCP

Ui.Vision provides a Model Context Protocol (MCP) server through the uivision-mcp-bridge package. It connects MCP clients such as Claude Code, Claude Desktop and Cursor to the Ui.Vision browser extension.

An agent can inspect a page, create or edit a macro, run it, and use logs and screenshots to check the result. The automation executes through Ui.Vision in your browser.

Start with the MCP setup guide. The installer command is:

npx uivision-mcp-bridge --setup
Открыть полный README на GitHub

Установка

npx uivision-mcp-bridge --setup
Новичок в MCP? Начните с руководства на mcpskill.org →