Сервер MCP (Model Context Protocol), который позволяет AI-агентам автоматизировать настольные приложения Windows с помощью API доступности — так же, как Playwright автоматизирует браузеры.

Почему это существует

Когда сервер MCP от Playwright автоматизирует браузеры, он предоставляет:

• browser_snapshot → Структурированное дерево доступности с ссылками на элементы
• browser_click ref="..." → Клик по ссылке, не по координатам

FlaUI-MCP привносит тот же паттерн в десктопные приложения Windows:

• windows_snapshot → Дерево доступности с ссылками вроде w1e5
• windows_click ref="w1e5" → Клик по ссылке

Нет анализа скриншотов. Нет угадывания координат. Только ссылки на семантические элементы.

Быстрое демо

Установка

Требования

• Windows 10/11
• .NET 8.0 Время выполнения

Скачать Релиз

Скачайте последний релиз из раздела Releases и распакуйте его в папку.

Выберите ZIP, который соответствует вашему компьютеру:

FlaUI-MCP

An MCP (Model Context Protocol) server that enables AI agents to automate Windows desktop applications using accessibility APIs - the same way Playwright automates browsers.

Why This Exists

When Playwright’s MCP server automates browsers, it provides:

• browser_snapshot → Structured accessibility tree with element refs
• browser_click ref="..." → Click by ref, not coordinates

FlaUI-MCP brings the same pattern to Windows desktop apps:

• windows_snapshot → Accessibility tree with refs like w1e5
• windows_click ref="w1e5" → Click element by ref

No screenshot parsing. No coordinate guessing. Just semantic element references.

Quick Demo

Agent: Calculate 3 × 3

1. windows_launch { "app": "calc.exe" }
   → Window handle: w1

2. windows_snapshot { "handle": "w1" }
   → - window "Calculator" [ref=w1]
       - button "Three" [ref=w1e43]
       - button "Multiply by" [ref=w1e35]
       - button "Equals" [ref=w1e38]
       - text "Display is 0" [ref=w1e15]

3. windows_batch { "actions": [
     {"action": "click", "ref": "w1e43"},
     {"action": "click", "ref": "w1e35"},
     {"action": "click", "ref": "w1e43"},
     {"action": "click", "ref": "w1e38"},
     {"action": "snapshot", "handle": "w1"}
   ]}
   → 1. click: Invoked Three
     2. click: Invoked Multiply by
     3. click: Invoked Three
     4. click: Invoked Equals
     5. snapshot: ... "Display is 9" ...

Installation

Prerequisites

• Windows 10/11
• .NET 8.0 Runtime

Download Release

Download the latest release from Releases and extract to a folder.

Choose the ZIP that matches your machine:

Configure MCP Client

Add to your MCP configuration (e.g., ~/.copilot/mcp-config.json):

{
  "mcpServers": {
    "windows": {
      "type": "local",
      "command": "C:\\path\\to\\FlaUI-MCP.exe",
      "tools": ["*"]
    }
  }
}

Or using dotnet run:

{
  "mcpServers": {
    "windows": {
      "type": "local",
      "command": "dotnet",
      "args": ["run", "--project", "C:\\path\\to\\src\\FlaUI.Mcp"]
    }
  }
}

Available Tools