MCP(Model Context Protocol)サーバーで、AIエージェントがWindowsデスクトップアプリケーションのアクセシビリティAPIを自動化できるようにします。これはPlaywrightがブラウザを自動化するのと同じ方法です。

なぜこれが存在するのか

PlaywrightのMCPサーバーがブラウザを自動化すると、以下の機能を提供します:

• browser_snapshot → 要素参照付きの構造化アクセスツリー
• browser_click ref="..." → 座標ではなく参照でクリック

FlaUI-MCPはWindowsデスクトップアプリにも同じパターンをもたらします:

• windows_snapshot → [[T3]のような参照付きアクセシビリティツリー
• windows_click ref="w1e5" → 参照元をクリック

スクリーンショット解析は不要です。座標推測も不要です。意味的要素の参照だけです。

クイックデモ

設置

前提条件

• Windows 10/11
• .NET 8.0 ランタイム

ダウンロードリリース

Releasesから最新リリースをダウンロードし、フォルダに抽出してください。

自分の機械に合った郵便番号を選びましょう:

FlaUI-MCP

An MCP (Model Context Protocol) server that enables AI agents to automate Windows desktop applications using accessibility APIs - the same way Playwright automates browsers.

Why This Exists

When Playwright’s MCP server automates browsers, it provides:

• browser_snapshot → Structured accessibility tree with element refs
• browser_click ref="..." → Click by ref, not coordinates

FlaUI-MCP brings the same pattern to Windows desktop apps:

• windows_snapshot → Accessibility tree with refs like w1e5
• windows_click ref="w1e5" → Click element by ref

No screenshot parsing. No coordinate guessing. Just semantic element references.

Quick Demo

Agent: Calculate 3 × 3

1. windows_launch { "app": "calc.exe" }
   → Window handle: w1

2. windows_snapshot { "handle": "w1" }
   → - window "Calculator" [ref=w1]
       - button "Three" [ref=w1e43]
       - button "Multiply by" [ref=w1e35]
       - button "Equals" [ref=w1e38]
       - text "Display is 0" [ref=w1e15]

3. windows_batch { "actions": [
     {"action": "click", "ref": "w1e43"},
     {"action": "click", "ref": "w1e35"},
     {"action": "click", "ref": "w1e43"},
     {"action": "click", "ref": "w1e38"},
     {"action": "snapshot", "handle": "w1"}
   ]}
   → 1. click: Invoked Three
     2. click: Invoked Multiply by
     3. click: Invoked Three
     4. click: Invoked Equals
     5. snapshot: ... "Display is 9" ...

Installation

Prerequisites

• Windows 10/11
• .NET 8.0 Runtime

Download Release

Download the latest release from Releases and extract to a folder.

Choose the ZIP that matches your machine:

Configure MCP Client

Add to your MCP configuration (e.g., ~/.copilot/mcp-config.json):

{
  "mcpServers": {
    "windows": {
      "type": "local",
      "command": "C:\\path\\to\\FlaUI-MCP.exe",
      "tools": ["*"]
    }
  }
}

Or using dotnet run:

{
  "mcpServers": {
    "windows": {
      "type": "local",
      "command": "dotnet",
      "args": ["run", "--project", "C:\\path\\to\\src\\FlaUI.Mcp"]
    }
  }
}

Available Tools