【重要】 OpenAdapt製品ではなく、Labs。 このリポジトリは perceive-plan-act です コンピュータを用いた実験 OpenAdaptレコード、コンパイル、または ワークフローを再再生します。 プロダクトはあります openadapt-flow: コンパイル済み [VERIFIEDを独立したチェックが同意した場合にのみ報告するプログラム。 [pip install openadapt]。

OmniMCP は、モデルコンテキストプロトコル (MCP) と microsoft/OmniParser を通じて、AI モデルに豊富なUI コンテキストとインタラクション機能を提供します。 視覚分析、構造計画、および正確な相互作用の実行を通してユーザーのインターフェイスの深い理解を可能にすることに焦点を合わせます。

コア機能

• 視覚認識: OmniParser を使用して UI 要素を把握します。 -LLMプランニング: 目標、歴史、視覚状態に基づいて次の行動を計画します。
• エージェントの実行者: は、知覚計画の実行ループ ([omnimcp/agent_executor.py]) をオーケストします。 -Action Execution: [pynput] (omnimcp/input.py]) を介してマウス/キーボードを制御します。 -CLIインターフェイス: タスクを実行するための簡単なエントリポイント(cli.py)。
• 自動運転: オプションのOmniParserサーバをAWS EC2に自動shutdownでデプロイします。
• デバッグ: 毎回タイムスタンプされたビジュアルログを生成します。

概要

OmniMCP

[!IMPORTANT] Labs, not the OpenAdapt product. This repository is a perceive-plan-act computer-use experiment. It is not how OpenAdapt records, compiles, or replays a workflow. The product is openadapt-flow: a compiled program that reports VERIFIED only if an independent check agrees. pip install openadapt.

OmniMCP provides rich UI context and interaction capabilities to AI models through Model Context Protocol (MCP) and microsoft/OmniParser. It focuses on enabling deep understanding of user interfaces through visual analysis, structured planning, and precise interaction execution.

Core Features

• Visual Perception: Understands UI elements using OmniParser.
• LLM Planning: Plans next actions based on goal, history, and visual state.
• Agent Executor: Orchestrates the perceive-plan-act loop (omnimcp/agent_executor.py).
• Action Execution: Controls mouse/keyboard via pynput (omnimcp/input.py).
• CLI Interface: Simple entry point (cli.py) for running tasks.
• Auto-Deployment: Optional OmniParser server deployment to AWS EC2 with auto-shutdown.
• Debugging: Generates timestamped visual logs per step.

Overview

cli.py uses AgentExecutor to run a perceive-plan-act loop. It captures the screen (VisualState), plans using an LLM (core.plan_action_for_ui), and executes actions (InputController).

Demos

• Real Action (Calculator): python cli.py opens Calculator and computes 5*9.
• Synthetic UI (Login): python demo_synthetic.py uses generated images (no real I/O). (Note: Pending refactor to use AgentExecutor).

Prerequisites

• Python >=3.10, <3.13
• uv installed (pip install uv)
• Linux Runtime Requirement: Requires an active graphical session (X11/Wayland) for pynput. May need system libraries (libx11-dev, etc.) - see pynput docs.

(macOS display scaling dependencies are handled automatically during installation).

For AWS Deployment Features

Requires AWS credentials in .env (see .env.example). Warning: Creates AWS resources (EC2, Lambda, etc.) incurring costs. Use python -m omnimcp.omniparser.server stop to clean up.