AIの目、手、音声を任意のデバイスに与える - アンドロイド、スチームデッキ、LinuxのPC。

あなたのAIエージェントがデバイスの画面を見たり、入力を送信したり、スピーカーを通して話したり、マイクを聴くことを可能にするOpenClawスキル。 ネットワーク経由で。 リアルタイムで。

それが何をしているか

あなたのAIエージェントは、ネットワーク上のデバイスに接続し、3つの機能を取得します。

1。See — スクリーンショットを経由して画面をキャプチャし、それをビジョンモデルで分析します 2.Act — タップ、スワイプ、ボタンプレス、テキスト入力、ゲームパッドコマンドを送信 3。Speak & Listen — デバイススピーカーによるTSS、Whisperによるマイク録音

これらは3つの操作モードに結合します:

| モード | 新着情報 | お問い合わせ | ※+ Act Loop** | スクリーンショット → ビジョン分析 → アクション → 送信 → 繰り返し | |ボイスコントロール | レコードマイク → トランジスト → パースインテント → 実行 → 応答を話す | |自動ゲームプレイ | 完全ゲームプレイループ — AI は、画面を監視し、ボタンを押し、ゲームをプレイ |

対応デバイス

| デバイス | 接続 | スクリーンショット | 入力方法 | |------------------------------------------------------------------------------

Device Takeover

Give your AI eyes, hands, and a voice on any device — Android, Steam Deck, Linux PC.

An OpenClaw skill that lets your AI agent see a device’s screen, send inputs, speak through its speakers, and listen through its mic. Over the network. In real time.

What It Does

Your AI agent connects to a device on your network and gets three capabilities:

1. See — captures the screen via screenshots, analyzes what’s on it with a vision model
2. Act — sends taps, swipes, button presses, text input, and gamepad commands
3. Speak & Listen — TTS through device speakers, mic recording transcribed via Whisper

These combine into three operating modes:

Supported Devices

What You Need

• OpenClaw running on your machine (Mac, Linux, or Windows WSL)
• Target device on the same network (or reachable via SSH/ADB)
• Dependencies: adb (Android), sshpass (Linux devices), ffmpeg (audio processing)
• Optional: Whisper API access (voice input), ElevenLabs or local TTS (voice output)

Android Setup (Quick Start)

Connecting an Android phone requires a few one-time settings. Full walkthrough in SKILL.md, but the short version:

1. Enable Developer Options — Settings → About Phone → tap Build Number 7 times
2. Enable Wireless Debugging — Settings → Developer Options → Wireless Debugging ON
3. Pair once — tap “Pair device with pairing code”, then run adb pair IP:PORT on your computer
4. Connect — adb connect IP:PORT
5. Test — adb exec-out screencap -p > /tmp/screen.png

See SKILL.md for the complete step-by-step including troubleshooting.

Use Cases

1. Hands-Free Phone Control

“Read my notifications. Open the camera. Navigate to that app.” Your AI sees the phone screen, navigates the UI, and performs actions — all from a text or voice command.

2. AI Game Assistant

Point your AI at a Steam Deck or SuiPlay running a game. It watches the screen, identifies what’s happening, and either suggests moves or plays autonomously — pressing buttons through the gamepad API.

3. Remote Linux Automation