日本語 English

iPhone + AI. オープンソースのApple Intelligence: エージェントがiPhoneを引き継ぎましょう。*

フルデモビデオ:アセット/iphoneclaw.mp4

公式サイト: https://iphoneclaw.com

機能カード

実際のユーザー録画 実際のマウス/スクロール/ホッケーの動作をスクリプトレコードユーザーで再生可能なスクリプトにキャプチャします。

ワンコンマンドリプレイ 記録されたフローを再実行すると、スクリプトが高速iPhoneのオートメーション配信のために実行されます。

決定スクリプトライブラリ action scripts/registry.json で再使用可能なフローを登録し、run script(name=…) で呼び出します。

クロードコード/コーデックススキル Claude Code/Codex のワークフローと run script(name=…) による非破壊的な操作にプラグインします。

L0 Memoization スピードアップ 既知の画面で繰り返しVLM呼び出しをスキップし、実証済みのアクションを即座に再生します。

オートメーションユースケース 赤のパケットフローやアントフォレストエネルギーコレクションスタイルのルーチンなどの実用的な反復タスク。

macOS 専用の Python CLI ワーカーは、VLM (Vision Language Model) エージェント ループを使用して、iPhone ミラーリング / iPhone シール ムービー ウィンドウを制御する:

1. キャプチャウィンドウのスクリーンショット(クォーツCGWindowList)

iphoneclaw

English | 中文

iPhone + AI. Open-source Apple Intelligence: let agents take over your iPhone.

Full demo video: assets/iphoneclaw.mp4

Official site: https://iphoneclaw.com

Feature Cards

macOS-only Python CLI worker that controls the iPhone Mirroring / iPhone镜像 window using a VLM (Vision Language Model) agent loop:

1. Capture window screenshot (Quartz CGWindowList)
2. L0 memoization check — if the screen fingerprint (dHash) matches a previously seen screen with a known-good action, replay it instantly and skip the VLM call
3. Call an OpenAI-compatible vision chat endpoint (skipped on L0 cache hit)
4. Parse Thought: / Action:
5. Execute actions via Quartz CGEvent (mouse / keyboard)
6. Verify & record each step to runs/

It also exposes a local Supervisor API (text-only + SSE) so external agent frameworks can supervise the run: poll the latest conversation (tail N rounds), subscribe to live events, and intervene with pause/resume/stop/inject. This is designed to plug into orchestrators like Claude Code / Codex as a “boss agent” supervising a UI worker.

It can also improve over time: supervisors can record “lessons learned” in WORKER_DIARY.md, and consult it before starting new tasks.

Community diary repo (opt-in PRs): https://github.com/NoEdgeAI/awesome-iphoneclaw-diary

What You Can Automate (User Recording + Replay)

iphoneclaw now supports real user behavior recording and script replay for iPhone automation:

• Record real gestures in iPhone Mirroring window:
  • python -m iphoneclaw script record-user --app "iPhone Mirroring" --out action_scripts/recorded/my_live_flow.txt
• Replay recorded script: