Korean | 한국어

아이폰 + AI. 오픈 소스 애플 인텔리전스: 에이전트가 iPhone을 넘어 봅시다.

전체 데모 비디오: 자산/iphoneclaw.mp4

공식 사이트: https://iphoneclaw.com

특징 카드

실제 사용자 기록 실제 마우스/scroll/hotkey 동작을 스크립트 레코더와 재생 가능한 스크립트로 캡처합니다.

One-Command 재생 Re-run는 빠른 iPhone 자동화 납품을 위해 뛰기와 교류를 기록했습니다.

Deterministic 스크립트 라이브러리 action scripts/registry.json 에서 재사용 가능한 흐름을 등록하고 run script(name=…)로 호출합니다.

Claude Code / 코덱 스킬 run script(name=…)를 통해 Claude Code/Codex 워크플로우와 invoke deterministic 동작을 연결합니다.

L0 이동 속도 VLM은 알려진 화면과 재생 입증 된 작업을 즉시 반복했습니다.

자동화 사용 사례 적색 패킷 흐름과 Ant Forest 에너지 수집 스타일 루틴과 같은 실제 반복 작업.

VLM(Vision Language Model) 에이전트 루프를 사용하여 iPhone Mirroring / iPhone镜像 창을 제어하는 macOS-only Python CLI worker:

1. 캡처 창 스크린 샷 (Quartz CGWindowList)
2. 명세.

iphoneclaw

English | 中文

iPhone + AI. Open-source Apple Intelligence: let agents take over your iPhone.

Full demo video: assets/iphoneclaw.mp4

Official site: https://iphoneclaw.com

Feature Cards

macOS-only Python CLI worker that controls the iPhone Mirroring / iPhone镜像 window using a VLM (Vision Language Model) agent loop:

1. Capture window screenshot (Quartz CGWindowList)
2. L0 memoization check — if the screen fingerprint (dHash) matches a previously seen screen with a known-good action, replay it instantly and skip the VLM call
3. Call an OpenAI-compatible vision chat endpoint (skipped on L0 cache hit)
4. Parse Thought: / Action:
5. Execute actions via Quartz CGEvent (mouse / keyboard)
6. Verify & record each step to runs/

It also exposes a local Supervisor API (text-only + SSE) so external agent frameworks can supervise the run: poll the latest conversation (tail N rounds), subscribe to live events, and intervene with pause/resume/stop/inject. This is designed to plug into orchestrators like Claude Code / Codex as a “boss agent” supervising a UI worker.

It can also improve over time: supervisors can record “lessons learned” in WORKER_DIARY.md, and consult it before starting new tasks.

Community diary repo (opt-in PRs): https://github.com/NoEdgeAI/awesome-iphoneclaw-diary

What You Can Automate (User Recording + Replay)

iphoneclaw now supports real user behavior recording and script replay for iPhone automation:

• Record real gestures in iPhone Mirroring window:
  • python -m iphoneclaw script record-user --app "iPhone Mirroring" --out action_scripts/recorded/my_live_flow.txt
• Replay recorded script: