Английский | 中

iPhone + AI. Apple Intelligence с открытым исходным кодом: позвольте агентам захватить ваш iPhone

Полное демо-видео: assets/iphoneclaw.mp4

Официальный сайт: https://iphoneclaw.com

##Функциональные карты

Реальная запись пользователя Захватывайте реальное поведение мыши / прокрутки / клавиши в воспроизводимые скрипты с использованием записи сценария.

Однокомандный повтор Перезапуск записанных потоков со сценарием для быстрой доставки автоматизации iPhone.

Детерминированная библиотека сценариев Регистрируйте многоразовые потоки в action scripts/registry.json и вызовите с помощью run script(name=…)

Код Клода / Codex Skill Подключитесь к рабочим процессам Claude Code/Codex и вызовите детерминированные действия через run script (name=…).

L0 Ускорение памяти Скип повторял VLM-звонки на известных экранах и мгновенно воспроизводил проверенные действия.

Случаи использования автоматики Практические повторяющиеся задачи, такие как потоки красных пакетов и процедуры сбора энергии в муравейнике.

Только для macOS Python CLI рабочий, который управляет окном **iPhone Mirroring / iPhone **, используя цикл агентов VLM (Vision Language Model):

1. Снимок экрана окна (Quartz CGWindowList)

iphoneclaw

English | 中文

iPhone + AI. Open-source Apple Intelligence: let agents take over your iPhone.

Full demo video: assets/iphoneclaw.mp4

Official site: https://iphoneclaw.com

Feature Cards

macOS-only Python CLI worker that controls the iPhone Mirroring / iPhone镜像 window using a VLM (Vision Language Model) agent loop:

1. Capture window screenshot (Quartz CGWindowList)
2. L0 memoization check — if the screen fingerprint (dHash) matches a previously seen screen with a known-good action, replay it instantly and skip the VLM call
3. Call an OpenAI-compatible vision chat endpoint (skipped on L0 cache hit)
4. Parse Thought: / Action:
5. Execute actions via Quartz CGEvent (mouse / keyboard)
6. Verify & record each step to runs/

It also exposes a local Supervisor API (text-only + SSE) so external agent frameworks can supervise the run: poll the latest conversation (tail N rounds), subscribe to live events, and intervene with pause/resume/stop/inject. This is designed to plug into orchestrators like Claude Code / Codex as a “boss agent” supervising a UI worker.

It can also improve over time: supervisors can record “lessons learned” in WORKER_DIARY.md, and consult it before starting new tasks.

Community diary repo (opt-in PRs): https://github.com/NoEdgeAI/awesome-iphoneclaw-diary

What You Can Automate (User Recording + Replay)

iphoneclaw now supports real user behavior recording and script replay for iPhone automation:

• Record real gestures in iPhone Mirroring window:
  • python -m iphoneclaw script record-user --app "iPhone Mirroring" --out action_scripts/recorded/my_live_flow.txt
• Replay recorded script: