低成本 iPhone 自动化：AI Agent 通过 MCP、ESP32-S3 USB HID 与 AirPlay 控制真实手机。支持 Codex 等视觉 Agent 看图、点击、滑动、中文输入；无需越狱或开发者账号。
View on GitHub ↗ESP32 to iPhone：通过 MCP 让 AI Agent 控制真实 iPhone
一块 ESP32-S3，一条兼容的数据线，让支持视觉的 AI Agent 通过 MCP 操作你的 iPhone。
ESP32 to iPhone 是一个低成本的 iPhone 自动化与 MCP 手机控制项目：用 AirPlay 获取屏幕画面，用 ESP32-S3 模拟 USB 鼠标和键盘，再把截图、点击、滑动、输入等能力封装成 MCP 工具。Codex 或其他具备视觉和工具调用能力的 Agent，可以使用自己的模型看图、决定动作并核对结果。
下面的视频展示真实 iPhone、ESP32-S3 和数据线的连接与操作。点击预览图查看 MP4：
- 读取手机屏幕：把 AirPlay 画面作为 MCP 图片结果交给宿主 Agent。 - 操作 iPhone App：移动鼠标指针、点击、滑动、滚动和键盘输入。 - 处理中文输入：输入拼音、识别候选、选词，再核对最终文字。 - 完成多步任务：例如打开 App、按聊天上下文回复微信消息、给朋友圈内容点赞。 - 接入不同 Agent：保留现有 Agent 的模型、提示词和业务判断，复用同一套硬件操作能力。
本项目提供通用的屏幕与鼠标键盘控制，不依赖微信专用接口。可以探索不同 App 的可见界面操作，但不保证“任何操作”都可完成：系统权限、锁屏、支付确认、App 限制、输入法、镜像内容和模型判断都可能影响结果。无法绕过密码、生物识别或系统安全边界。
特点 实现方式 ------ 低成本硬件 核心新增硬件只有 ESP32-S3 与兼容数据连接，无需摄像头、机械臂或触摸执行器 模型由 Agent 决定 使用宿主自己的视觉模型，默认不再串联第二个模型执行器 手机端轻量 标准 USB HID 鼠标键盘 + 系统辅助触控 + 屏幕镜像 操作有反馈 每次动作返回图片，供 Agent 验证上一步并规划下一步 点击前定位 本地图像算法检查实际指针位置，失败时拒绝盲点 可复现 提供示例配置、N16R8 烧录参数、依赖锁文件、MCP 配置和 CI
必需物料 数量 选择说明 ------:--- ESP32-S3 开发板 1 块 本项目实测 ESP32-S3-DevKitC-1-N16R8（16MB Flash、8MB OPI PSRAM）。需要引出 S3 原生 USB 的接口 连接手机的兼容数据线 / OTG 适配器组合 1 套 实测为 Lightning iPhone 接原生 USB 的数据连接；具体接头按开发板接口选购，不能使用仅充电线
硬件成本集中在开发板和兼容的数据连接，可优先复用已有配件，实际价格以采购时为准。无需为基础控制购买麦克风、扬声器、显示屏、电阻或 LED。
设备或条件 用途 ------ iPhone 开启辅助触控和 AirPlay 屏幕镜像，保持解锁 Mac 或 Linux 电脑 运行本地服务、UxPlay 和 MCP；本文优先给出已实测的 macOS Apple Silicon 路径 同一路由器网络 ESP32 需要 2.4GHz Wi-Fi；手机和电脑须能互相访问，避免访客网络隔离 电脑连接开发板的数据线 首次烧录使用 UART 口；若已有合适的 USB 数据线，不必额外购买 有视觉能力的 MCP Agent 负责看图、决策和核对结果；自身的模型订阅或 API 费用单独计算
From the project README.
Add the radar badge to your README — it shows your project was picked up by MCP Radar and links to this page:
[](https://mcp.liqiwa.com/s/Kz-Aven--esp32-to-iphone.html)
一亩三分地自动签到 + 每日答题：在你自己电脑的 Chrome 里、用你自己的登录完成，不经过第三方；也是给 Claude Code / Codex 用的 MCP 服务。1point3acres daily check-in & quiz automation, local-only, plus an MCP server for AI assistants.
henry200803/mailbridgeEmail MCP server for AI agents - full mailbox access for Claude, Codex, Cursor or any MCP client: search, read, send, attachments, folders across Gmail, Outlook, iCloud, QQ, 163 and any IMAP/SMTP host
gbatistuta0/appfactoryOpen-source MCP server that lets Claude Code, Codex, Gemini CLI or Cursor ship an iOS subscription app from idea to TestFlight
junxchan54-maker/mcd-cn-assistant🍟 麦当劳中国官方 MCP 智能助手技能：把 35 个原子工具编排成 4 条业务流 —— 活动推送 · 联名关注 · 最优惠点餐 · 多人群点聚合账单。算价用 calculate-price 真算，下单必二次确认。｜McDonald's China MCP agent skill: campaigns, collab watch, best-value ordering, group bill s
ghorbelhamdi/buddy-androidA floating chat bubble that lets Claude Code, Codex or OpenCode use your Android phone. Runs inside the app on your own subscription or free models. No adb, no PC, no root.
NotNull92/workforge-mcpWorkForge is a Windows MCP gateway that lets ChatGPT inspect files, resume Git work, make SHA-guarded edits, read images, and run supervised PowerShell jobs.
The top new MCP servers of the week, every Monday. No spam, unsubscribe anytime.