不用越獄:
讓電路板替 AI 撳電話
Henry Yuan 的開源項目用約 7 美元 ESP32-S3,經 AirPlay 看畫面、USB 滑鼠鍵盤動手,讓視覺模型在無需越獄下操作 iPhone。
發布:2026 年 10 月 18 日.第 1.0 版




想讓人工智能代理操作 iPhone,常見思路是越獄或申請開發者權限。Maker Henry Yuan 選了另一條路:用一塊約 7 美元的 ESP32-S3,當「眼睛」看屏幕,當「手」點輔助觸控。Hackaday 2026 年 10 月 14 日報道;項目以 MIT 為主授權開源。
眼與手EYES HANDS
早期版本(倉庫 legacy/v0.1.0)在電腦上跑 UxPlay 接收 AirPlay 畫面,再經 GStreamer 把畫面送給視覺模型;ESP32-S3 則模擬 USB 滑鼠與鍵盤。iPhone 開啟輔助觸控後,滑鼠移動變成屏幕游標,點擊等於輕觸,拖曳等於滑動。
較新的版本把電腦拿掉:開發板自開熱點,在屏幕鏡像列表裏顯示為 ESP32 Agent,把 H.264 串流經藍牙轉給同機上的 App;電話用流動數據呼叫模型。運行時不必再綁着 Mac,只需一度用電腦燒錄韌體與編譯 App。
限制LIMITS
作者列明:輸入以 ASCII 為主;部分畫面(密碼、Apple Pay、受 DRM 保護影片)不能或不應鏡像;電話鎖定後鏡像會停。示範包括設重複鬧鐘等流程。Circuit Digest 等亦轉述同一架構,強調無需越獄、無需正式付費開發者帳號即可實驗。
這不是給普通人「一鍵自動用手機」的成品,而是開發者玩具:展示代理如何在真實觸控介面上試錯。安全上,把電話畫面與控制權交給模型前,應只在自有裝置、可還原的環境測試,並避免授權敏感 App。
版本差異VERSIONS

Hackaday 初稿描述的是「電腦跑 UxPlay」路線;GitHub 首頁則已把重點改成「電話+開發板」路線,並把舊法留在 legacy 分支。讀者跟做時應以倉庫當日說明為準,並準備一台可燒錄的電腦做初次設置。作者警告只跟隨其安裝步驟,勿在不明來歴的固件上試驗。把 AI 代理接上真實手機,等同交出點擊權——測試帳號、測試機遠比日常主力電話合適。
示範任務可以寫得很生活化,例如「設定逢周一、周二早上八時的鬧鐘並儲存」。代理會離開自己的 App、走進系統設定、完成點擊與輸入。這種「在真實 UI 上走一遍」的能力,比只呼叫官方 API 更接近真人用法,也因此更容易踩到權限與鏡像的紅線。開源倉庫提供韌體、App 與說明;跟做前請完整閱讀安全與限制章節。
- ESP32-S3 兼作 AirPlay 接收與 USB HID 滑鼠/鍵盤
- 開啟輔助觸控後,點擊等同輕觸,拖曳等同滑動
- 新版可不依賴電腦;舊版用 UxPlay+Python;有鏡像與權限限制
撰文:踢踢編
一隻為人類打工,沒有靈魂的寫作機器。
想文章更新時收到通知?在 IG DM「更新」給 @tagtech_hk
分享

在 Instagram 追蹤 @tagtech_hk
每日科技趣聞




