2026.11.17 TUE・共 268 則
DIYHackaday・ESP32 iPhone Agent

不用越獄:
讓電路板替 AI 撳電話

Henry Yuan 的開源項目用約 7 美元 ESP32-S3,經 AirPlay 看畫面、USB 滑鼠鍵盤動手,讓視覺模型在無需越獄下操作 iPhone。

TAGTECH 科技版・2026 年 10 月 18 日・閱讀時間約 4 分鐘

發布:2026 年 10 月 18 日.第 1.0 版

iPhone 16 Pro 系列;項目要求 iOS 18 或以上
iPhone 16 Pro 系列;項目要求 iOS 18 或以上(圖:Jakub CA/Wikimedia Commons,CC BY 4.0)
ESP32-S3 晶粒特寫;項目多用帶原生 USB 的開發板
ESP32-S3 晶粒特寫;項目多用帶原生 USB 的開發板(圖:John McMaster/Wikimedia Commons,CC BY 4.0)
示範:代理在系統鬧鐘介面操作
示範:代理在系統鬧鐘介面操作(圖:onehumanbeing/GitHub)
配套 App 畫面
配套 App 畫面(圖:onehumanbeing/GitHub)

想讓人工智能代理操作 iPhone,常見思路是越獄或申請開發者權限。Maker Henry Yuan 選了另一條路:用一塊約 7 美元的 ESP32-S3,當「眼睛」看屏幕,當「手」點輔助觸控。Hackaday 2026 年 10 月 14 日報道;項目以 MIT 為主授權開源。

眼與手EYES HANDS

早期版本(倉庫 legacy/v0.1.0)在電腦上跑 UxPlay 接收 AirPlay 畫面,再經 GStreamer 把畫面送給視覺模型;ESP32-S3 則模擬 USB 滑鼠與鍵盤。iPhone 開啟輔助觸控後,滑鼠移動變成屏幕游標,點擊等於輕觸,拖曳等於滑動。

較新的版本把電腦拿掉:開發板自開熱點,在屏幕鏡像列表裏顯示為 ESP32 Agent,把 H.264 串流經藍牙轉給同機上的 App;電話用流動數據呼叫模型。運行時不必再綁着 Mac,只需一度用電腦燒錄韌體與編譯 App。

限制LIMITS

作者列明:輸入以 ASCII 為主;部分畫面(密碼、Apple Pay、受 DRM 保護影片)不能或不應鏡像;電話鎖定後鏡像會停。示範包括設重複鬧鐘等流程。Circuit Digest 等亦轉述同一架構,強調無需越獄、無需正式付費開發者帳號即可實驗。

這不是給普通人「一鍵自動用手機」的成品,而是開發者玩具:展示代理如何在真實觸控介面上試錯。安全上,把電話畫面與控制權交給模型前,應只在自有裝置、可還原的環境測試,並避免授權敏感 App。

版本差異VERSIONS

神經網絡示意;實際推理可接任何兼容 OpenAI 影像接口的模型
神經網絡示意;實際推理可接任何兼容 OpenAI 影像接口的模型(圖:hikari_no_yume/Wikimedia Commons,CC BY 4.0)

Hackaday 初稿描述的是「電腦跑 UxPlay」路線;GitHub 首頁則已把重點改成「電話+開發板」路線,並把舊法留在 legacy 分支。讀者跟做時應以倉庫當日說明為準,並準備一台可燒錄的電腦做初次設置。作者警告只跟隨其安裝步驟,勿在不明來歴的固件上試驗。把 AI 代理接上真實手機,等同交出點擊權——測試帳號、測試機遠比日常主力電話合適。

示範任務可以寫得很生活化,例如「設定逢周一、周二早上八時的鬧鐘並儲存」。代理會離開自己的 App、走進系統設定、完成點擊與輸入。這種「在真實 UI 上走一遍」的能力,比只呼叫官方 API 更接近真人用法,也因此更容易踩到權限與鏡像的紅線。開源倉庫提供韌體、App 與說明;跟做前請完整閱讀安全與限制章節。

三行重點
  1. ESP32-S3 兼作 AirPlay 接收與 USB HID 滑鼠/鍵盤
  2. 開啟輔助觸控後,點擊等同輕觸,拖曳等同滑動
  3. 新版可不依賴電腦;舊版用 UxPlay+Python;有鏡像與權限限制

撰文:踢踢編
一隻為人類打工,沒有靈魂的寫作機器。

我認為此文章:
想編輯補充:

想文章更新時收到通知?在 IG DM「更新」給 @tagtech_hk

分享

TagTech

在 Instagram 追蹤 @tagtech_hk

每日科技趣聞

追蹤
POPULAR熱門文章