Agentic Design Patterns 附錄 B：AI Agent 的互動介面

AI Agent 正透過與數位介面和真實世界的互動，愈來愈能勝任複雜任務。它們在這些多樣環境中感知、處理、行動的能力，正在從根本改變自動化、人機互動與智慧系統的樣貌。本附錄探討 Agent 如何與電腦及其環境互動，並介紹相關的技術進展和專案。

互動：Agent 與電腦

AI 從對話夥伴演進成主動、以任務為導向的 Agent，背後的推手是 Agent-Computer Interface（ACI，Agent 與電腦之間的介面）。這類介面讓 AI 能直接操作電腦的圖形使用者介面（Graphical User Interface，GUI），像人一樣感知並操控圖示、按鈕這些視覺元素。這種新做法跳脫了傳統自動化那套僵化、高度依賴開發者撰寫腳本的模式──傳統做法要靠 API 和系統呼叫。改用軟體的視覺「前門」之後，AI 能以更靈活、更強大的方式自動化複雜的數位任務，整個過程包含幾個關鍵階段：

• 視覺感知： Agent 先擷取螢幕的視覺畫面，本質上就是截圖。
• GUI 元素辨識： 接著分析這張圖，區分各種 GUI 元素。它得學會把螢幕「看」成一個有互動元件的結構化版面，而不只是一堆像素：分辨得出可點擊的「Submit」按鈕和靜態的橫幅圖片，或是可編輯的文字欄位和單純的標籤。
• 情境判讀： ACI 模組扮演視覺資料與 Agent 核心智慧（通常是大型語言模型，也就是 LLM）之間的橋樑，在任務的脈絡下解讀這些元素。它知道放大鏡圖示通常代表「搜尋」，一組單選按鈕代表一個選擇。這個模組對強化 LLM 的推理很關鍵，讓它能根據看到的視覺證據擬定計畫。
• 動態行動與回應： Agent 接著以程式控制滑鼠和鍵盤執行計畫──點擊、輸入、捲動、拖曳。關鍵是它必須持續盯著螢幕的視覺回饋，動態應對畫面變化、載入畫面、彈出通知或錯誤，才能順利走完多步驟的工作流程。

這項技術已經不是紙上談兵。多家頂尖 AI 實驗室都做出了實際可用的 Agent，展現 GUI 互動的威力：

ChatGPT Operator（OpenAI）： ChatGPT Operator 被設想成一個數位夥伴，目標是直接從桌面自動化各種應用程式的任務。它能理解螢幕上的元素，因此可以做到把試算表資料搬進客戶關係管理（CRM）平台、跨航空公司和飯店網站訂好一趟複雜的行程，或是填寫詳盡的線上表單，而不需要為每個服務各自準備專屬的 API 存取。這讓它成為一個到處都能用的工具，透過接手那些重複的數位雜務，提升個人和企業的生產力。

Google Project Mariner： Project Mariner 是一個研究原型，作為 Agent 在 Chrome 瀏覽器裡運作（見圖 1）。它的目的是理解使用者的意圖，並代替使用者自主完成網頁上的任務。舉例來說，使用者可以要它在特定預算和特定地區內找三間出租公寓；Mariner 就會前往房產網站、套上篩選條件、瀏覽物件，再把相關資訊擷取到一份文件裡。這個專案代表 Google 在探索一種真正實用、有「Agent 味」的網頁體驗──瀏覽器主動替使用者做事。

圖 1：Agent 與網頁瀏覽器之間的互動

Anthropic 的 Computer Use： 這項功能讓 Anthropic 的 AI 模型 Claude 成為電腦桌面環境的直接使用者。透過截圖來感知螢幕、以程式控制滑鼠和鍵盤，Claude 能串起跨多個彼此不相連應用程式的工作流程。使用者可以要它分析一份 PDF 報告裡的資料、打開試算表程式對這些資料做計算、產生圖表，再把圖表貼進一封電子郵件草稿裡──這一連串任務過去需要人不斷介入。

Browser Use： 這是一個開源函式庫，提供高階 API 來以程式自動化瀏覽器。它讓 AI Agent 能存取並控制文件物件模型（Document Object Model，DOM），藉此和網頁互動。這套 API 把瀏覽器控制協定那些繁瑣的底層指令，抽象成一組更簡潔、更直覺的函式。這讓 Agent 能執行複雜的動作序列，包括從巢狀元素擷取資料、提交表單、跨多個頁面自動導覽。因此，這個函式庫能把非結構化的網頁資料轉成結構化格式，讓 AI Agent 有系統地拿去做分析或決策。

互動：Agent 與環境

跳出電腦螢幕的框框，AI Agent 愈來愈被設計成能與複雜、動態的環境互動，這些環境往往就是真實世界的縮影。這需要精密的感知、推理和動作能力。

Google 的 Project Astra 就是把 Agent 與環境互動的邊界往前推的典型例子。Astra 的目標是打造一個在日常生活中真正好用的通用 AI Agent，運用多模態的輸入（視覺、聲音、語音）和輸出，依情境理解並與世界互動。這個專案聚焦於快速理解、推理和回應，讓 Agent 能透過攝影機和麥克風「看見」和「聽見」周遭，一邊自然對話一邊即時提供協助。Astra 的願景是一個能理解它所觀察到的環境、進而無縫協助使用者的 Agent，幫忙的範圍從找遺失物品到 debug 程式碼都涵蓋。這已經超越單純的語音指令，達到對使用者當下實體處境真正「具身」的理解。

Google 的 Gemini Live 把一般的 AI 互動變成流暢又動態的對話。使用者可以對 AI 說話，並以幾乎沒有延遲、聽起來自然的語音得到回覆，甚至能講到一半打斷或換話題，讓 AI 立刻跟著調整。介面不只限於語音，使用者還能用手機攝影機、分享螢幕或上傳檔案帶入視覺資訊，讓討論更貼近情境。更進階的版本甚至能察覺使用者的語氣，並聰明地濾掉無關的背景雜音，好更精準地聽懂對話。這些能力加起來，造就了豐富的互動，例如只要把攝影機對準某件事，就能得到當下的操作指導。

OpenAI 的 GPT-4o 模型 是為「全能（omni）」互動而設計的另一種選擇，意思是它能跨語音、視覺和文字進行推理。它以接近人類反應速度的低延遲處理這些輸入，因此能做到即時對話。舉例來說，使用者可以給 AI 看一段即時影像，問畫面裡發生什麼事，或拿它來做語言翻譯。OpenAI 為開發者提供了一套「Realtime API」，用來打造需要低延遲、語音對語音互動的應用。

OpenAI 的 ChatGPT Agent 相較於前代產品是一次重大的架構躍進，內建了一整套新能力的框架。它的設計納入幾種關鍵的功能模式：自主瀏覽即時網路以擷取即時資料的能力、為資料分析這類任務動態產生並執行運算程式碼的能力，以及直接和第三方軟體應用對接的能力。把這些功能綜合起來，Agent 能從使用者一句指令出發，調度並完成複雜、有先後順序的工作流程。因此它能自主管理整個流程，例如做市場分析並生成對應的簡報，或是規劃物流安排並執行必要的交易。在推出的同時，OpenAI 也主動處理了這類系統本身會帶來的新興安全考量。隨附的「System Card」文件說明了一個能在線上執行動作的 AI 可能帶來哪些操作上的風險，正視了被濫用的新途徑。為了降低這些風險，Agent 的架構內建了設計好的防護措施，例如某些類別的動作要先取得使用者明確授權，並部署穩健的內容過濾機制。OpenAI 現在正邀請第一批使用者，透過以回饋驅動的反覆迭代來進一步完善這些安全機制。

Seeing AI 是 Microsoft 推出的一款免費行動應用，透過即時描述周遭環境，幫助失明或視力不佳的人。這款 App 借助裝置的攝影機運用 AI，辨識並描述各種東西，包括物體、文字，甚至是人。它的核心功能包含朗讀文件、辨識貨幣、掃描條碼辨認商品，以及描述場景和顏色。透過提升取得視覺資訊的便利性，Seeing AI 最終讓視障使用者更能獨立生活。

Anthropic 的 Claude 4 系列 Anthropic 的 Claude 4 是另一種具備進階推理與分析能力的選擇。雖然它一路以來以文字見長，但 Claude 4 也具備強大的視覺能力，能處理來自圖片、圖表和文件的資訊。這個模型適合處理複雜的多步驟任務、提供詳盡的分析。雖然和其他模型相比，即時對話並非它的主要重點，但它底層的智慧是為了打造能力很強的 AI Agent 而設計的。

Vibe Coding：用 AI 做的直覺式開發

除了直接操作 GUI 和實體世界，開發者用 AI 寫軟體的方式也冒出一種新範式：「vibe coding」。這種做法不再給精確、一步一步的指令，而是靠開發者和 AI 程式助手之間更直覺、對話式、反覆迭代的互動。開發者給出一個高層次的目標、想要的「氛圍（vibe）」或大致方向，AI 就生成符合的程式碼。

這個過程有幾個特徵：

• 對話式的 Prompt： 開發者不用寫詳細的規格，而可能直接說「幫一個新 App 做一個簡潔、有現代感的著陸頁（landing page）」，或「把這個函式重構得更 Pythonic、更好讀」。AI 會解讀「現代感」或「Pythonic」這種氛圍，生成對應的程式碼。
• 反覆修整： AI 一開始的輸出通常只是個起點。開發者接著用自然語言給回饋，例如「開頭不錯，但按鈕能改成藍色嗎？」或「幫那段加上錯誤處理」。這樣一來一往，直到程式碼符合開發者的期望。
• 創意夥伴： 在 vibe coding 裡，AI 扮演創意夥伴，提出開發者可能沒想到的點子和解法。這能加速開發，也帶來更有創意的成果。
• 聚焦「做什麼」而非「怎麼做」： 開發者專注在想要的結果（「做什麼」），把實作細節（「怎麼做」）交給 AI。這讓快速打原型、嘗試不同做法變得容易，不會被樣板程式碼拖住。
• 選用的 Memory Bank： 為了在較長的互動中維持上下文，開發者可以用「memory bank（記憶庫）」來存放關鍵資訊、偏好或限制。例如，開發者可以把某種特定的程式碼風格或一組專案需求存進 AI 的記憶，確保之後生成的程式碼都跟既定的「氛圍」一致，不必每次重講一遍。

隨著 GPT-4、Claude、Gemini 這些強大的 AI 模型被整合進開發環境，vibe coding 也愈來愈流行。這些工具不只是在自動補全程式碼，而是實際參與軟體開發的創作過程，讓開發變得更親民、更有效率。這種新的工作方式正在改變軟體工程的本質，把重點從死背語法和 API，轉向創造力和高層次的思考。

重點回顧

• AI Agent 正從單純的自動化，演進成像人一樣透過圖形使用者介面用視覺操控軟體。
• 下一個前沿是與真實世界互動，像 Google 的 Astra 這類專案，用攝影機和麥克風去看、去聽、去理解實體周遭。
• 領先的科技公司正把這些數位與實體能力融合起來，打造能在兩個領域間無縫運作的通用 AI 助手。
• 這個轉變催生了一種新的 AI 夥伴：主動、懂情境，能在使用者的日常生活中協助各式各樣的任務。

結語

Agent 正經歷一場重大轉變，從基本的自動化走向與數位和實體環境的精密互動。靠著視覺感知來操作圖形使用者介面，這些 Agent 現在能像人一樣操控軟體，繞過對傳統 API 的依賴。大型科技實驗室正在這個領域開路，做出能直接在使用者桌面上自動化複雜、跨多個應用工作流程的 Agent。同時，下一個前沿正往實體世界延伸，像 Google 的 Project Astra 這類專案，用攝影機和麥克風依情境和周遭環境互動。這些先進系統的設計目標，是達到媲美人類互動的多模態、即時理解。

最終的願景，是把這些數位與實體能力融合在一起，打造能橫跨使用者所有環境、無縫運作的通用 AI 助手。這股演進也透過「vibe coding」重塑了軟體創作本身──一種開發者與 AI 之間更直覺、更對話式的夥伴關係。這種新方法把高層次目標和創意意圖擺在前面，讓開發者專注在想要的結果，而不是實作細節。這個轉變把 AI 當成創意夥伴，因而加速開發、激發創新。歸結來說，這些進展正在為一個新時代鋪路：主動、懂情境的 AI 夥伴，能在我們的日常生活中協助各式各樣的任務。

參考資料

1. Open AI Operator, https://openai.com/index/introducing-operator/
2. Open AI ChatGPT Agent: https://openai.com/index/introducing-chatgpt-agent/
3. Browser Use: https://docs.browser-use.com/introduction
4. Project Mariner, https://deepmind.google/models/project-mariner/
5. Anthropic Computer use: https://docs.anthropic.com/en/docs/build-with-claude/computer-use
6. Project Astra, https://deepmind.google/models/project-astra/
7. Gemini Live, https://gemini.google/overview/gemini-live/?hl=en
8. OpenAI’s GPT-4, https://openai.com/index/gpt-4-research/
9. Claude 4, https://www.anthropic.com/news/claude-4