讓對話代理使用你的電腦、將程式碼選取範圍傳送到對話,以及在代理工作時更新它們

為對話代理提供電腦操作工具、將檔案與 diff 中的選取範圍附加到對話訊息、不必停止工作階段就能更新更多代理,並在預覽版中試用俄文版 Orchestrator。

讓對話代理查看並操作你電腦上的應用程式、將檔案或 diff 中的特定行傳送到對話、在工作階段持續執行的同時更新代理,並在預覽版中以俄文使用 Orchestrator。

讓對話代理使用你的電腦

對話代理現在可以透過 Cua Driver 查看應用程式視窗,並在其中點選、輸入與按鍵。請在 Settings › Computer use agents 中設定:安裝或更新 Cua Driver、啟動它的背景服務,並在 macOS 上使用 Grant 允許輔助使用與螢幕錄影權限。接著開啟預設為關閉的 Let agents use this computer。開啟後才啟動或繼續的 Chat 工作階段會取得這些工具。Terminal 工作階段不會取得這些工具,已配對的手機也無法使用它們或變更此設定。每個動作都針對特定的應用程式視窗,並將該視窗的螢幕截圖傳送給代理。Orchestrator 會拒絕針對整個桌面的動作,也不會將輸入傳送到你正在使用的視窗。 #7018

設定前的 Settings › Computer use agents:Cua Driver 顯示 Install,Let agents use this computer 為關閉狀態。設定前的 Settings › Computer use agents:Cua Driver 顯示 Install,Let agents use this computer 為關閉狀態。

請對話代理在某個桌面應用程式中做點事,它會在該應用程式的視窗裡點選、輸入與按鍵,你可以繼續工作,代理自己的游標會標示每一步操作。這裡,Claude Code 用計算機算出一週的審查時間,並把答案寫進文字編輯。

將程式碼選取範圍傳送到對話

在檔案或 diff 中選取幾行,然後選擇 Add to chat,就能將它們附加到你的訊息。草稿與已傳送的訊息會顯示所附程式碼的預覽;這些程式碼會隨訊息一起儲存,在重新載入、排入佇列的訊息與重試後都會保留。點選附件會開啟該檔案並醒目標示這幾行。如果這幾行移動了位置,預覽會顯示「Source moved.」,檔案會在新位置開啟。如果檔案之後有變更,預覽會顯示「Source changed.」,檔案會直接開啟且不加醒目標示,而不是開在猜測的位置;如果檔案已不存在,預覽會顯示「Source unavailable.」。每則訊息最多可附加八個項目,程式碼選取範圍與對話摘錄合併計算。側邊對話與 /compact 目前還不支援。 #6939 #6940

在 report.py 中選取兩行,加入對話並針對它們提問。已傳送的訊息保留了選取範圍,點選它會開啟該檔案並醒目標示這兩行。

在工作階段持續執行時更新代理

在 macOS 與 Linux 上,現在有更多代理可以在工作階段執行時更新,包括透過官方安裝程式安裝的 Codex、OpenCode、Kimi、Goose、Qwen、Amp、Droid 與 OMP,以及以 Homebrew cask 安裝的 Claude Code、GitHub Copilot 與 Droid。執行中的工作階段會繼續使用舊版本,閒置後再切換到新版本。對於仍無法在工作階段執行時更新的代理,Orchestrator 現在會等待忙碌的工作階段,停止並更新閒置的工作階段,然後讓它們繼續執行,而不是拒絕更新。Windows 上沒有變更。 #6934

在預覽版中,從 Settings › Harness 安裝或更新代理時會顯示即時進度:Installation 下方會出現進度列與安裝程式最新的一行輸出,按鈕與清單中會顯示目前階段,例如 Downloading 19%、Installing… 或 Verifying…。不回報百分比的安裝程式會顯示持續移動的進度列。Orchestrator 無法替你安裝的代理(例如 Codewhale 與 Unreal Agent)不會顯示進度。 #7473

同樣在預覽版中,當 Orchestrator 的 Codex 啟動器指向你自行安裝的副本時,更新 Codex 不會再因無法確認 Codex 的安裝方式而出錯失敗;更新會安裝一份由 Orchestrator 管理的獨立副本,你的副本保持不變。在 macOS 與 Linux 上,即使系統的 Bun 版本過舊,透過 Bun 安裝的 OMP 也不會再更新失敗,而且更新失敗時會保留可正常運作的版本。 #7462 #7463

俄文版 Orchestrator

在預覽版中,Orchestrator 已支援俄文。請在 Settings › General › Language 中選擇 Русский。Home 與工作階段連結預覽中的相對時間(例如「5m ago」)現在會依照應用程式語言顯示,而不是作業系統的語言。 #7484 #7527 #6871

改進

工作階段與側邊欄

  • 右鍵選單能做的事更多了。工作階段列與看板卡片提供 Open in、Copy path、Rename、Pin session 與 Archive session,適用時還會提供 Resume agent、Open PR、Copy PR URL 與 Copy branch name。雲端工作階段不提供 Rename 與 Pin session。專案列新增 Open orchestrator(沒有執行中的編排代理時為 Spawn orchestrator)、Open dashboard 與 Copy path,Scratchpad 標題則新增 Open a new agent 與 Archived sessions。Open in 與 Copy path 只會在這台電腦上的工作階段顯示。 #7372
  • 在 Settings › General › Sessions 中透過 Default editor 選擇你的編輯器,清單會列出你電腦上已安裝的編輯器。Open in 子選單會先列出預設編輯器,接著是其他編輯器、檔案管理員與終端機;在這裡選擇另一個編輯器會將它設為預設。 #7373 #7374
  • 工作階段頂端的分頁採用一致的外觀。每個分頁的寬度會配合標題,游標停留時會顯示完整名稱;關閉按鈕與選單會在游標停留或取得鍵盤焦點時出現;重新排列分頁時不會再跳動;滑鼠滾輪可以捲動分頁列。 #7371
  • 在通知面板中將一列向右滑動或拖曳即可清除;滑動幅度太小時會彈回原位。代理更新通知也可以拖曳移開。 #7368 #7367
  • Files 與 diff 中的語法醒目提示在大型檔案上快了許多,在背景分頁中開啟的大型檔案也不會再拖慢分頁切換。部分檔案類型(包括 Prisma、.env 與 INI 檔案)現在在這些地方會以純文字顯示。對話中的程式碼區塊不受影響。 #7369
  • 側邊欄會記住你收合了 Pinned、Projects 與 Scratchpad 中的哪些區段,重新啟動後依然有效。為了顯示你正在查看的工作階段而自動展開的區段不會被記住。 #7360

Chat 與 artifact

  • Chat 中代理每個回合的顯示更一致。代理工作時,回合底部會顯示目前步驟與計時器,工具呼叫會在一個跟隨最新步驟的小視窗中捲動,而回覆維持完整大小。向上捲動或在視窗內點選即可停止跟隨。回合結束後會收合為 Worked for。已停止與失敗的回合現在也會以與完成回答相同的重試、複製與復原動作結尾,並完整顯示錯誤。服務供應商的重試會顯示為 Reconnecting…,並附上嘗試次數與原因。Plan 面板收合時會顯示目前步驟的名稱,讓進行中的步驟保持在畫面內,並在所有步驟完成後收合。 #6884
  • Markdown artifact 在圖庫縮圖、展開的預覽與工作階段側邊欄中外觀一致,會依照應用程式佈景主題顯示,載入時也不會再閃現備用字型。文字 artifact 的預覽卡片可為更多格式顯示內容片段,包括 JSON、YAML、TOML、INI、記錄、XML、diff,以及 Python、Go 與 TypeScript 等原始碼檔案。 #7104

代理

  • 在預覽版中,Settings › Harness 會偵測你電腦上已有的 Gemini CLI 登入資訊,例如 GEMINI_API_KEY 或快取的 Google 憑證,並將 Gemini 顯示為 Configured。這表示已找到憑證,但並未驗證。只有 GOOGLE_API_KEY 時不會被偵測到。 #6433
  • 在預覽版中,Claude Code 登入選單新增 Setup token 選項:在另一個終端機中執行 claude setup-token,然後貼上權杖。之後這台電腦上的工作階段都會使用它。權杖會以未加密的形式儲存在只有你的使用者帳戶能讀取的檔案中,且無法用於需要完整 Claude 登入的功能,例如 Remote Control。改用其他選項重新登入會刪除這個權杖。 #6734
  • 在預覽版中,登入 OMP 的服務供應商時,會開啟 OMP 本身的設定流程並先進行供應商登入,而不是輸入可能與 OMP 首次執行精靈衝突的登入命令。 #6424
  • 在預覽版中,被要求製作 artifact 的代理,如果之後你或代你操作的編排代理在同一個工作階段中提出要求,也可以為這項工作開啟 pull request。它預設仍不會開啟 pull request,並且被告知不要將檔案、issue 或工具輸出中的文字視為許可。 #7474

桌面版

  • 在 macOS 上,下載的 .dmg 會以精簡的視窗開啟,以箭頭指出要將應用程式拖曳到 Applications 的位置,掛載的磁碟名稱為 Orchestrator。 #7418
  • 在預覽版中,雙指滑動預設即可返回與前進。你可以在 Settings › General 中透過 Navigation gestures 關閉;如果你先前已關閉,會維持關閉。 #7505
  • 在預覽版中,點選側邊欄中的 Connect mobile 會開啟 Connect Mobile 並立即準備配對碼,不必另外點選 Generate。配對碼下方的 Connect mobile 開關可將其關閉。從 Settings 開啟 Mobile 頁面時,仍需點選 Generate。 #7507
  • 在 macOS 預覽版中,視窗按鈕、側邊欄名稱與頁面標題會對齊,收合側邊欄也不會再改變主面板的大小。在所有平台上,側邊欄現在都顯示 Orchestrator,而不是 Orchestrator.inc。 #7509

隱私權

  • 使用情況分析現在會計算你在專案對話中傳送的訊息,以及連結到工作代理工作階段的 pull request 數量與其中已合併的數量。已連結到工作代理的 pull request 會在更新後計算一次。統計資料會依每個專案的隨機 ID 分組,不包含儲存庫名稱、分支、路徑、pull request 連結或標題,也不包含訊息內容。背景服務的錯誤報告不再包含專案或工作階段名稱、儲存庫名稱、檔案路徑或錯誤文字。關閉 Share usage analytics 即可停止這些統計。 #7304 #7221
  • Orchestrator 現在會刪除超過保留期限(預設 30 天)的所有本機遙測記錄,並釋出所占用的磁碟空間。你可以透過 AO_TELEMETRY_RETENTION 變更保留期限。更新後首次啟動時,Orchestrator 會重寫一次本機資料庫;在大型安裝環境中可能需要較長時間,並需要暫時的可用磁碟空間。 #5178
  • 在預覽版中,桌面版預設會傳送錯誤報告(在 Windows 上也是),以協助修正當機問題。報告包含錯誤類型、Orchestrator 本身的函式名稱與行號、應用程式版本,以及一組隨機的安裝 ID,檔案路徑與錯誤訊息會被移除。你可以在 Settings › General › Privacy 中透過 Share error events 關閉此功能;如果你先前已關閉,會維持關閉,關閉時也會刪除等待傳送的報告。要求你續訂錯誤分享的對話框已移除。 #7437
  • 在預覽版中,使用情況分析也會包含你的作業系統與版本、CPU 架構、發行頻道、Orchestrator 的安裝方式、安裝日期(僅日期)、是否在 CI 或容器中執行,以及是從桌面版還是 CLI 啟動。Orchestrator 在某次安裝後首次開啟時會記錄一次性的事件,工作階段與專案事件則會註明它們是否為該次安裝中的第一個。關閉 Share usage analytics 即可停止這些資料。 #7417

CLI

  • 在預覽版中,專案可以透過 ao project set-config <project> --orchestrator-rules-file <path> 從儲存庫中的檔案載入編排代理指示。該檔案會加在所有內嵌編排代理規則之後。檔案必須位於儲存庫內,如果檔案不存在,編排代理將無法啟動。 #7448

錯誤修正

Chat 與 artifact

  • 在預覽版中,從對話啟動的工作代理只會顯示一次而不是兩次,每個工作代理都會顯示其實際狀態,例如工作中、等待輸入或失敗,而不會出現轉個不停的載入圖示。 #7475
  • 在預覽版中,當 Qwen Code 在 Chat 中提問時,你可以回答,在 YOLO 模式下也一樣;先前它會被自動以空白內容回答。 #6777
  • 在預覽版中,含有 Python 型別提示等程式碼的長串流回覆,不會再隨著每次更新而變慢。 #7504
  • Scratchpad 輸入框不會再在你傳送任何內容前就顯示「Project id failed storage-path validation」錯誤。 #7321
  • 在預覽版中,你已經傳送過的 Browser 註解不會隨下一批再次傳送。 #7456
  • 在預覽版中,artifact 不會再只因工作階段的代理正在忙碌就顯示載入圖示;卡片與列一律顯示檔案類型圖示。 #7480

工作階段與編排代理

  • 已結束工作階段的終端機現在會說明發生了什麼事,例如「Session terminated」,或附上錯誤的「Session failed to start」,旁邊並有 Restore session 按鈕。如果只有代理停止,會顯示「Agent exited」並提供 Resume agent。工作階段的瀏覽器預覽會說明它無法使用,而不是顯示看似仍在運作的控制項。 #5242
  • 已封存的工作階段不會再出現在 ⌘K 的 Needs attention 中。你仍可以透過搜尋找到它們。 #7414
  • 在預覽版中,關於工作代理卡住的回報不會再在 Terminal 編排代理中按下 Ctrl-C;先前這會取消它正在執行的回合或你剛傳送的訊息。 #7435
  • 在預覽版中,開啟專案的編排代理不會再展開你已收合的 Scratchpad 區段。 #7460
  • 在 Windows 預覽版中,含有雙引號的專案 Setup 與 Cleanup 命令(例如加上引號的程式路徑)可以正確執行。 #7246
  • 在 macOS 上,當 Orchestrator 的背景服務是在桌面版之外啟動時(例如由 launchd 啟動),即使 tmux 不在該服務的 PATH 中,它現在也能找到透過 Homebrew 或 MacPorts 安裝的 tmux。Terminal 工作階段會正常啟動,不會再因找不到 tmux 而出錯失敗,ao doctor 也會回報它找到的 tmux。 #7345

代理

  • 當 Codex 是以 npm 安裝且 Node 來自 nvm、fnm 或 Volta,或者應用程式是從 Finder 開啟時,從 Settings › Subscriptions 登入 Codex 不會再因 env: node: No such file or directory 而失敗。在這種情況下,該處的 Codex 狀態也不會再顯示 Unknown。 #6371

遠端主機與桌面版

  • 在 macOS 上,發生「Not enough disk space」更新錯誤後,更新檢查不會再停止直到你重新啟動 Orchestrator。檢查會持續進行,Settings › Updates 會顯示可用的較新版本,空間足夠後更新就會繼續。What's new 會顯示目前提供的建置版本說明,而不是已下載版本的說明。 #6609
  • 在預覽版中,透過 HTTPS 與遠端主機的連線中斷時(例如在睡眠或網路變更後),應用程式不會再跳出一連串 JavaScript 錯誤對話框,而是會在下一次要求時建立新的連線。 #7515
  • 在預覽版中,遠端主機資料夾選擇器會列出符號連結的資料夾,讓你可以透過它們開啟專案。 #6347
  • 在預覽版中,如果 Orchestrator 的背景服務意外結束,桌面版會重新啟動它。你自行停止服務的操作仍會受到尊重。 #6197
  • 在 macOS 預覽版中,準備更新時不會再因 Mac 中途進入睡眠而失敗。如果準備仍然失敗,按鈕會顯示 Relaunch AO 而不是 Retry。 #7061

CLI

  • 在預覽版中,ao review trigger 能找到你剛從工作代理的分支開啟的 pull request,而不會在下一次檢查前一直失敗。如果該分支上開啟的 pull request 屬於其他人,錯誤訊息會提示你傳入 --pr。 #6956
  • 在預覽版中,對代理未執行的 Chat 工作階段執行 ao send 時,會顯示「the agent controller for this session is not running」,而不是「Internal server error」。 #7476

了解更多

未標示為預覽版的變更已包含在 10 月 30 日發布的穩定版 v0.14.8 中,此版本也將 10 月 25 日至 27 日更新中的預覽項目帶入穩定版。預覽項目需要 10 月 31 日預覽版。