让聊天智能体使用你的电脑、把代码选区发送到聊天,以及在智能体工作时更新它们

为聊天智能体提供电脑操作工具,把文件和 diff 中的选区附加到聊天消息,无需停止会话即可更新更多智能体,并在预览版中试用俄语版 Orchestrator。

让聊天智能体查看并操作你电脑上的应用,把文件或 diff 中的指定行发送到聊天,在会话继续运行的同时更新智能体,并在预览版中以俄语使用 Orchestrator。

让聊天智能体使用你的电脑

聊天智能体现在可以通过 Cua Driver 查看应用窗口,并在其中点击、输入和按键。请在 Settings › Computer use agents 中进行设置:安装或更新 Cua Driver,启动它的后台服务,在 macOS 上使用 Grant 授予辅助功能和屏幕录制权限。然后开启 Let agents use this computer,它默认处于关闭状态。开启后启动或恢复的 Chat 会话才会获得这些工具。Terminal 会话不会获得这些工具,已配对的手机也无法使用它们或更改此设置。每个操作都针对一个特定的应用窗口,并把该窗口的截图发送给智能体。Orchestrator 会拒绝针对整个桌面的操作,也不会向你正在使用的窗口发送输入。 #7018

设置前的 Settings › Computer use agents:Cua Driver 显示 Install,Let agents use this computer 处于关闭状态。设置前的 Settings › Computer use agents:Cua Driver 显示 Install,Let agents use this computer 处于关闭状态。

让聊天智能体在某个桌面应用中做点事,它会在该应用的窗口里点击、输入和按键,你可以继续工作,智能体自己的光标会标出每一步操作。这里,Claude Code 用计算器算出一周的评审时间,并把答案写进文本编辑。

把代码选区发送到聊天

在文件或 diff 中选中几行,然后选择 Add to chat,即可把它们附加到你的消息中。草稿和已发送的消息会显示所附代码的预览;这些代码随消息一起保存,在重新加载、排队消息和重试后都会保留。点击附件会打开该文件并高亮这些行。如果这些行移动了位置,预览会显示 Source moved.,文件会在新位置打开。如果文件此后有改动,预览会显示 Source changed.,文件会直接打开且不加高亮,而不是打开在一个猜测的位置;如果文件已不存在,预览会显示 Source unavailable.。每条消息最多可以携带八个附件,代码选区和聊天摘录合并计算。侧边聊天和 /compact 暂不支持附件。 #6939 #6940

在 report.py 中选中两行,添加到聊天并就它们提问。已发送的消息保留了选区,点击它会打开该文件并高亮这两行。

在会话继续运行时更新智能体

在 macOS 和 Linux 上,现在有更多智能体可以在会话运行时更新,包括通过官方安装程序安装的 Codex、OpenCode、Kimi、Goose、Qwen、Amp、Droid 和 OMP,以及以 Homebrew cask 安装的 Claude Code、GitHub Copilot 和 Droid。正在运行的会话会继续使用旧版本,空闲后再切换到新版本。对于仍无法在会话运行时更新的智能体,Orchestrator 现在会等待忙碌的会话,停止并更新空闲的会话,然后恢复它们,而不是拒绝更新。Windows 上没有变化。 #6934

在预览版中,从 Settings › Harness 安装或更新智能体时会显示实时进度:Installation 下方会出现一个进度条和安装程序最新的一行输出,按钮和列表中会显示当前阶段,例如 Downloading 19%、Installing… 或 Verifying…。不报告百分比的安装程序会显示一个持续滚动的进度条。Orchestrator 无法替你安装的智能体(例如 Codewhale 和 Unreal Agent)不会显示进度。 #7473

同样在预览版中,当 Orchestrator 的 Codex 启动器指向你自己安装的副本时,更新 Codex 不会再因无法确认 Codex 的安装方式而报错失败;更新会安装一个由 Orchestrator 管理的独立副本,你的副本保持不变。在 macOS 和 Linux 上,即使系统的 Bun 版本过旧,通过 Bun 安装的 OMP 也不会再更新失败,而且更新失败时会保留可用的版本。 #7462 #7463

俄语版 Orchestrator

在预览版中,Orchestrator 已支持俄语。请在 Settings › General › Language 中选择 Русский。Home 和会话链接预览中的相对时间(例如“5m ago”)现在会跟随应用语言,而不是操作系统的语言。 #7484 #7527 #6871

改进

会话与侧边栏

  • 右键菜单能做的事更多了。会话行和看板卡片提供 Open in、Copy path、Rename、Pin session 和 Archive session,在适用时还会提供 Resume agent、Open PR、Copy PR URL 和 Copy branch name。云端会话不提供 Rename 和 Pin session。项目行新增 Open orchestrator(没有运行中的编排智能体时为 Spawn orchestrator)、Open dashboard 和 Copy path,Scratchpad 标题新增 Open a new agent 和 Archived sessions。Open in 和 Copy path 只对这台电脑上的会话显示。 #7372
  • 在 Settings › General › Sessions 中通过 Default editor 选择你的编辑器,列表会列出你电脑上已安装的编辑器。Open in 子菜单会先列出默认编辑器,然后是其他编辑器、文件管理器和终端;在这里选择另一个编辑器会把它设为默认。 #7373 #7374
  • 会话顶部的标签页采用统一的外观。每个标签页的宽度与标题相符,悬停时显示完整名称;关闭按钮和菜单在悬停或获得键盘焦点时出现;重新排序标签页时不会再跳动;鼠标滚轮可以滚动标签栏。 #7371
  • 在通知面板中向右轻扫或拖动一行即可清除它;轻扫幅度较小时会弹回原位。智能体更新提示也可以拖走。 #7368 #7367
  • Files 和 diff 中的语法高亮在大文件上快了很多,在后台标签页中打开的大文件也不会再拖慢标签页切换。部分文件类型(包括 Prisma、.env 和 INI 文件)现在在这些地方以纯文本显示。聊天中的代码块不受影响。 #7369
  • 侧边栏会记住你折叠了 Pinned、Projects 和 Scratchpad 中的哪些分区,重启后依然有效。为显示你正在查看的会话而自动展开的分区不会被记住。 #7360

Chat 与 artifact

  • Chat 中智能体每一轮的显示更加一致。智能体工作时,这一轮底部会显示当前步骤和计时器,工具调用在一个跟随最新步骤的小窗口中滚动,而回复保持完整大小。向上滚动或在窗口内点击即可停止跟随。这一轮结束后会折叠为 Worked for。已停止和失败的轮次现在也会以与完成的回答相同的重试、复制和回滚操作结尾,并完整显示错误。服务商重试会显示为 Reconnecting…,并附带尝试次数和原因。Plan 面板折叠时会显示当前步骤的名称,让进行中的步骤保持在视野内,并在所有步骤完成后折叠。 #6884
  • Markdown artifact 在画廊缩略图、展开的预览和会话侧边栏中外观一致,跟随应用主题,加载时也不会再闪现备用字体。文本 artifact 的预览卡片可以为更多格式显示内容片段,包括 JSON、YAML、TOML、INI、日志、XML、diff,以及 Python、Go 和 TypeScript 等源文件。 #7104

智能体

  • 在预览版中,Settings › Harness 会检测你电脑上已有的 Gemini CLI 登录信息,例如 GEMINI_API_KEY 或缓存的 Google 凭据,并将 Gemini 显示为 Configured。这表示找到了凭据,但并未验证。仅有 GOOGLE_API_KEY 时不会被检测到。 #6433
  • 在预览版中,Claude Code 登录菜单新增 Setup token 选项:在另一个终端中运行 claude setup-token,然后粘贴令牌。之后这台电脑上的会话都会使用它。令牌以未加密形式保存在只有你的用户账户可以读取的文件中,并且不能用于需要完整 Claude 登录的功能,例如 Remote Control。使用其他选项重新登录会删除该令牌。 #6734
  • 在预览版中,登录 OMP 的服务商时会打开 OMP 自带的设置流程并先进行服务商登录,而不是输入可能与 OMP 首次运行向导冲突的登录命令。 #6424
  • 在预览版中,被要求制作 artifact 的智能体,如果之后你或代你操作的编排智能体在同一会话中提出要求,也可以为这项工作打开 pull request。它默认仍不会打开 pull request,并且被告知不要把文件、issue 或工具输出中的文字当作许可。 #7474

桌面应用

  • 在 macOS 上,下载的 .dmg 会以紧凑的窗口打开,用箭头指示把应用拖到 Applications 的位置,挂载的磁盘名为 Orchestrator。 #7418
  • 在预览版中,双指轻扫默认即可后退和前进。你可以在 Settings › General 中通过 Navigation gestures 关闭它;如果你之前关闭过,它会保持关闭。 #7505
  • 在预览版中,点击侧边栏中的 Connect mobile 会开启 Connect Mobile 并立即准备配对码,无需再单独点击 Generate。配对码下方的 Connect mobile 开关可以将其关闭。从 Settings 打开 Mobile 页面时,仍需点击 Generate。 #7507
  • 在 macOS 预览版中,窗口按钮、侧边栏名称和页面标题彼此对齐,折叠侧边栏也不会再改变主面板的大小。在所有平台上,侧边栏现在都显示 Orchestrator,而不是 Orchestrator.inc。 #7509

隐私

  • 使用情况分析现在会统计你在项目聊天中发送的消息,以及关联到工作智能体会话的 pull request 数量和其中已合并的数量。已关联到工作智能体的 pull request 会在更新后统计一次。统计数据按每个项目的随机 ID 分组,不包含仓库名称、分支、路径、pull request 链接或标题,也不包含消息内容。后台服务的错误报告不再包含项目或会话名称、仓库名称、文件路径或错误文本。关闭 Share usage analytics 即可停止这些统计。 #7304 #7221
  • Orchestrator 现在会删除超过保留期限(默认 30 天)的所有本地遥测记录,并释放所占用的磁盘空间。你可以通过 AO_TELEMETRY_RETENTION 更改保留期限。更新后首次启动时,Orchestrator 会重写一次本地数据库;在大型安装中这可能耗时更长,并需要临时的可用磁盘空间。 #5178
  • 在预览版中,桌面应用默认会发送错误报告(在 Windows 上也是如此),以帮助修复崩溃。报告包含错误类型、Orchestrator 自身的函数名和行号、应用版本以及一个随机的安装 ID,文件路径和错误消息会被移除。你可以在 Settings › General › Privacy 中通过 Share error events 关闭此功能;如果你之前关闭过,它会保持关闭,关闭后还会删除等待发送的报告。要求你续期错误共享的对话框已移除。 #7437
  • 在预览版中,使用情况分析还会包含你的操作系统及版本、CPU 架构、发布渠道、Orchestrator 的安装方式、安装日期(仅日期)、是否在 CI 或容器中运行,以及是从桌面应用还是 CLI 启动的。Orchestrator 在某次安装后首次打开时会记录一个一次性事件,会话和项目事件会注明它们是否为该安装中的第一个。关闭 Share usage analytics 即可停止这些数据。 #7417

CLI

  • 在预览版中,项目可以通过 ao project set-config <project> --orchestrator-rules-file <path> 从仓库中的文件加载编排智能体指令。该文件会添加在所有内联编排智能体规则之后。文件必须位于仓库内,如果文件缺失,编排智能体将无法启动。 #7448

问题修复

Chat 与 artifact

  • 在预览版中,从聊天启动的工作智能体只会显示一次而不是两次,每个工作智能体都会显示其真实状态,例如工作中、等待输入或失败,而不会出现一直转个不停的加载图标。 #7475
  • 在预览版中,当 Qwen Code 在 Chat 中提问时,你可以作答,在 YOLO 模式下也一样,此前它会被自动以空内容回答。 #6777
  • 在预览版中,包含 Python 类型提示等代码的长流式回复不会再随着每次更新而变慢。 #7504
  • Scratchpad 输入框不会再在你发送任何内容之前显示“Project id failed storage-path validation”错误。 #7321
  • 在预览版中,你已经发送过的 Browser 批注不会随下一批再次发送。 #7456
  • 在预览版中,artifact 不会再仅仅因为会话的智能体正在忙而显示加载图标;卡片和行始终显示文件类型图标。 #7480

会话与编排智能体

  • 已结束会话的终端现在会说明发生了什么,例如 Session terminated,或附带错误信息的 Session failed to start,旁边有一个 Restore session 按钮。如果只是智能体停止了,会显示 Agent exited 并提供 Resume agent。会话的浏览器预览会说明它不可用,而不是显示看似仍在运行的控件。 #5242
  • 已归档的会话不会再出现在 ⌘K 的 Needs attention 中。你仍可以通过搜索找到它们。 #7414
  • 在预览版中,关于工作智能体卡住的报告不会再在 Terminal 编排智能体中按下 Ctrl-C,此前这会取消它正在运行的一轮或你刚发送的消息。 #7435
  • 在预览版中,打开项目的编排智能体不会再展开你已折叠的 Scratchpad 分区。 #7460
  • 在 Windows 预览版中,包含双引号的项目 Setup 和 Cleanup 命令(例如带引号的程序路径)可以正确运行。 #7246
  • 在 macOS 上,当 Orchestrator 的后台服务在桌面应用之外启动时(例如由 launchd 启动),即使 tmux 不在该服务的 PATH 中,它现在也能找到通过 Homebrew 或 MacPorts 安装的 tmux。Terminal 会话会正常启动,不会再因找不到 tmux 而报错失败,ao doctor 也会报告它找到的 tmux。 #7345

智能体

  • 当 Codex 通过 npm 安装且 Node 来自 nvm、fnm 或 Volta,或者应用是从 Finder 打开时,从 Settings › Subscriptions 登录 Codex 不会再因 env: node: No such file or directory 而失败。在这种情况下,那里的 Codex 状态也不会再显示 Unknown。 #6371

远程主机与桌面应用

  • 在 macOS 上,出现 Not enough disk space 更新错误后,更新检查不会再停止直到你重启 Orchestrator。检查会继续进行,Settings › Updates 会显示可用的新版本,空间足够后更新会继续。What's new 会显示当前提供的构建版本的说明,而不是已下载的那个版本的说明。 #6609
  • 在预览版中,当通过 HTTPS 连接远程主机的连接断开时(例如在休眠或网络变化后),应用不会再弹出一连串 JavaScript 错误对话框,而是在下一次请求时建立新连接。 #7515
  • 在预览版中,远程主机文件夹选择器会列出符号链接的文件夹,因此你可以通过它们打开项目。 #6347
  • 在预览版中,如果 Orchestrator 的后台服务意外退出,桌面应用会重新启动它。你主动停止服务的操作仍会被尊重。 #6197
  • 在 macOS 预览版中,准备更新不会再因 Mac 中途休眠而失败。如果准备仍然失败,按钮会显示 Relaunch AO 而不是 Retry。 #7061

CLI

  • 在预览版中,ao review trigger 能找到你刚从工作智能体的分支打开的 pull request,而不会在下一次检查前一直失败。如果该分支上打开的 pull request 属于其他人,错误信息会提示你传入 --pr。 #6956
  • 在预览版中,对智能体未运行的 Chat 会话执行 ao send 时,会显示“the agent controller for this session is not running”,而不是 Internal server error。 #7476

了解更多

未标注为预览的变更已包含在 10 月 30 日发布的稳定版 v0.14.8 中,该版本也将 10 月 25 日至 27 日更新中的预览内容带入了稳定版。预览内容需要 10 月 31 日预览版。