让聊天智能体使用你的电脑、把代码选区发送到聊天,以及在智能体工作时更新它们
为聊天智能体提供电脑操作工具,把文件和 diff 中的选区附加到聊天消息,无需停止会话即可更新更多智能体,并在预览版中试用俄语版 Orchestrator。
让聊天智能体查看并操作你电脑上的应用,把文件或 diff 中的指定行发送到聊天,在会话继续运行的同时更新智能体,并在预览版中以俄语使用 Orchestrator。
让聊天智能体使用你的电脑
聊天智能体现在可以通过 Cua Driver 查看应用窗口,并在其中点击、输入和按键。请在 Settings › Computer use agents 中进行设置:安装或更新 Cua Driver,启动它的后台服务,在 macOS 上使用 Grant 授予辅助功能和屏幕录制权限。然后开启 Let agents use this computer,它默认处于关闭状态。开启后启动或恢复的 Chat 会话才会获得这些工具。Terminal 会话不会获得这些工具,已配对的手机也无法使用它们或更改此设置。每个操作都针对一个特定的应用窗口,并把该窗口的截图发送给智能体。Orchestrator 会拒绝针对整个桌面的操作,也不会向你正在使用的窗口发送输入。 #7018
设置前的 Settings › Computer use agents:Cua Driver 显示 Install,Let agents use this computer 处于关闭状态。
把代码选区发送到聊天
在文件或 diff 中选中几行,然后选择 Add to chat,即可把它们附加到你的消息中。草稿和已发送的消息会显示所附代码的预览;这些代码随消息一起保存,在重新加载、排队消息和重试后都会保留。点击附件会打开该文件并高亮这些行。如果这些行移动了位置,预览会显示 Source moved.,文件会在新位置打开。如果文件此后有改动,预览会显示 Source changed.,文件会直接打开且不加高亮,而不是打开在一个猜测的位置;如果文件已不存在,预览会显示 Source unavailable.。每条消息最多可以携带八个附件,代码选区和聊天摘录合并计算。侧边聊天和 /compact 暂不支持附件。 #6939 #6940
在 report.py 中选中两行,添加到聊天并就它们提问。已发送的消息保留了选区,点击它会打开该文件并高亮这两行。在会话继续运行时更新智能体
在 macOS 和 Linux 上,现在有更多智能体可以在会话运行时更新,包括通过官方安装程序安装的 Codex、OpenCode、Kimi、Goose、Qwen、Amp、Droid 和 OMP,以及以 Homebrew cask 安装的 Claude Code、GitHub Copilot 和 Droid。正在运行的会话会继续使用旧版本,空闲后再切换到新版本。对于仍无法在会话运行时更新的智能体,Orchestrator 现在会等待忙碌的会话,停止并更新空闲的会话,然后恢复它们,而不是拒绝更新。Windows 上没有变化。 #6934
在预览版中,从 Settings › Harness 安装或更新智能体时会显示实时进度:Installation 下方会出现一个进度条和安装程序最新的一行输出,按钮和列表中会显示当前阶段,例如 Downloading 19%、Installing… 或 Verifying…。不报告百分比的安装程序会显示一个持续滚动的进度条。Orchestrator 无法替你安装的智能体(例如 Codewhale 和 Unreal Agent)不会显示进度。 #7473
同样在预览版中,当 Orchestrator 的 Codex 启动器指向你自己安装的副本时,更新 Codex 不会再因无法确认 Codex 的安装方式而报错失败;更新会安装一个由 Orchestrator 管理的独立副本,你的副本保持不变。在 macOS 和 Linux 上,即使系统的 Bun 版本过旧,通过 Bun 安装的 OMP 也不会再更新失败,而且更新失败时会保留可用的版本。 #7462 #7463
俄语版 Orchestrator
在预览版中,Orchestrator 已支持俄语。请在 Settings › General › Language 中选择 Русский。Home 和会话链接预览中的相对时间(例如“5m ago”)现在会跟随应用语言,而不是操作系统的语言。 #7484 #7527 #6871
改进
会话与侧边栏
- 右键菜单能做的事更多了。会话行和看板卡片提供 Open in、Copy path、Rename、Pin session 和 Archive session,在适用时还会提供 Resume agent、Open PR、Copy PR URL 和 Copy branch name。云端会话不提供 Rename 和 Pin session。项目行新增 Open orchestrator(没有运行中的编排智能体时为 Spawn orchestrator)、Open dashboard 和 Copy path,Scratchpad 标题新增 Open a new agent 和 Archived sessions。Open in 和 Copy path 只对这台电脑上的会话显示。 #7372
- 在 Settings › General › Sessions 中通过 Default editor 选择你的编辑器,列表会列出你电脑上已安装的编辑器。Open in 子菜单会先列出默认编辑器,然后是其他编辑器、文件管理器和终端;在这里选择另一个编辑器会把它设为默认。 #7373 #7374
- 会话顶部的标签页采用统一的外观。每个标签页的宽度与标题相符,悬停时显示完整名称;关闭按钮和菜单在悬停或获得键盘焦点时出现;重新排序标签页时不会再跳动;鼠标滚轮可以滚动标签栏。 #7371
- 在通知面板中向右轻扫或拖动一行即可清除它;轻扫幅度较小时会弹回原位。智能体更新提示也可以拖走。 #7368 #7367
- Files 和 diff 中的语法高亮在大文件上快了很多,在后台标签页中打开的大文件也不会再拖慢标签页切换。部分文件类型(包括 Prisma、.env 和 INI 文件)现在在这些地方以纯文本显示。聊天中的代码块不受影响。 #7369
- 侧边栏会记住你折叠了 Pinned、Projects 和 Scratchpad 中的哪些分区,重启后依然有效。为显示你正在查看的会话而自动展开的分区不会被记住。 #7360
Chat 与 artifact
- Chat 中智能体每一轮的显示更加一致。智能体工作时,这一轮底部会显示当前步骤和计时器,工具调用在一个跟随最新步骤的小窗口中滚动,而回复保持完整大小。向上滚动或在窗口内点击即可停止跟随。这一轮结束后会折叠为 Worked for。已停止和失败的轮次现在也会以与完成的回答相同的重试、复制和回滚操作结尾,并完整显示错误。服务商重试会显示为 Reconnecting…,并附带尝试次数和原因。Plan 面板折叠时会显示当前步骤的名称,让进行中的步骤保持在视野内,并在所有步骤完成后折叠。 #6884
- Markdown artifact 在画廊缩略图、展开的预览和会话侧边栏中外观一致,跟随应用主题,加载时也不会再闪现备用字体。文本 artifact 的预览卡片可以为更多格式显示内容片段,包括 JSON、YAML、TOML、INI、日志、XML、diff,以及 Python、Go 和 TypeScript 等源文件。 #7104
智能体
- 在预览版中,Settings › Harness 会检测你电脑上已有的 Gemini CLI 登录信息,例如
GEMINI_API_KEY或缓存的 Google 凭据,并将 Gemini 显示为 Configured。这表示找到了凭据,但并未验证。仅有GOOGLE_API_KEY时不会被检测到。 #6433 - 在预览版中,Claude Code 登录菜单新增 Setup token 选项:在另一个终端中运行
claude setup-token,然后粘贴令牌。之后这台电脑上的会话都会使用它。令牌以未加密形式保存在只有你的用户账户可以读取的文件中,并且不能用于需要完整 Claude 登录的功能,例如 Remote Control。使用其他选项重新登录会删除该令牌。 #6734 - 在预览版中,登录 OMP 的服务商时会打开 OMP 自带的设置流程并先进行服务商登录,而不是输入可能与 OMP 首次运行向导冲突的登录命令。 #6424
- 在预览版中,被要求制作 artifact 的智能体,如果之后你或代你操作的编排智能体在同一会话中提出要求,也可以为这项工作打开 pull request。它默认仍不会打开 pull request,并且被告知不要把文件、issue 或工具输出中的文字当作许可。 #7474
桌面应用
- 在 macOS 上,下载的 .dmg 会以紧凑的窗口打开,用箭头指示把应用拖到 Applications 的位置,挂载的磁盘名为 Orchestrator。 #7418
- 在预览版中,双指轻扫默认即可后退和前进。你可以在 Settings › General 中通过 Navigation gestures 关闭它;如果你之前关闭过,它会保持关闭。 #7505
- 在预览版中,点击侧边栏中的 Connect mobile 会开启 Connect Mobile 并立即准备配对码,无需再单独点击 Generate。配对码下方的 Connect mobile 开关可以将其关闭。从 Settings 打开 Mobile 页面时,仍需点击 Generate。 #7507
- 在 macOS 预览版中,窗口按钮、侧边栏名称和页面标题彼此对齐,折叠侧边栏也不会再改变主面板的大小。在所有平台上,侧边栏现在都显示 Orchestrator,而不是 Orchestrator.inc。 #7509
隐私
- 使用情况分析现在会统计你在项目聊天中发送的消息,以及关联到工作智能体会话的 pull request 数量和其中已合并的数量。已关联到工作智能体的 pull request 会在更新后统计一次。统计数据按每个项目的随机 ID 分组,不包含仓库名称、分支、路径、pull request 链接或标题,也不包含消息内容。后台服务的错误报告不再包含项目或会话名称、仓库名称、文件路径或错误文本。关闭 Share usage analytics 即可停止这些统计。 #7304 #7221
- Orchestrator 现在会删除超过保留期限(默认 30 天)的所有本地遥测记录,并释放所占用的磁盘空间。你可以通过
AO_TELEMETRY_RETENTION更改保留期限。更新后首次启动时,Orchestrator 会重写一次本地数据库;在大型安装中这可能耗时更长,并需要临时的可用磁盘空间。 #5178 - 在预览版中,桌面应用默认会发送错误报告(在 Windows 上也是如此),以帮助修复崩溃。报告包含错误类型、Orchestrator 自身的函数名和行号、应用版本以及一个随机的安装 ID,文件路径和错误消息会被移除。你可以在 Settings › General › Privacy 中通过 Share error events 关闭此功能;如果你之前关闭过,它会保持关闭,关闭后还会删除等待发送的报告。要求你续期错误共享的对话框已移除。 #7437
- 在预览版中,使用情况分析还会包含你的操作系统及版本、CPU 架构、发布渠道、Orchestrator 的安装方式、安装日期(仅日期)、是否在 CI 或容器中运行,以及是从桌面应用还是 CLI 启动的。Orchestrator 在某次安装后首次打开时会记录一个一次性事件,会话和项目事件会注明它们是否为该安装中的第一个。关闭 Share usage analytics 即可停止这些数据。 #7417
CLI
- 在预览版中,项目可以通过
ao project set-config <project> --orchestrator-rules-file <path>从仓库中的文件加载编排智能体指令。该文件会添加在所有内联编排智能体规则之后。文件必须位于仓库内,如果文件缺失,编排智能体将无法启动。 #7448
问题修复
Chat 与 artifact
- 在预览版中,从聊天启动的工作智能体只会显示一次而不是两次,每个工作智能体都会显示其真实状态,例如工作中、等待输入或失败,而不会出现一直转个不停的加载图标。 #7475
- 在预览版中,当 Qwen Code 在 Chat 中提问时,你可以作答,在 YOLO 模式下也一样,此前它会被自动以空内容回答。 #6777
- 在预览版中,包含 Python 类型提示等代码的长流式回复不会再随着每次更新而变慢。 #7504
- Scratchpad 输入框不会再在你发送任何内容之前显示“Project id failed storage-path validation”错误。 #7321
- 在预览版中,你已经发送过的 Browser 批注不会随下一批再次发送。 #7456
- 在预览版中,artifact 不会再仅仅因为会话的智能体正在忙而显示加载图标;卡片和行始终显示文件类型图标。 #7480
会话与编排智能体
- 已结束会话的终端现在会说明发生了什么,例如 Session terminated,或附带错误信息的 Session failed to start,旁边有一个 Restore session 按钮。如果只是智能体停止了,会显示 Agent exited 并提供 Resume agent。会话的浏览器预览会说明它不可用,而不是显示看似仍在运行的控件。 #5242
- 已归档的会话不会再出现在 ⌘K 的 Needs attention 中。你仍可以通过搜索找到它们。 #7414
- 在预览版中,关于工作智能体卡住的报告不会再在 Terminal 编排智能体中按下 Ctrl-C,此前这会取消它正在运行的一轮或你刚发送的消息。 #7435
- 在预览版中,打开项目的编排智能体不会再展开你已折叠的 Scratchpad 分区。 #7460
- 在 Windows 预览版中,包含双引号的项目 Setup 和 Cleanup 命令(例如带引号的程序路径)可以正确运行。 #7246
- 在 macOS 上,当 Orchestrator 的后台服务在桌面应用之外启动时(例如由 launchd 启动),即使 tmux 不在该服务的
PATH中,它现在也能找到通过 Homebrew 或 MacPorts 安装的 tmux。Terminal 会话会正常启动,不会再因找不到 tmux 而报错失败,ao doctor也会报告它找到的 tmux。 #7345
智能体
- 当 Codex 通过 npm 安装且 Node 来自 nvm、fnm 或 Volta,或者应用是从 Finder 打开时,从 Settings › Subscriptions 登录 Codex 不会再因
env: node: No such file or directory而失败。在这种情况下,那里的 Codex 状态也不会再显示 Unknown。 #6371
远程主机与桌面应用
- 在 macOS 上,出现 Not enough disk space 更新错误后,更新检查不会再停止直到你重启 Orchestrator。检查会继续进行,Settings › Updates 会显示可用的新版本,空间足够后更新会继续。What's new 会显示当前提供的构建版本的说明,而不是已下载的那个版本的说明。 #6609
- 在预览版中,当通过 HTTPS 连接远程主机的连接断开时(例如在休眠或网络变化后),应用不会再弹出一连串 JavaScript 错误对话框,而是在下一次请求时建立新连接。 #7515
- 在预览版中,远程主机文件夹选择器会列出符号链接的文件夹,因此你可以通过它们打开项目。 #6347
- 在预览版中,如果 Orchestrator 的后台服务意外退出,桌面应用会重新启动它。你主动停止服务的操作仍会被尊重。 #6197
- 在 macOS 预览版中,准备更新不会再因 Mac 中途休眠而失败。如果准备仍然失败,按钮会显示 Relaunch AO 而不是 Retry。 #7061
CLI
- 在预览版中,
ao review trigger能找到你刚从工作智能体的分支打开的 pull request,而不会在下一次检查前一直失败。如果该分支上打开的 pull request 属于其他人,错误信息会提示你传入--pr。 #6956 - 在预览版中,对智能体未运行的 Chat 会话执行
ao send时,会显示“the agent controller for this session is not running”,而不是 Internal server error。 #7476
了解更多
未标注为预览的变更已包含在 10 月 30 日发布的稳定版 v0.14.8 中,该版本也将 10 月 25 日至 27 日更新中的预览内容带入了稳定版。预览内容需要 10 月 31 日预览版。