AgentConnect
组建团队Computer

观看与接管

在控制台实时观看 Computer 的屏幕,接管鼠标和键盘,从控制台或在机器上停止 Agent,并查看活动记录和已保存的截图。

Agent 和人共用一台 Computer 时只有一条规则:人优先。你可以随时观看而不打扰 Agent,需要时接管鼠标和键盘,也可以一次停止所有 Agent。

观看屏幕

从基础设施打开 Computer。概览页上的屏幕卡片显示谁在控制;选择观看即可实时查看屏幕。观看从不阻塞 Agent,多个人可以同时观看。

观看一台 Cloud Computer:实时屏幕及其帧率和 TURN 中继徽标,以及接管和停止观看按钮

在每个 Agent 都有自己桌面的 Linux Computer 上,桌面选择器可以在主桌面和各个 Agent 的桌面之间切换。

会话页面的侧边面板里也有一个 Computer 标签页。它显示该会话的 Agent 正在使用的 Computer,所以你不必离开对话就能跟进任务。

视频如何传输

查看器使用最先连通的路径,并用一个徽标标明:

徽标路径
直连从桌面直接到你的浏览器,在同一网络内,或到桌面公布的地址
点对点双方从 Relay 得知各自的公网地址后,跨网络直接互连
TURN 中继没有任何直连路径可用时,经由部署的 TURN 服务器
截图视频无法连通时,页面通过 Relay 轮询截图,每秒几帧

控制平面从不传输视频。点对点会向观看者暴露桌面的公网 IP 地址,所以是否使用它由 Computer 的点对点观看设置决定,见使用策略。没有音频,也不同步剪贴板。

接管

观看时选择接管。此后由你的鼠标和键盘操作桌面,Agent 的输入会被拒绝,直到你选择交还。你的浏览器离开后不久,控制权也会被释放。

  • 粘贴的文字和需要输入法的文字,请使用屏幕下方的文本框。
  • 在每个 Agent 一个桌面的 Computer 上,接管只暂停你接管的那个桌面。其他桌面上的 Agent 继续工作。
  • 只有获准控制这台 Computer 的人才能接管,默认是它的所有者。其他被共享的人看到的是仅可观看。

输入被拒绝的 Agent 会被告知有人正在控制。它仍然可以截图,所以你交还之后它能看到你做了什么。

停止与恢复

Computer 页面顶部的停止会立即结束 Agent 的控制,并拒绝所有 Agent,直到恢复。任何能看到这台 Computer 的所有者或协作者都可以停止它。恢复你自己的桌面只能由 Computer 的所有者来做,API 密钥和 Agent 永远做不到。

停止也会终止 Agent 正在这台 Computer 上运行的命令。停止期间截图仍然可用。

在机器上

坐在机器前时,你不需要控制台:

  • **直接使用它。**当指针移动而不是 Agent 移动的时候,Agent 的输入会被拒绝几秒钟。在 Linux X11 会话上,按下按键或鼠标按钮也算。
  • **停止所有 Agent 输入。**使用 Linux X11 上的托盘图标、macOS 上的菜单栏图标,或 Windows 上的任务栏图标。在你从那里选择恢复之前,Agent 保持暂停。
  • **停止快捷键。**在 Linux X11 上按 Ctrl+Alt+Shift+Escape。
  • **从终端。**运行 npx -y @agentconnect.md/cli computer pause,用 computer resume 让 Agent 继续。

在机器上做的暂停要在机器上恢复。Agent 够得着的任何东西都无法解除暂停:桌面上的控件只能停止 Agent,而且停止期间 Agent 的输入会被拒绝。

在每个 Agent 一个桌面的情况下,你在主屏幕上的操作不会暂停 Agent,因为它们不在主屏幕上。从托盘、快捷键或控制台停止,仍然会暂停每一个桌面。

Agent 不能做什么

无论策略怎么设置,桌面守护进程都会拒绝:

  • **系统快捷键。**在 Windows 上是 Windows 键组合和 Ctrl+Alt+Del。在 macOS 上是锁定屏幕、退出登录和强制退出。
  • **安全相关的界面。锁屏和登录界面、身份验证对话框,以及系统的隐私与安全设置。Windows 管理员提示只按 Computer 的管理员提示(UAC)**设置所允许的方式回答。
  • **它自己的控件。**指示图标和停止控件。

因调用超时或连接中断而结果未知的操作,绝不会再次发送。Agent 会拿到一张新的截图,并根据看到的情况决定下一步。

查看活动

活动页只有 Computer 的所有者能看到,按天列出这台 Computer 上发生的事。可以筛选为查看者或 Agent。每条记录写明 Agent、操作、耗时以及是否经过批准,并链接到对应的会话。记录保留 90 天。

输入的文字只记录长度。Agent 运行的命令会记录命令本身和退出码,但从不记录输出。文件访问记录路径和大小,从不记录内容。

已保存的截图

在部署开启了截图存储的情况下,Agent 的工具返回的截图会被保存,会话时间线里的 Computer 工具行会显示它们。读取截图需要同时有权访问该会话和该 Computer。

使用策略里的截图保留设置保留天数;0 表示不保存。调低它会同样作用于已保存的截图,删除 Computer 会立即隐藏它的截图。已过期或从未保存的截图在时间线里显示为不可用。

你观看的视频从不保存。

How is this guide?

本页目录

How is this guide?