介绍 Clips:一款开源、面向 AI 代理的 Loom 替代方案

Builder.io Blog 2026-07-03T07:18:59.200806

任何与 AI 打交道的人都曾遇到过这样的场景:你发现了一个 bug、一个布局错乱、一个令人困惑的交互流程,或是一个行为异常的着陆页。你想让 AI 助手精确地理解你的意思。但你没有录制一段 10 秒钟的屏幕共享,而是花了 10 分钟写了一大段文字、复制堆栈跟踪、描述屏幕内容,并希望关键信息在转换过程中得以保留。

为什么?因为你的 AI 代理看不了 Loom 视频。将视频链接粘贴到 LLM(大语言模型)提示中,代理通常只会返回一大段压缩过的 React 样板代码或一个通用的播放器包装器。它是“盲”的——它看不到 UI 故障,也听不到你的解释。

我们想要解决这个问题。因此,我们创建了 Clips。它是一款免费、开源、面向 AI 代理的 Loom 替代方案。你可以像分享任何其他视频一样,将一段剪辑分享给队友,但它还有一项超能力:它的分享链接被设计为可供 AI 代理直接读取。无需复杂设置,无需 MCP 服务器,无需自定义 IDE 插件。只需一个原始 URL,任何 LLM 都能快速解包、听取并查看其中的内容。

工作原理:代理实际看到的内容

当你向代理发送一个 Clips 链接时,它看到的不仅仅是一个网页。每个公开剪辑的背后,都有一小部分可供代理读取的资源,这些资源呈现了你录制内容的丰富上下文。如果你将诸如 clips.agent-native.com/share/abc123 这样的链接粘贴到代理中,代理可以跟随该链接上的元数据,重建出完整的会话过程:

来自 Chrome 的上下文丰富的报告

  1. 地图 – 首先,智能体会读取剪辑的“地图”。在 API 中,这就是 agent-context.json:一份供 AI 读取的整个录制内容的目录。它让智能体清楚了解自己正在查看的内容、剪辑的标题、时长以及捕获了哪些信息。同样重要的是,它告诉智能体在哪里找到其他所有内容:完整的转录文本、各个视频帧、任何浏览器诊断信息,以及一份值得优先检查的推荐时刻简表。智能体无需猜测如何解包录制内容,而是通过阅读这份地图,知道该提取哪些片段以及去哪里查找。

  2. 转录文本 – 接下来,Clips 将旁白作为带时间戳的纯文本提供给智能体,而不是让智能体直接收听原始音频流。转录文本以 agent-transcript.json 的形式提供,每个口述片段都与录制中发生的精确时刻相对应。当你提到点击提交后“什么都没发生”时,智能体可以直接将这些话与视频中的那个瞬间关联起来。

查看原文