新AI团队的三个错误
你的公司可能正在组建一个 AI 团队。这个团队一开始总是充满兴奋，但很多时候，它会撞上现实。
我从事 RAG（检索增强生成）领域的工作。到现在，我已经亲眼目睹了十几个新兴 AI 团队的起步过程。作为常被请去收拾 AI 搜索领域昂贵烂摊子的顾问，我承认自己在这里有明确的偏见——就像那些只看到街头艰辛一面的警察一样。
我在 AI 团队身上看到的许多痛苦，和 2010 年代那些新兴搜索团队经历的非常相似。我承认这是一种带有偏见的视角，但也许是有用的。
错误一：评估——别以为我们知道“好”是什么样
优秀的搜索/AI 组织会把约 50% 的投入花在理解问题上，而不是花在解决问题上。AI 也是一样。
这意味着要去做评估（evals）。
想寻找产品改进的机会？不要盲目相信产品经理的意见，去评估！
你知道哪里出了问题，但就是定位不到 agent 到底在哪一步失败？你需要评估。
想用用户行为来训练模型？评估结果就是训练数据。
我的同事 Hamel Hussain 和 Shreya Shankar 开了一门完整的 AI 评估课程。他们专注的是衡量端到端的产品成功，而不是泛泛的指标。然后他们有一套方法论，把产品表现拆解开来，找出薄弱环节——也许出在检索？也许出在你的护栏？也许出在别的地方？
当年做搜索时，没有一套评估基础，我根本无从下手。12 年前我创建了 Quepid，因为在对话系统、搜索或 AI 里，根本没有客观的对错答案。
我学会了刻意不信任自己的直觉。我会和客户一起探索，搞清楚“应该发生什么”才是真正重要的。
多年前，我为 Advanced Auto Parts 的内部搜索做过一个项目。当时我假设员工搜索某个产品时，就是想看到那个产品出现在结果里。其实不然：他们真正想知道的是“卖这个能拿到多少提成？”。
你的工作不只是构建东西，还要当一名科学家：评估、假设、测试、改进。不要忘了这一点！
检索：不是勾选清单，而是核心本身
你知道我肯定会说这个。但这件事复杂在哪里——检索能有多么多样化——恰恰成了团队的盲区。大家都默认存在一套经典的 RAG（检索增强生成）架构，拿来就能套用到所有人身上。
我们要认识到：AI 团队本质上就是搜索团队。研究中最容易得到的发现之一是：检索决定了 AI 的质量。
这篇论文直观展示了给到正确上下文时 AI 质量提升有多显著。他们给大语言模型（LLM）喂入正确的上下文，答案质量立刻上了一个台阶。
（当然，前提是你得有评估体系，才能知道哪种上下文是正确的。）
为了拿到正确的上下文，解决方案可能相差甚远。
你会把大量时间花在这些决策上：如何分块、用什么技术检索这些块、如何排序、如何给出多样化的答案。
例如，上面那篇论文的作者尝试了不同的检索方法，结果各异：
这些解决方案方向各不相同。做搜索很容易困在某一套方法里，产生沉没成本。不过，在直接上高复杂度方案之前，总有一些低成本的办法可以用来先试简单方案。
先用便宜、简单、粗糙的办法摸清什么有效，再去做昂贵、稳妥的实现——这本身就是一种搜索经验。
上下文不是文本分块，而是元数据
在 RAG（检索增强生成）里，经典的分块策略是把文本拆成一段段有用的内容。在搜索场景中，我们通常默认 RAG 遵循一套经典问答范式：把段落做向量化、把查询做向量化、找出相似结果，再注入智能体（agent）的上下文里。
但我认为，RAG 的真正含义不是这样。RAG 是要把有用的信息呈现给智能体，让它能够自己判断这些信息是否可信、与当前提示（prompt）是否相关。
如果你为我的博客搭建 RAG，下面哪个文本块对 LLM 更有用？
在 Shopify 工作期间，我实现了一个搜索相关性解决方案
还是：
## Title: My search relevance work at Shopify
受欢迎度
中等
发布日期
2020年7月20日