大语言模型（LLM）偏爱专业能力
大语言模型（LLM）会奖励真正的专业能力。
在2010年代，如果你有技术短板，比如不会写CSS，要么靠技术好的同事，要么只能寄希望于网上正好有你要的答案。如今，人人都可以把活儿交给大语言模型（LLM），写出还过得去的CSS。大语言模型让每个人都能变成多面手。也正因如此，很多人觉得用大语言模型没什么技术含量。如果你想要大语言模型能提供的东西——博士水平的数学证明、质量还行但偶尔很平庸的代码、或者那种生硬的LinkedIn风格文章——你只要开口问就行。因为大家用的都是同一个模型，所谓“擅长写提示词的人”跟第一次碰大模型的人拿到的东西没差别——这种说法是错的。
提示词最核心的技能，其实是你在提问领域的专业功底。一个很好的例子是陶哲轩（Terence Tao）和ChatGPT的一次对话，聊的是最近发现的雅可比猜想反例。这跟我平时对话的那个ChatGPT根本不像同一个！就算给我无限量的token，我也达不到陶哲轩能达到的高度。从这场对话里，我们可以学到不少写好提示词的东西。这里说几点观察：
- 陶哲轩的消息非常简短，直指要害。他不会逐条回应模型，只针对核心要点回应。
- 模型给出的回复，比我尝试和GPT-5.6 Sol聊数学时得到的要简洁得多。
- 通过亮明专家身份，陶哲轩把模型切到了“跟数学家说话”的模式，而不是“向外行解释”的模式。
- 当模型回应看起来不对时，陶哲轩会提出异议，但不会直接说“你错了”，而是会讲“这看起来比我预想的更复杂”这种话。
- 陶哲轩自己会做一些跳跃推理，也会提出建议。关于下一步该怎么走，他几乎从不采纳模型的意见。
不过，就算你照着这些技巧去做，也没法在数学问题上像陶哲轩那样提问。他的技术关键其实在于真正理解数学：能从ChatGPT大段回复中提取相关思路、提出别的做法或表述、判断什么“看起来不对劲”。陶哲轩的数学水平，比我的编程水平还要高。
这里的想法——领域知识能让你更好地使用 LLM——也是我在自己工作中体会到的。如果你对代码库有很好的理解，就能比不熟悉时更有力地驱动 LLM。因为你心里对好的解决方案该是什么样有数，你可以说“不，我觉得这里可以更简单”，或者“但我们不是已经做了 X 吗？”或者“能不能用这些熟悉的术语来表达这个问题？”这触及了我之前写过的一个观点：系统设计问题主要由具体细节主导，而不是通用原则。当然两者都有用，但我宁愿熟悉代码库，也不愿对软件系统有深入的泛泛理解。
在对话中，陶哲轩问了许多具体问题，比如“X 在这里成立吗？”或“给定 Y 和 Z，为什么是 A？”关于雅可比猜想，我可问不出这些问题，但我可以对 GitHub 上我负责的系统提出同样类型的问题。如果你没有领域知识，你可以抓住 LLM，至少能得到点东西。这并不坏！但如果你有领域知识，你就能通过用力把它引向你想要的方向，从同一个 LLM 中挤出多得多的价值。
我们大多数人不得不两种方法混着用，因为我们在某些领域有知识，在另一些领域没有。领域知识的有用性表明，即使模型越来越强，人类专长仍会继续有用。对许多任务来说，瓶颈在于人，而不在于模型，因为困难的部分在于向模型准确传达人类想要的解决方案。信息已经“在模型里”了，但需要非常聪明的人才能把它提取出来。
编辑：这篇文章在 Hacker News 上获得了很多评论。有些评论者分享了他们的轶事，说明专长如何有帮助，缺乏专长又如何造成阻碍。另一些评论者说这似乎合理，但他们对此有一种合理的怀疑：这个观点让他们安心地相信自己仍有价值。我同意这一点，不过我怀疑等到我们着手研究这个问题时，形势又已经在我们脚下发生了变化。
有评论者指出，OpenAI 的数学提示词本身并不专业，所以专业能力并非必要条件。对此我的回应是：OpenAI 确实有一支数学家专家团队，负责检查和筛选模型提出的发现；至少在目前，这个环节还无法跳过。