Meta 等提出上下文语言模型：让模型自主管理上下文，兼顾性能与算力
Meta、麻省理工学院和华盛顿大学的研究人员提出上下文语言模型（Context Language Model，CLM），让大语言模型自己管理、编辑上下文，而不是依赖预先设计的摘要、压缩或检索机制。实验显示，这种方法在多个基准上同时改善了任务表现和计算效率。不过，论文也指出信息丢失、提示词注入和缓存失效等风险，距离生产可用仍有距离。
从“外部压缩”转向“模型自己整理”
智能体执行长任务时，上下文会不断增长。常见做法有三种：做摘要、压缩上下文，或把部分信息放到外部存储，需要时再检索回来。但这些方案都有明显局限。
摘要可能丢掉关键细节，甚至引入错误；压缩通常依赖预先定义的规则；外部存储则要求智能体自己判断哪些信息值得重新载入。换句话说，上下文管理一直更像外挂工具，而不是模型自身的能力。
CLM 的思路不同：把上下文看成一个可以持续更新的文件，让模型自己决定改写哪些历史消息、保留哪些事实、删除哪些无关内容，并维护任务进度记录。研究人员强调，模型可以学出超出现有人工设计方案的管理策略，而不只是执行人类事先写好的规则。
CLM 能学会哪些“上下文技能”
根据论文描述，CLM 可以完成几类操作：创建内部笔记；删除无关的中间结果，同时保留有用内容；记录失败实验和待探索思路；改写历史消息以保持上下文简洁。
这相当于把上下文管理从外部辅助控制，变成模型的内在行为。它天然支持两种改进方式：一是通过上下文学习，用自然语言告诉智能体期望的管理策略；二是通过参数学习，让模型在训练中形成自己的策略。CLM 还可以迭代生成一份“上下文技能文档”，把可复用的管理流程记录下来，供后续任务使用。
三种训练与引导方式
研究人员探索了三种路径。
- 零样本上下文管理：CLM 不接收针对上下文管理的专门训练，直接依赖模型自身能力。
- 上下文学习：通过自然语言指导 CLM 如何管理上下文，并借助迭代技能优化循环改进策略。
- 强化学习：以任务成功为主要目标，把计算效率作为额外优化标准，学习上下文管理策略。
基准结果：准确率和算力同时改善
论文在多个基准上评估了 CLM，结果显示性能与计算效率均有提升。
- 零样本 CLM：在 BrowseComp-Plus 数据集上，准确率提升 11.4%，浮点运算量减少 21.5%；在 12 小时的 EdgeBench 任务上，得分提升 5%，浮点运算量减少 59%；在 24 小时多仓库智能体集群任务上，同等算力下性能提升幅度高出 65%。
- 上下文学习方案：在 ContextBench 任务上最高提升 35.9 个百分点的准确率，同时算力消耗更低。
- 强化学习方案：将 Qwen3.5-9B 在 BrowseComp-Plus 上的准确率从 28.8% 提升到 42.5%，相对提升 47.6%，浮点运算量还减少了 12%。
这些结果说明，让模型自己管理上下文，不只是“省 token”的技巧，也可能成为提升长任务表现的一种训练方向。
仍需解决的问题
研究人员也列出了几个尚未解决的难题。
首先，CLM 可能丢弃后续无法找回的重要信息。上下文一旦被改写或删除，模型未必能意识到自己丢了什么。其次，允许模型编辑自身上下文会带来新的安全风险：可编辑上下文可能成为另一类通道，让提示词注入或模型自生成指令在多轮对话中持续留存。最后，更强的上下文控制权不等于更好的模型表现，模型仍可能在保留、修改或丢弃信息时做出错误判断。
社区反馈：方向有价值，但离生产还有距离
在 X.com 的讨论中，@Rennix7t 提醒，论文中的准确率和算力结果来自特定任务，不能直接外推到所有场景。@omarsar0 认为该方向很有研究价值，但对端到端信任模型自主管理上下文持保留态度，认为还需要更完善的解决方案。
在 Reddit 上，Combinatorilliance 认为 CLM 尚未达到生产就绪状态。他指出，重写上下文会使模型缓存失效，而研究人员使用的缓存技巧本身并不完美，仍有需要考量的缺陷。
对 AI 编程与智能体的意义
在 AI 编程和“氛围编程”场景中，智能体经常要跨文件、跨仓库、长时间执行任务，上下文膨胀是绕不开的问题。CLM 提出的方向，是让编程智能体自己维护任务笔记、失败记录和进度状态，而不是每轮都靠外部摘要硬压上下文。不过，要让这类能力真正进入生产，审计、回滚、安全隔离和缓存兼容性都需要同步解决。
关键要点
- CLM 把上下文视为可编辑文件，让模型自主学习保留、改写和删除信息的策略。
- 论文通过零样本、上下文学习和强化学习三种方式验证了该思路。
- 多个基准显示准确率提升的同时，浮点运算量下降。
- 信息丢失、提示词注入持久化和缓存失效，是走向生产前必须处理的问题。