上下文语言模型 CLM：让模型自己整理上下文，性能提升的同时省算力

Meta、麻省理工学院与华盛顿大学的研究人员提出上下文语言模型（CLM），让语言模型像编辑文件一样管理自身上下文：改写历史消息、删除无关信息、保留关键事实。实验显示，这种思路在多个基准上同时提升任务表现并降低算力消耗，但也带来信息丢失、提示词注入和缓存失效等新问题。 ## 从“外部压缩”转向“模型自管” 语言模型处理长任务时，上下文会不断膨胀。这里的上下文，指模型当前能看到并用于推理的对话、资料和中间结果。上下文越长，算力开销越大，模型也越容易被无关信息干扰。 过去常见的做法有三类：摘要、压缩和外部存储检索。它们各有局限。摘要可能丢掉关键细节，甚至引入错误；压缩通常依赖预先定义的规则；把信