我是怎么给结构化 LLM 输出搭一套能在 CI 里跑的评估框架的

大多数团队评估大语言模型（LLM）的方式，就是读几条输出，然后点点头。这种做法能撑一阵，但迟早会翻车。我做 llm-contract，就是因为想让自己的流水线能诚实回答一个问题：这次改动到底有没有让效果变好。 这套约定包含三块： Schema 优先的抽取。 每次调用 LLM 都按固定 schema（数据结构约定）返回 JSON。模型一旦跑偏，流水线立刻报错，而不是悄悄产出垃圾。 校验失败回传重试。 schema 校验没过时，把具体的违规信息原样发回给模型，只给它一次重试机会。多数情况它自己能改对，剩下的标记出来交人工看。 CI 安全的评估框架。 录制好的用例（输入、期望输出、元数据）放在 py