你的 RAG 缺的不是更好的嵌入模型，而是更好的分块

过去一周，我一直在用 LongMemEval 测试 Palace —— 一个我为编码代理（coding agents）做的本地记忆库。它是一个单一的 Rust 二进制程序，配了 SQLite、BM25 和一个小型 ONNX 嵌入模型。写入和召回这两条路径里都没有任何大语言模型（LLM）。这篇文章不讲最终分数，讲的是我在推进过程中学到的东西：哪些改动提升了召回，哪些没有，以及多少所谓的「改进」其实只是普通 bug —— 不跑一遍基准测试根本发现不了。 先给个简版结论，不想往下看也可以就此打住： - 换嵌入模型在这个数据集上毫无效果，每次差异就 1 到 4 道题。 - 按产品实际存储对话的方式来分