all-MiniLM-L6-v2 在 256 个 Token 处静默截断:我的分块有 38% 受影响
问题其实很简单:“怎么轮换 staging 环境的 API key?”答案就在我的 runbook 索引里,一字不差。可我的 RAG 流水线却返回了一段关于轮换日志文件的内容。 我打开那个本该命中的文本块,答案确实在里面——在最后三分之一处。而嵌入模型(embedding model)压根没见过那部分。 all-MiniLM-L6-v2 会在 256 个 token 处悄悄截断,而我的文本块是按字符数切分的,所以超过三分之一的文本块只把前半段拿去做了嵌入。没有警告,没有报错,日志里也没有一行记录。我拿到的向量,描述的是另一段文字,而不是我存进去的那一段。 TL;DR - sentence-tr