Show HN:我把 Agent 的 Token 用量减少了 50%

HN LLM Code Research 发布日期待确认

Indexio 会为代码库建立索引,存进自己的内部数据库;需要时再通过 MCP(Model Context Protocol,模型上下文协议)按需返回内容。为了让会话在查询时强制走工具调用,我们碰到了一些挺有意思的问题,所以加入了一些比较激进的工具调用逻辑,试图覆盖内置的查找工具。如果某个内容不在索引里,就会回退到正则表达式查找。

整个系统是一个用 Rust 写的单二进制文件,主打性能。在实际测试中,相比内置工具,Token(大模型处理文本的计量单位)用量减少约 50%–60%;查询几乎瞬间完成,而每次用正则查找要花好几秒。Indexio 也有不如正则的地方:查符号(symbol)的时候。我们发现,Agent 大部分工作是在看一串串单词,而不是符号;但如果你的工作流大量涉及这种场景,那它可能并不适合。

我们已经把所有代码都开源了,非常想听听大家的反馈。特别感谢 CocoIndex,这个点子的灵感来自它。

查看原文