Show HN: Oodle.ai – 每百万条代理跟踪仅需 10 美元
嗨 HN，我们是 Kiran 和 Vijay！在过去两年中，我们构建了一个面向可观测性（日志、指标和跟踪）的列式存储引擎。今天，我们很高兴向大家展示在此基础上构建的新产品：LLM 代理可观测性。考虑到代理的非确定性特质，在不采样的前提下存储所有跟踪记录对我们来说至关重要。但这些跟踪记录往往达到 MB 甚至 GB 级别——我们需要低成本存储它们，同时还要保证查询和分析的速度。为了兼顾这两个目标，我们将数据存储在 S3 中，使用自研的类 Parquet 文件格式，并通过 AWS Lambda 进行查询。由于我们会处理每条跟踪的每个跨度，因此没有对每条记录都运行基于 LLM 的评估，而是先使用确定性技术进行分析。我们检测工具故障、重试、循环、异常令牌使用、延迟回归、模式违规、情感倾向以及其他生产信号。关于这种方法，我们在博客中有更详细的介绍：https://blog.oodle.ai/you-cant-sample-your-way-to-reliable-a... 结合自研引擎、不采样策略以及在 LLM 评估前进行确定性处理，使我们能够将价格定为每百万条跟踪 10 美元，提供亚秒级 p99 查询延迟，并保持不错的利润率。在此之前，我们一直使用 Langfuse 进行自己的代理可观测性，而它的成本是我们的 6 倍。目前产品仍处于非常早期阶段，有些地方还不够完善，我们非常期待大家的提问和反馈！