凌晨 2 点值班手记：为什么我们的 vLLM 语义路由在高负载下丢弃了 40% 的请求

故障现象 2024-03-15 02:17:43 WARNING: Route decision timeout after 5000ms 2024-03-15 02:17:48 ERROR: 127 requests dropped (no route assigned) 2024-03-15 02:18:12 INFO: QPS: 240 → 140 (41% degradation) 凌晨两点，流量高峰来了。我们那层包着 vllm-project/semantic-router 的 FastAPI 网关开始悄悄丢请求。没有 5xx 报错，没有 OOM

• 凌晨 2 点值班手记：为什么我们的 vLLM 语义路由在高负载下丢弃了 40% 的请求 · Dev.to ML