Amazon Bedrock 限流应对实战指南

如果你真的把大语言模型（LLM）的业务流量跑在 Amazon Bedrock 上，那么限流（throttling）绝不是偶发的边角情况——在规模化场景下，它就是常态。当你收到 ThrottlingException 或 TooManyRequestsException ，其实是 Bedrock 在告诉你：你在该区域、该模型上的请求速率或 token 速率已经越过了配额。 解决办法很少是靠改一个配置就能搞定，它更像一套分层防御：先搞清楚配额，再做智能重试，限制并发数，优雅降级，处理超时，并且知道什么情况下该找 AWS 提工单。下面这些策略，是我在生产环境的 LLM 负载中反复用到的，写成通