请求频繁超时,自动容灾却不触发:先按这个顺序排查
按客户端、网络、中转站、上游四层定位模型 API 超时,核对截止时间、重试预算、冷却与完成情况,避免在错误的一层反复调参。
假设你的 Agent 循环里,约八成请求超时或失败。你试过减少供应商、只用快模型、提高客户端超时,情况仍没有明显改善。这里的“八成”是排查场景示例,不是 XCoffee 的实测失败率。
遇到这种情况,先别认定是 fallback 代码坏了。请求可能没有走到可用上游,也可能是在某一层的截止时间耗尽后结束。先找失败发生在哪一层,再决定改什么。
先分开超时与错误码
两者提供的信息不同:
- 超时:调用方没能在截止时间前拿到预期结果。服务端仍可能已经接收、处理甚至完成了请求。
- 连接重置:属于传输故障,和超时不是同一回事;它也不能说明服务端是否已经开始处理。
- 429、400、401、5xx:说明收到了某个 HTTP 响应,但还要确定是谁返回的,以及它代表哪一类失败。
大部分失败都是超时时,应先找出计时器的位置:客户端、边缘代理、中转站、连接阶段,还是流的空闲超时?然后确认总预算是否允许在客户端放弃之前,再完成一次尝试。
超时能不能重试,还取决于错误策略、是否已提交工作、是否开始输出。它不自动等于容灾代码失效,也不一定只靠调配置就能解决。
第一层:客户端
在一个明确的时间窗口内,至少记录 p50、p95,以及超时、错误状态和完整成功各占多少。每次请求保留开始时间、结束时间、状态、完成情况和请求 ID。
# 每次请求记录:t_start、t_end、status、completed、request_id
如果 p95 已经接近客户端超时,应检查统计是否被截止时间截断。例如超时设为 15 秒,而观察到的 p95 是 14 秒,说明余量不多,但不能由此推导出“80% 都会失败”。
不要只统计成功调用。客户端取消后,服务端是否同步停止,也需要单独确认。提高超时应有边界,并与整个重试预算配合。
第二层:网络与边缘代理
沿着客户端到中转站的路径检查:
- 失败是否集中在某个地区、出口、VPN 或云区域?这可以提示路径问题。
- 是否集中在某个时间段?可能涉及负载、配额窗口或维护,需要证据对应。
- DNS、TLS、连接和首字节分别花了多久?在收到响应头之前,还是收到数据之后断开?
不要把“首字节之前失败”全部归给网络,也不要把“首字节之后失败”全部归给中转站。负载均衡器、代理和上游都可能参与其中。
没有状态码、连接重置、随地区或时间变化,都是排查路径问题的线索,不是唯一归因。
第三层:中转站
这一层要问清楚五件事:
- 上游返回 429 后,到底怎么处理? 是重试同一条线路,换服务商但保持模型,还是换另一个模型?这些尝试是否有记录?
- 模型组有多少个实际可用候选? 只有一条上游时,不存在可切换的备用;有多个配置也不代表它们当前都可用。
- 单次尝试和整个请求的截止时间各是多少? 总预算是否留得出备用尝试的时间,并能在客户端截止前完成?
- 最终错误如何转换? 错误体中的供应商名称,只能帮助定位错误来源,不能证明之前没有试过其他候选。
- 冷却和恢复怎样工作? 同一个请求内是否立即尝试备用?所有候选都在冷却时返回什么?候选怎样恢复参与选路?
这里尤其要区分:下一个请求避开故障线路,与当前这个请求由备用接手,是两种不同效果。仅有冷却机制,并不能证明后一种已经实现。
如果拿不到尝试记录,应写“内部选路尚未验证”。没有可见记录,不等于供应商数量一定比宣传少。
第四层:上游
如果记录已确认中转站尝试了多个候选,但都没成功,再检查候选本身和它们共享的依赖:
- 你调用的模型,当前容量和账号配额具体是多少?不要仅从“快、便宜”推断它一定最先限流。
- 失败率是否在某个时刻发生阶跃变化?对照上游、模型版本、客户端、中转站和网络的变更,而不是只猜其中一层。
- 是否使用免费或共享资源池?它的实际可用容量是否符合你的峰值?
多条线路也可能依赖同一账号、同一供应商或同一容量池。候选数量不是故障独立性的保证。
为什么减少供应商有时反而更差
只保留“最快的一家”,可能减少吸收突发流量的容量。当瓶颈来自共享资源池时,缩小候选范围可能让超时更多。
但如果其中一条线路持续故障,临时排除它又可能有帮助。应根据单条线路的失败和容量记录决定,不能把“减少供应商”或“增加供应商”当成通用答案。
哪些数字最有帮助
| 记录 | 用途与限制 |
|---|---|
| p50、p95 与各层截止时间 | 检查预算是否过紧;注意超时样本被截断的问题 |
| 超时、HTTP 错误、完整成功的比例 | 区分没收到结果、收到拒绝与真正完成 |
| 按时间观察失败率及配置变更 | 找变化发生的位置,但时间相关不等于因果 |
这些数字用于决定下一步查哪里,不能独立证明根因。最终错误里仍有供应商名,也不等于“完全没切换”。
按层处理
- 客户端:对齐总截止时间、取消传播和重试预算;确认太短后,再有界地调整并复测。
- 网络:整理失败地区、时间、连接阶段和请求 ID,提交给对应的路径或边缘服务负责人。
- 中转站:取得一次可控故障的尝试记录,核对触发条件、候选选择、冷却和恢复。
- 上游:依据容量与配额记录安排交互和批量任务;不要只靠客户端反复重试消化持续性不足。
这不是让你先换产品,而是先判断该由哪一层修复,避免在错误的一层重写逻辑或增加开销。
XCoffee 提供按任务分组的模型 API,并在生成前的符合条件拒绝上尝试组内备用。并非所有超时、5xx 或已经开始输出的中断都能安全重放。
相关阅读:怎样验证容灾是否生效、重试、回退与故障切换、怎样看状态页。