状态页显示 100% 可用,为什么请求仍然失败?
区分网关可达与模型请求完整成功。检查状态页的监控范围、备用尝试、样本量和统计口径,避免把错误线索当成供应商成功率。
请求接连失败,错误看起来来自上游,状态页却显示一片绿色。遇到这种情况,不必马上认定监控坏了;先确认它到底测了哪一段。
网关能响应,与一条模型请求完整成功,是不同的观测对象。 有的状态页只测 HTTP 可达性,有的会做端到端调用。应看公开的测量定义,不能从“100%”这个数字自行推断。
状态页可能测到了哪一层
如果探针只检查中转站是否接受连接、返回响应,它没有覆盖后续选路、上游鉴权、模型处理和流式完成。
| 层级 | 可以用什么观测 | 可能的失败 |
|---|---|---|
| 网关/API 边缘 | HTTP 可达性与应用探针 | 连接、边缘或应用故障 |
| 上游选择 | 路由与候选记录 | 候选为空、全部冷却、没有兼容协议 |
| 上游鉴权与配额 | 账号状态和调用结果 | Key 失效、额度不足、429 |
| 模型处理 | 完整调用与流式结束情况 | 超时、过载、502、输出中断 |
供应商自身的状态页正常,也不能保证你的中转站已经选到可用线路。反过来,中转站的某个探针失败,也未必意味着所有模型组都不可用。
如果连续失败与你看到的绿标不一致,先问:监控基于 HTTP、完整模型调用,还是其他指标?覆盖哪些地区、模型组和时间窗口?这比单纯争论“是不是 100%”更有用。
值得询问的三个事实
1. 这次请求由哪条服务线路完成
不要只依赖 model 字段。它可能是别名或组名,不能直接代表供应商或账号。
对排查来说,稳定的脱敏线路标识和请求 ID 就很有价值。没有必要把真实账号、Key 或敏感基础设施公开出来;运营方可以在合适的权限范围内提供关联记录。
2. 同一个请求是否尝试过备用
最终是否报错,与是否发生过再次尝试,是两件事。发生切换可能增加时延,但排队和网络也会变慢,因此耗时不能替代尝试记录。
更有用的是把“尝试过备用”的标记,与同一个请求下的候选、失败原因和最终完成情况对应起来。
3. 备用尝试是否成功
换了一条线路,也可能继续失败。所以不只要知道“配置了几个供应商”,还要知道有多少请求尝试备用、其中多少完整成功,以及最终错误是什么。
响应头可以提供线索,但不是统一标准
一些网关会用响应头暴露路由元数据,例如:
x-upstream-provider: together
x-fallback: true
x-upstream-attempts: 2
x-upstream-latency-ms: 1840
这些名称只是示例,不是统一 API 标准,也不表示 XCoffee 当前返回这些头。 实际含义应以服务文档为准。
你可以查看自己获准调用的测试接口:
curl -sS -D - -o /dev/null \
-H "Authorization: Bearer $KEY" \
-H "Content-Type: application/json" \
-d '{"model":"your-group","messages":[{"role":"user","content":"say ok"}],"max_tokens":5}' \
https://your-relay.example/v1/chat/completions \
| grep -iE 'x-(upstream|provider|fallback|attempt)'
只有在标识准确、完成情况也被记录时,样本才有助于分析服务线路分布。对于 SSE,最初返回 200 并不等于生成完整完成。
如果没有路由元数据,自己能测什么
仍然可以记录最终结果和错误线索,例如:
- 供应商名称、地区或其他错误来源提示。
rate limit、quota exceeded、insufficient credits。upstream idle timeout、upstream_error、no available channel。
但这些文字既不保证能准确识别供应商,也不能证明之前没有尝试备用。
下面只是记录状态、耗时和错误关键词的简化示例。完整测试还需要捕获超时、连接异常,并检查流式结束情况:
import re
import time
import requests
ERROR_HINT = re.compile(
r"together|deepinfra|rate limit|quota|upstream|no available channel", re.I
)
def call(relay, key, group):
start = time.perf_counter()
response = requests.post(
f"{relay}/v1/chat/completions",
headers={"Authorization": f"Bearer {key}"},
json={
"model": group,
"messages": [{"role": "user", "content": "say ok"}],
"max_tokens": 5,
},
timeout=60,
)
hint = ERROR_HINT.search(response.text)
return {
"status": response.status_code,
"ms": round((time.perf_counter() - start) * 1000),
"error_hint": hint.group(0) if hint else None,
}
用小规模、获准的样本计算最终错误率,并注明时间窗口和样本量。测试请求可能消耗额度,不要为了凑一个百分比无节制地调用。
这里得到的是请求级的错误线索比例。没有可靠的线路归属,就不能把它命名成“各供应商成功率”。匹配到 quota 也不等于识别出一家供应商。
怎样向运营方提问
相比“你们可用率是多少”,下面三个问题更具体:
- 我的这次请求走过哪些候选?能否用请求 ID 查到脱敏记录?
- 我的请求中,有多少因为首选失败而尝试了其他上游?
- 这些备用尝试有多少完整成功?统计窗口、样本量和失败定义是什么?
如果对方只能提供全站平均值,就把它和自己模型组的观察分开。拿不到记录时,明确标注可见性限制,不要靠错误文字编造归属。
这些指标仍然有边界
- 知道线路不等于知道健康。 归属只能告诉你请求去了哪里,仍要看最终完成情况。
- 总体平均不等于你的成功率。 例如总体 99.9% 与某个组、某段时间 5% 的错误率可以同时存在;这里只是举例,不是 XCoffee 的实测数字。
- 有切换标记不等于切换有效。 标记仍需要可控故障和实际尝试记录来佐证。
- 备用意味着数据可能被发送到另一条处理路径。 这是采用策略前应了解的数据处理约束。
- 没有历史就不能补画历史曲线。 无观测、低样本和进程重启后的统计起点,都应如实标注。
检查状态页时,先看它测什么,再看自己的请求如何结束。一个有明确口径、样本量和边界的统计,比没有解释的绿标更有帮助。
XCoffee 提供按任务分组的模型 API。本文解释的是评估方法,不表示本站已经公开示例中的上游响应头或逐供应商状态仪表板。
相关阅读:怎样验证容灾是否生效、超时排查顺序、重试、回退与故障切换。