XCoffee
返回博客

状态页显示 100% 可用,为什么请求仍然失败?

2026年11月12日XCoffee Team

区分网关可达与模型请求完整成功。检查状态页的监控范围、备用尝试、样本量和统计口径,避免把错误线索当成供应商成功率。

请求接连失败,错误看起来来自上游,状态页却显示一片绿色。遇到这种情况,不必马上认定监控坏了;先确认它到底测了哪一段。

网关能响应,与一条模型请求完整成功,是不同的观测对象。 有的状态页只测 HTTP 可达性,有的会做端到端调用。应看公开的测量定义,不能从“100%”这个数字自行推断。

状态页可能测到了哪一层

如果探针只检查中转站是否接受连接、返回响应,它没有覆盖后续选路、上游鉴权、模型处理和流式完成。

层级 可以用什么观测 可能的失败
网关/API 边缘 HTTP 可达性与应用探针 连接、边缘或应用故障
上游选择 路由与候选记录 候选为空、全部冷却、没有兼容协议
上游鉴权与配额 账号状态和调用结果 Key 失效、额度不足、429
模型处理 完整调用与流式结束情况 超时、过载、502、输出中断

供应商自身的状态页正常,也不能保证你的中转站已经选到可用线路。反过来,中转站的某个探针失败,也未必意味着所有模型组都不可用。

如果连续失败与你看到的绿标不一致,先问:监控基于 HTTP、完整模型调用,还是其他指标?覆盖哪些地区、模型组和时间窗口?这比单纯争论“是不是 100%”更有用。

值得询问的三个事实

1. 这次请求由哪条服务线路完成

不要只依赖 model 字段。它可能是别名或组名,不能直接代表供应商或账号。

对排查来说,稳定的脱敏线路标识和请求 ID 就很有价值。没有必要把真实账号、Key 或敏感基础设施公开出来;运营方可以在合适的权限范围内提供关联记录。

2. 同一个请求是否尝试过备用

最终是否报错,与是否发生过再次尝试,是两件事。发生切换可能增加时延,但排队和网络也会变慢,因此耗时不能替代尝试记录。

更有用的是把“尝试过备用”的标记,与同一个请求下的候选、失败原因和最终完成情况对应起来。

3. 备用尝试是否成功

换了一条线路,也可能继续失败。所以不只要知道“配置了几个供应商”,还要知道有多少请求尝试备用、其中多少完整成功,以及最终错误是什么。

响应头可以提供线索,但不是统一标准

一些网关会用响应头暴露路由元数据,例如:

x-upstream-provider: together
x-fallback: true
x-upstream-attempts: 2
x-upstream-latency-ms: 1840

这些名称只是示例,不是统一 API 标准,也不表示 XCoffee 当前返回这些头。 实际含义应以服务文档为准。

你可以查看自己获准调用的测试接口:

curl -sS -D - -o /dev/null \
  -H "Authorization: Bearer $KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"your-group","messages":[{"role":"user","content":"say ok"}],"max_tokens":5}' \
  https://your-relay.example/v1/chat/completions \
  | grep -iE 'x-(upstream|provider|fallback|attempt)'

只有在标识准确、完成情况也被记录时,样本才有助于分析服务线路分布。对于 SSE,最初返回 200 并不等于生成完整完成。

如果没有路由元数据,自己能测什么

仍然可以记录最终结果和错误线索,例如:

  • 供应商名称、地区或其他错误来源提示。
  • rate limit、quota exceeded、insufficient credits。
  • upstream idle timeout、upstream_error、no available channel。

但这些文字既不保证能准确识别供应商,也不能证明之前没有尝试备用。

下面只是记录状态、耗时和错误关键词的简化示例。完整测试还需要捕获超时、连接异常,并检查流式结束情况:

import re
import time
import requests

ERROR_HINT = re.compile(
    r"together|deepinfra|rate limit|quota|upstream|no available channel", re.I
)

def call(relay, key, group):
    start = time.perf_counter()
    response = requests.post(
        f"{relay}/v1/chat/completions",
        headers={"Authorization": f"Bearer {key}"},
        json={
            "model": group,
            "messages": [{"role": "user", "content": "say ok"}],
            "max_tokens": 5,
        },
        timeout=60,
    )
    hint = ERROR_HINT.search(response.text)
    return {
        "status": response.status_code,
        "ms": round((time.perf_counter() - start) * 1000),
        "error_hint": hint.group(0) if hint else None,
    }

用小规模、获准的样本计算最终错误率,并注明时间窗口和样本量。测试请求可能消耗额度,不要为了凑一个百分比无节制地调用。

这里得到的是请求级的错误线索比例。没有可靠的线路归属,就不能把它命名成“各供应商成功率”。匹配到 quota 也不等于识别出一家供应商。

怎样向运营方提问

相比“你们可用率是多少”,下面三个问题更具体:

  1. 我的这次请求走过哪些候选?能否用请求 ID 查到脱敏记录?
  2. 我的请求中,有多少因为首选失败而尝试了其他上游?
  3. 这些备用尝试有多少完整成功?统计窗口、样本量和失败定义是什么?

如果对方只能提供全站平均值,就把它和自己模型组的观察分开。拿不到记录时,明确标注可见性限制,不要靠错误文字编造归属。

这些指标仍然有边界

  • 知道线路不等于知道健康。 归属只能告诉你请求去了哪里,仍要看最终完成情况。
  • 总体平均不等于你的成功率。 例如总体 99.9% 与某个组、某段时间 5% 的错误率可以同时存在;这里只是举例,不是 XCoffee 的实测数字。
  • 有切换标记不等于切换有效。 标记仍需要可控故障和实际尝试记录来佐证。
  • 备用意味着数据可能被发送到另一条处理路径。 这是采用策略前应了解的数据处理约束。
  • 没有历史就不能补画历史曲线。 无观测、低样本和进程重启后的统计起点,都应如实标注。

检查状态页时,先看它测什么,再看自己的请求如何结束。一个有明确口径、样本量和边界的统计,比没有解释的绿标更有帮助。

XCoffee 提供按任务分组的模型 API。本文解释的是评估方法,不表示本站已经公开示例中的上游响应头或逐供应商状态仪表板。

相关阅读:怎样验证容灾是否生效、超时排查顺序、重试、回退与故障切换。