XCoffee
返回博客

重试、回退与故障切换有什么区别?它们如何影响费用

2026年11月12日XCoffee Team

分清 Retry、Fallback 和 Failover 对模型、服务线路、费用与输出的影响,理解多层重试、重复计费风险和不同 Agent 任务的取舍。

重试、回退、故障切换,经常被合在一句“自动处理错误”里。但它们改变的东西不同,带来的费用、兼容性和结果也不同。

本文先约定术语。不同产品可能使用不同命名,接入时仍要核对实际行为。

先看这张表

机制 模型是否相同 服务商是否相同 费用影响 输出影响
重试 Retry 相同 相同 可能增加工作量或费用,要看失败发生在什么阶段 即使模型不变,结果也可能变化
模型回退 Fallback 不同 不一定 换了模型,价格和累计成本都可能变化 能力、格式和工具行为可能变化
故障切换 Failover 保持目标模型 不同 服务价格可能不同,失败尝试也可能产生开销 仍要核对模型版本和服务设置

关键不是功能叫什么,而是你愿意改变什么:等待时间、服务线路,还是模型本身。

重试:再向同一个地方请求一次

重试通常会在等待一段时间后,把请求发回同一处。部分 SDK 会自动重试某些临时错误,但应核对具体版本的次数、退避、截止时间和 Retry-After 处理;不存在通用的“两秒后就放弃”。

失败尝试也可能已经完成了计费工作。因此,后来成功一次,不代表整次操作必然只收费一次。

常见问题

  • 持续性配额不足。 同一个账号或 Key 已经达到上限,短时间内重复请求不会重置额度。分钟限额和每日额度,也需要不同的等待或处理方式。
  • 没有正确遵守 Retry-After。 如果服务端要求等 20 秒,你的循环每秒再试一次,只会制造更多失败。并不是所有 SDK 都忽略这个头,要检查实际实现。
  • 多层重试相乘。 如果应用允许总共 3 次尝试,SDK 对每次调用又允许总共 3 次尝试,一次用户操作最多可能变成 9 次上游尝试。这里“总共”包括第一次请求,不能混淆“重试两次”和“总共两次”。

重试适合符合策略的临时故障,但必须先确认能否安全重放。网络错误、5xx 或流中断,都可能发生在服务端已经开始处理之后。不要把生成请求默认视为幂等,也不要透明重放已经输出一部分的内容。

故障切换:保持目标模型,换服务线路

按照本文的区分,故障切换是把同一个目标模型的请求,从服务商 A 转到服务商 B。触发条件应由错误类型、处理阶段和重试预算共同决定。

模型标识相同,也仍需确认版本、量化或服务设置、工具支持和上下文限制。不要仅凭相同名称保证输出行为完全一致。

常见问题

  • 只有一条上游。 没有备用候选,就无法真正换线路,只能再次请求或返回错误。
  • 把冷却当成当前请求的容灾。 让后续请求避开 A,不等于当前请求已经由 B 完成。还要问清楚同一请求内如何继续,以及所有候选冷却时如何处理。
  • 从最终错误猜过程。 错误体出现供应商名称,并不能证明没有切换;也可能是多条候选都失败了。需要同一请求的尝试记录。

模型选择本身很重要时,应优先使用已经验证兼容的备用线路,而不是只看“成功率提高”这个结果。

模型回退:改用另一个模型

回退改变了模型。它可以让任务继续,但也会改变你依赖的能力和行为。目标模型可能更便宜,也可能更贵;不要从“fallback”这个名字推断价格方向。

常见问题

  • HTTP 成功不等于任务成功。 JSON Schema、工具调用格式、拒绝风格和上下文能力可能不同。返回 200 的备用模型,仍可能不满足任务要求。
  • 总成本不一定下降。 第一条尝试可能已有用量,再加上后续尝试,累计开销可能高于一次干净调用。应看实际 usage 和计费规则。
  • 把长期容量不足藏起来。 如果大量请求都靠回退完成,就需要重新评估主用容量,以及回退路径是否经过足够测试,而不是只看最终错误率。

结果允许一定变化的摘要、分类和初稿任务,可以考虑经过验证的模型回退。对于依赖特定模型工具行为的 Agent,则要更谨慎。

不同任务怎样选择

任务 更合适的考虑顺序
交互聊天、代码 Agent 先按策略处理临时错误,再用兼容备用;避免未经验证的模型切换
批量补全、摘要 先考虑可用线路;只有结果要求允许时才使用模型回退
严格结构化输出 使用已测试兼容的候选,并验证输出;不能把“换过去返回 200”当作验收
预算紧、非关键任务 可以设置低成本回退,但持续观察使用比例和累计开销

这不是一个通用固定顺序。最终仍要结合错误是否可重放、总截止时间、结果要求和数据处理约束。

容易忽略的配置取舍

固定只用一家服务商,同时关闭其他候选,会移除故障切换路径。它可能是有意的成本、延迟或合规选择,但也意味着这家服务商限流时,没有自动绕行的地方。

如果只是“优先使用 A”,可以考虑保留兼容的备用顺序;如果必须只用 A,就应明确接受相应的可用性限制。

重试可能增加时间和费用;故障切换可能增加时延,并改变同模型的服务价格;模型回退则还会改变能力和输出行为。这些变化不一定都体现在一张账单上。

XCoffee 按任务提供 Fast、Coding 等模型组。组内会按配置选路,在生成前遇到符合条件的拒绝时尝试备用。因为组内成员可能是不同模型,不能把“组内备用”理解成一定保持同一个成员模型。

相关阅读:怎样验证容灾是否生效、超时而不触发容灾的排查顺序、状态页与真实请求结果。