重试、回退与故障切换有什么区别?它们如何影响费用
分清 Retry、Fallback 和 Failover 对模型、服务线路、费用与输出的影响,理解多层重试、重复计费风险和不同 Agent 任务的取舍。
重试、回退、故障切换,经常被合在一句“自动处理错误”里。但它们改变的东西不同,带来的费用、兼容性和结果也不同。
本文先约定术语。不同产品可能使用不同命名,接入时仍要核对实际行为。
先看这张表
| 机制 | 模型是否相同 | 服务商是否相同 | 费用影响 | 输出影响 |
|---|---|---|---|---|
| 重试 Retry | 相同 | 相同 | 可能增加工作量或费用,要看失败发生在什么阶段 | 即使模型不变,结果也可能变化 |
| 模型回退 Fallback | 不同 | 不一定 | 换了模型,价格和累计成本都可能变化 | 能力、格式和工具行为可能变化 |
| 故障切换 Failover | 保持目标模型 | 不同 | 服务价格可能不同,失败尝试也可能产生开销 | 仍要核对模型版本和服务设置 |
关键不是功能叫什么,而是你愿意改变什么:等待时间、服务线路,还是模型本身。
重试:再向同一个地方请求一次
重试通常会在等待一段时间后,把请求发回同一处。部分 SDK 会自动重试某些临时错误,但应核对具体版本的次数、退避、截止时间和 Retry-After 处理;不存在通用的“两秒后就放弃”。
失败尝试也可能已经完成了计费工作。因此,后来成功一次,不代表整次操作必然只收费一次。
常见问题
- 持续性配额不足。 同一个账号或 Key 已经达到上限,短时间内重复请求不会重置额度。分钟限额和每日额度,也需要不同的等待或处理方式。
- 没有正确遵守
Retry-After。 如果服务端要求等 20 秒,你的循环每秒再试一次,只会制造更多失败。并不是所有 SDK 都忽略这个头,要检查实际实现。 - 多层重试相乘。 如果应用允许总共 3 次尝试,SDK 对每次调用又允许总共 3 次尝试,一次用户操作最多可能变成 9 次上游尝试。这里“总共”包括第一次请求,不能混淆“重试两次”和“总共两次”。
重试适合符合策略的临时故障,但必须先确认能否安全重放。网络错误、5xx 或流中断,都可能发生在服务端已经开始处理之后。不要把生成请求默认视为幂等,也不要透明重放已经输出一部分的内容。
故障切换:保持目标模型,换服务线路
按照本文的区分,故障切换是把同一个目标模型的请求,从服务商 A 转到服务商 B。触发条件应由错误类型、处理阶段和重试预算共同决定。
模型标识相同,也仍需确认版本、量化或服务设置、工具支持和上下文限制。不要仅凭相同名称保证输出行为完全一致。
常见问题
- 只有一条上游。 没有备用候选,就无法真正换线路,只能再次请求或返回错误。
- 把冷却当成当前请求的容灾。 让后续请求避开 A,不等于当前请求已经由 B 完成。还要问清楚同一请求内如何继续,以及所有候选冷却时如何处理。
- 从最终错误猜过程。 错误体出现供应商名称,并不能证明没有切换;也可能是多条候选都失败了。需要同一请求的尝试记录。
模型选择本身很重要时,应优先使用已经验证兼容的备用线路,而不是只看“成功率提高”这个结果。
模型回退:改用另一个模型
回退改变了模型。它可以让任务继续,但也会改变你依赖的能力和行为。目标模型可能更便宜,也可能更贵;不要从“fallback”这个名字推断价格方向。
常见问题
- HTTP 成功不等于任务成功。 JSON Schema、工具调用格式、拒绝风格和上下文能力可能不同。返回 200 的备用模型,仍可能不满足任务要求。
- 总成本不一定下降。 第一条尝试可能已有用量,再加上后续尝试,累计开销可能高于一次干净调用。应看实际 usage 和计费规则。
- 把长期容量不足藏起来。 如果大量请求都靠回退完成,就需要重新评估主用容量,以及回退路径是否经过足够测试,而不是只看最终错误率。
结果允许一定变化的摘要、分类和初稿任务,可以考虑经过验证的模型回退。对于依赖特定模型工具行为的 Agent,则要更谨慎。
不同任务怎样选择
| 任务 | 更合适的考虑顺序 |
|---|---|
| 交互聊天、代码 Agent | 先按策略处理临时错误,再用兼容备用;避免未经验证的模型切换 |
| 批量补全、摘要 | 先考虑可用线路;只有结果要求允许时才使用模型回退 |
| 严格结构化输出 | 使用已测试兼容的候选,并验证输出;不能把“换过去返回 200”当作验收 |
| 预算紧、非关键任务 | 可以设置低成本回退,但持续观察使用比例和累计开销 |
这不是一个通用固定顺序。最终仍要结合错误是否可重放、总截止时间、结果要求和数据处理约束。
容易忽略的配置取舍
固定只用一家服务商,同时关闭其他候选,会移除故障切换路径。它可能是有意的成本、延迟或合规选择,但也意味着这家服务商限流时,没有自动绕行的地方。
如果只是“优先使用 A”,可以考虑保留兼容的备用顺序;如果必须只用 A,就应明确接受相应的可用性限制。
重试可能增加时间和费用;故障切换可能增加时延,并改变同模型的服务价格;模型回退则还会改变能力和输出行为。这些变化不一定都体现在一张账单上。
XCoffee 按任务提供 Fast、Coding 等模型组。组内会按配置选路,在生成前遇到符合条件的拒绝时尝试备用。因为组内成员可能是不同模型,不能把“组内备用”理解成一定保持同一个成员模型。