OpenAI 解释 ChatGPT 等服务故障原因：K8s 循环依赖导致

OpenAI 解释 ChatGPT 等服务故障原因：K8s 循环依赖导致

12 月 12 日，OpenAI更新服务状态页面，在其中补充了对前一天 ChatGPT、Sora 及 API 服务宕机四个多小时事故的回顾。

OpenAI 表示，此次事件并非安全漏洞或新产品发布导致，而是源于一项内部系统升级。

OpenAI 工程师在 11 日下午部署了一项新的遥测服务，但由于配置失误，导致每个节点同时执行大量 Kubernetes API 操作，最终因服务器不堪重负、控制平面瘫痪。这进而引发 DNS 解析故障，导致服务间无法互相通信。

在此过程中，尽管 OpenAI 的监控系统在问题初期发出警报，但 DNS 缓存机制延迟了问题的暴露，使得故障在更大范围内蔓延。由于 Kubernetes 控制平面陷入死锁，工程师们经历了缩小集群规模、限制对 API 的访问、以及扩容服务器等多个步骤，才最终恢复了部分控制并移除了故障服务。

OpenAI 承认，此次事件暴露了测试和部署流程上的不足，例如只测试了小型预发布环境，没有评估对大型集群的潜在影响。相应地，OpenAI 承诺将采取一系列改进措施，包括实施更完善的阶段性发布流程、建立紧急 Kubernetes 控制平面访问机制、将 Kubernetes 数据平面和控制平面解耦等。

影响

在太平洋时间 2024 年 12 月 11 日下午 3:16 至晚上 7:38 之间，所有 OpenAI 服务均出现了严重降级或完全不可用。

这起事故源于我们在所有集群中推出的新遥测服务配置，并非由安全漏洞或近期产品发布所致。

从下午 3:16 开始，各产品性能均出现大幅下降。

• ChatGPT： 在下午 5:45 左右开始大幅恢复，并于晚上 7:01 完全恢复。
• API： 在下午 5:36 左右开始大幅恢复，于晚上 7:38 所有模型全部恢复正常。
• Sora： 于晚上 7:01 完全恢复。

时间线

• 2024 年 12 月 10 日： 新的遥测服务部署到预发布集群，经测试无异常。
• 2024 年 12 月 11 日 下午 2:23： 引入该服务的代码合并到主分支，并触发部署流水线。
• 下午 2:51 至 3:20： 变更逐步应用到所有集群。
• 下午 3:13： 告警触发，通知到工程师。
• 下午 3:16： 少量客户开始受到影响。
• 下午 3:16： 根因被确认。
• 下午 3:27： 工程师开始把流量从受影响的集群迁移。
• 下午 3:40： 客户影响达到最高峰。
• 下午 4:36： 首个集群恢复。
• 晚上 7:38： 所有集群恢复。