微软全球服务宕机近24小时复盘:漏洞4个月前就埋下,三重因素引发连锁瘫痪
一项潜伏数月的软件漏洞,最终引发微软全球范围的服务中断。 11月16日,微软负责Copilot、智能体及平台业务的执行副总裁Charles Lamanna在X(原推特)平台上总结道,软件漏洞、负载增加和服务器容量损失,三个问题同时发生,最终让微软陷入了一场持续近两天的故障处置。公司向客户致歉,并正在采取措施防止类似事件再次发生。 微软全球服务宕机近24小时(视频报道截图) 11月15日,针对上周全球范围服务中断的原因,微软公布了初步事后调查报告。报告显示,一个早在今年7月就已引入、但始终未被发现的软件漏洞,在微软调整Teams流量路由且部分服务器容量不足的情况下被触发。此后,自动化流量转移机制又将故障扩散至更多服务器,形成连锁反应。 故障最严重时,微软相关网络网关服务器中超过80%无法响应。此次事故导致Outlook、Exchange Online、Teams、Copilot等多项服务受到影响,持续时间接近24小时。 16日当天,微软(Nasdaq:MSFT)股价跌1.12%收于每股517.99美元,总市值3.85万亿美元。 常规流程引爆潜伏漏洞,最严重时超80%服务器无法响应 今年7月,微软为Microsoft 365网络网关服务器准备并部署了一项修复程序,而这项更新实际上引入了新的软件缺陷。 该缺陷在特定负载条件下会导致服务器内部进程出现锁竞争(lock contention,指多个线程试图同时访问同一个临界区并产生竞争),耗尽机器的CPU和内存资源,最终陷入无响应状态。 值得注意的是,在随后数月中,这项更新逐步部署至全球网络,并没有引发明显异常。微软解释道,常规负载测试未能发现这一问题,原因在于实验室测试环境与真实生产环境存在差异。 直到11月11日,当微软按照常规流程调整用户流量路由时,系统出现故障。微软表示,Microsoft 365内部部署了两套相互独立、架构有所差异的网络网关系统,当其中一套系统发生故障或需要维护时,部分服务可以切换至另一套系统。 11日当天,作为正常运行流程的一项操作,Teams的流量从备用网络网关切换到了主网络网关,后者同时负责支持Exchange Online。流量切换增加了主网络网关的负载,改变了流量分布模式,使服务器更容易触发此前潜伏的软件漏洞。 在同一时期,由于前一天发生的一项无关问题,微软网络网关系统近14%的服务器容量处于不可用状态。 微软强调,单独来看,14%的容量损失并不足以导致服务中断,网络系统原本仍有足够的冗余容量应对。但在Teams流量集中切换、服务器负载增加的情况下,剩余服务器面临的压力明显上升。 随着问题的叠加,最终,7月更新中留下的软件缺陷遭到触发。大量请求开始积压,服务器逐渐失去响应。 更严重的是,微软原本用于保障服务连续性的自动化流量管理机制,反过来加剧了故障。 按照常规设计,当部分服务器失去连接时,系统会自动将用户请求转移至其他健康服务器。但在此次事故中,其他服务器同样面临着相同的软件漏洞和负载条件。流量转移使更多请求集中到剩余服务器,进一步增加了它们发生故障的概率。 由此,故障开始在服务器之间不断蔓延,形成连锁反应。微软表示,不到2个小时,这个此前未知的漏洞便在整个相关服务器集群中被触发。在故障最严重时,超过80%的服务器无法响应请求。 从确认到解决,全球故障持续近24小时 美东时间11月12日上午11时20分,随着美国企业用户的业务流量达到高峰,微软终于意识到问题的严重性。 微软最初尝试通过重启故障服务器、将流量转移至其他基础设施等方式恢复服务,但很快发现,服务器即使重新启动,也会立即受到大量积压请求的冲击,再次陷入无响应状态。同时,原有的自动化恢复机制并非针对如此大范围的服务器失去响应而设计,难以处理局面。 直到11月13日凌晨,微软终于找到了有效的缓解方案,开发了一项更新,将相关代码恢复至此前已知的正常状态。 根据微软的报告,11月13日上午,亚太地区的恢复工作陆续完成,欧洲地区随后恢复至正常水平。全球网页版邮件服务于当天下午恢复至预期水平,延迟邮件的积压量也开始下降。 微软于美东时间11月13日上午11时10分确认,客户已不再受到此次事故的直接影响。从正式确认故障到结束用户影响,整个过程持续了23小时50分钟。 微软表示,已经采取多项措施应对后续风险,包括增加服务器容量、加强对流量重定向和连接处理健康状况的监控,以及为流量分配设置额外限制,避免类似的连锁故障再次发生。 Lamanna指出,微软的测试通常侧重于配置较旧、性能较弱的系统,以评估更新是否会拖垮整体架构中的薄弱环节。而此次导致服务器宕机的漏洞,在处理能力更强的新型硬件上反而表现出更大的破坏力,这也正是测试所忽视的场景。 本次宕机事件一度波及全球。根据故障监测网站Downdetector的数据
推荐阅读