10月30日，AWS官方發(fā)文，完整復(fù)盤(pán)了上周的大規(guī)模宕機(jī)事件。

首先點(diǎn)個(gè)贊，這從報(bào)告從工程細(xì)節(jié)、故障鏈條到后續(xù)改進(jìn)措施，內(nèi)容非常完整、詳實(shí)、透明，技術(shù)披露深度罕見(jiàn)，可以看出公有云老大哥的誠(chéng)意。

簡(jiǎn)要總結(jié)下↓

一、宕機(jī)時(shí)間線

10月19日23點(diǎn)38分發(fā)生故障

10月20日14點(diǎn)20分全面恢復(fù)

總時(shí)長(zhǎng)約14個(gè)小時(shí)。

二、宕機(jī)原因分析

DynamoDB DNS管理系統(tǒng)觸發(fā)競(jìng)態(tài)條件。

簡(jiǎn)單講就是負(fù)責(zé)更新DNS的兩個(gè)執(zhí)行器掐起來(lái)了，最終導(dǎo)致DNS記錄被清空，DynamoDB主終端節(jié)點(diǎn)無(wú)法解析，所有依賴(lài)DNS的服務(wù)都被影響。

（關(guān)于“DNS競(jìng)態(tài)”可以看上面的圖片解讀）

接下來(lái)帶來(lái)連鎖反應(yīng)↓

DynamoDB掛了，EC2依賴(lài)DynamoDB存儲(chǔ)droplet狀態(tài)租約，EC2也掛了。

Lambda、ECS/EKS等上層服務(wù)依賴(lài)EC2，也跟著掛…

最終導(dǎo)致AWS內(nèi)部141個(gè)服務(wù)收到影響。

誰(shuí)能想到，兩個(gè)底層牛馬（DNS執(zhí)行器）互掐，最終搞癱了全球半個(gè)互聯(lián)網(wǎng)。

三、改進(jìn)措施

對(duì)于此次故障的“罪魁禍?zhǔn)住盌ynamoDB DNS系統(tǒng)，AWS出重拳整治。暫停全球自動(dòng)化更新功能，修復(fù)競(jìng)態(tài)條件，增加保護(hù)機(jī)制防止舊規(guī)劃覆蓋新規(guī)劃。

同時(shí)，改進(jìn)NLB健康檢查機(jī)制，優(yōu)化EC2控制平面組件（DWFM）并增加壓測(cè)手段。

當(dāng)然還包括建立對(duì)這種「故障連鎖反應(yīng)」的預(yù)演機(jī)制，縮短恢復(fù)時(shí)間，防患于未然，畢竟這種級(jí)聯(lián)故障，爆炸面太大了。