微軟17生產(chǎn)庫誤刪

　　微軟 Azure DevOps 是一套應(yīng)用程序生命周期服務(wù)，提供了從代碼管理到持續(xù)集成、持續(xù)交付、測試、監(jiān)控等一系列功能。然而，就在 5 月 24 日，這個(gè)服務(wù)在巴西南部區(qū)域發(fā)生了長達(dá) 10 小時(shí)的宕機(jī)，影響了數(shù)千名客戶。事后調(diào)查發(fā)現(xiàn)，竟然是因?yàn)橐粋€(gè)簡單的拼寫錯(cuò)誤，導(dǎo)致了 17 個(gè)生產(chǎn)數(shù)據(jù)庫被誤刪。

　　這個(gè)拼寫錯(cuò)誤出現(xiàn)在一個(gè)用于清理數(shù)據(jù)庫快照的后臺(tái)作業(yè)中。原本，這個(gè)作業(yè)是為了幫助 Azure DevOps 工程師偶爾保存生產(chǎn)數(shù)據(jù)庫的快照，以便調(diào)查問題或測試性能改進(jìn)。但是，在最近的一次代碼升級(jí)中，工程師用一個(gè)新的 NuGet 包替換了一個(gè)已經(jīng)棄用的包，導(dǎo)致了一個(gè)巨大的變更請(qǐng)求。在這個(gè)請(qǐng)求中，有一行代碼將刪除 Azure SQL 數(shù)據(jù)庫的調(diào)用換成了刪除托管數(shù)據(jù)庫的 Azure SQL Server 的調(diào)用。也就是說，本來只想刪除一些舊的快照數(shù)據(jù)庫，結(jié)果卻把整個(gè)服務(wù)器都刪掉了。

　　這個(gè)錯(cuò)誤并沒有被及時(shí)發(fā)現(xiàn)，因?yàn)樗辉谔囟l件下才會(huì)觸發(fā)，而 Azure DevOps 的測試并沒有覆蓋這些極端情況。當(dāng)這個(gè)錯(cuò)誤代碼被部署到巴西南部區(qū)域的客戶環(huán)境時(shí)，就引發(fā)了災(zāi)難性的后果。17 個(gè)生產(chǎn)數(shù)據(jù)庫被刪除后，整個(gè)區(qū)域的服務(wù)無法處理。

　　雖然數(shù)據(jù)沒有丟失，但恢復(fù)過程卻非常復(fù)雜和耗時(shí)。首先，由于客戶無法自行恢復(fù) Azure SQL Server，必須由 Azure SQL 團(tuán)隊(duì)參與恢復(fù)工作。其次，由于數(shù)據(jù)庫有不同的備份配置，導(dǎo)致恢復(fù)數(shù)據(jù)時(shí)出現(xiàn)了不匹配的問題。最后，在數(shù)據(jù)庫開始恢復(fù)上線之后，還出現(xiàn)了一系列網(wǎng)絡(luò)服務(wù)器和負(fù)載均衡器的問題，導(dǎo)致服務(wù)無法正常訪問。

　　微軟已經(jīng)對(duì)此次事件進(jìn)行了深入分析，并采取了各種措施來防止類似問題再次發(fā)生。包括修復(fù)快照刪除作業(yè)中的 bug，增加更多的測試覆蓋范圍，為關(guān)鍵資源添加鎖定機(jī)制，確保所有數(shù)據(jù)庫備份使用相同的設(shè)置等等。微軟也向所有受此次中斷影響的客戶表示了歉意，并承諾會(huì)持續(xù)改進(jìn)服務(wù)質(zhì)量和可靠性。

　　這起事件給我們提供了一個(gè)教訓(xùn)：即使是一個(gè)看似微不足道的拼寫錯(cuò)誤，也可能造成嚴(yán)重的后果。因此，在編寫、審查和部署代碼時(shí)，我們要格外小心和仔細(xì)，并且要有充分的測試和備份機(jī)制來應(yīng)對(duì)可能出現(xiàn)的問題。

　　唯品會(huì)宕機(jī)事故定責(zé)

　　6月5日，唯品會(huì)發(fā)布關(guān)于329機(jī)房宕機(jī)故障處理公告。公告稱，將329機(jī)房宕機(jī)故常判定為P0級(jí)故障，公司決定對(duì)此次事件嚴(yán)肅處理，對(duì)應(yīng)部門的直接管理者承擔(dān)此次事故責(zé)任，基礎(chǔ)平臺(tái)部負(fù)責(zé)人予以免職做相應(yīng)處理。

　　之前我們第一時(shí)間報(bào)道了微信和唯品會(huì)同日生產(chǎn)事故

　　據(jù)了解，這是在3月29日發(fā)生的突發(fā)事件，唯品會(huì)App崩了當(dāng)天沖上熱搜，當(dāng)時(shí)唯品會(huì)官方回應(yīng)稱：因系統(tǒng)短時(shí)故障，主站“加購”等功能或出現(xiàn)異常。而根據(jù)這篇公告信息顯示，此次機(jī)房重大故障影響時(shí)間持續(xù)12個(gè)小時(shí)，導(dǎo)致公司業(yè)績損失超億元，影響客戶達(dá)800多萬。

　　知名技術(shù)社區(qū)qidao123.com專家表示：P0屬于最高級(jí)別事故，比如崩潰、頁面無法訪問、主流程不通、主功能未實(shí)現(xiàn)，或在影響面上影響很大(即使Bug本身不嚴(yán)重)。

　　值得注意的是，此次機(jī)房事故影響的不僅唯品會(huì)一家，微信、QQ等騰訊旗下社交軟件出現(xiàn)功能異常，包括微信語音對(duì)話、朋友圈、微信支付，以及QQ文件傳輸、QQ空間和QQ郵箱在內(nèi)的多個(gè)功能無法使用。事后騰訊也定義為一級(jí)事故，對(duì)大量相關(guān)領(lǐng)導(dǎo)做出了處罰。

　　運(yùn)維無小事

　　你什么想對(duì)我們說的呢？

　　企業(yè)服務(wù)IT圈：聚焦全球ToB領(lǐng)域：甲方. 廠商. 集成商. 服務(wù)商. 渠道. ISV等生態(tài)，分享業(yè)內(nèi)干貨，打造中國第一企業(yè)服務(wù)技術(shù)內(nèi)容社區(qū)和社交平臺(tái)。我們根據(jù)粉絲真實(shí)崗位情況，分別設(shè)置：創(chuàng)業(yè)高管微信群/運(yùn)維技術(shù)專家群/架構(gòu)師之家/DevOps技術(shù)專家匯/ToB企業(yè)銷售互助會(huì)/ToB廠商市場人俱樂部，并為大家提供技術(shù)咨詢,營銷策劃.招聘及工作推薦等服務(wù)。請(qǐng)大家掃碼或者添加微信：tian1tiant,(備注個(gè)人真實(shí)職業(yè)身份信息邀請(qǐng)不同崗位微信群）。公眾號(hào)官方網(wǎng)站：qidao123.com，了解更多，ToB企業(yè)服務(wù)之家,社交平臺(tái),限時(shí)注冊(cè)體驗(yàn)更多服務(wù)！