在10月22日（上周一），Amazon云服務(wù)AWS東部地區(qū)又出宕機(jī)問(wèn)題，對(duì)Reddit， Airbnb， Flipboard， GetGlue， Coursera等多家知名網(wǎng)站造成了影響，不過(guò)在受到影響區(qū)域以外的EC2和EBS都顯示正常，客戶還可以進(jìn)行遷移。此次事件的陰霾還未散盡，在10月26日（上周五），Google App Engine宕機(jī)，10月30日，蘋果iCloud也出現(xiàn)了一點(diǎn)點(diǎn)小麻煩。作為云計(jì)算行業(yè)的領(lǐng)軍人物，三巨頭最近的日子都不是太順。不過(guò)這也側(cè)面反映了云計(jì)算對(duì)我們生活、工作的影響力越來(lái)越大。
亞馬遜宕機(jī)事件
盡管2011年亞馬遜AWS也出現(xiàn)了一些問(wèn)題，但遠(yuǎn)遠(yuǎn)沒(méi)有2012年這么頻繁。從之前6月份由于電力系統(tǒng)的故障，進(jìn)而影響了AWS的客戶之后，在7月份因?yàn)槔讚粼俅卧斐蓴?shù)據(jù)中心宕機(jī)，又影響了一批客戶的正常使用，此次事件發(fā)生之后，AWS官方網(wǎng)站對(duì)本次宕機(jī)事件做出了解釋，而且告訴用戶AWS正在做的工作，以防止未來(lái)再次發(fā)生類似的問(wèn)題。
周一 10:00 AM PDT：美國(guó)東部地區(qū)的亞馬遜彈性塊存儲(chǔ)（EBS）的性能發(fā)生下降，在某些情況下，無(wú)法進(jìn)一步處理I / O請(qǐng)求。問(wèn)題的根源是運(yùn)行在EBS存儲(chǔ)服務(wù)器上的數(shù)據(jù)收集代理有一個(gè)潛在的Bug。每一個(gè)EBS存儲(chǔ)服務(wù)器的代理都關(guān)聯(lián)著一組數(shù)據(jù)收集服務(wù)器和用來(lái)維護(hù)的報(bào)告信息。該數(shù)據(jù)收集系統(tǒng)的數(shù)據(jù)是非常重要的，但是對(duì)時(shí)間卻不敏感，因?yàn)樵撓到y(tǒng)的設(shè)計(jì)僅僅容忍延遲或者丟失的數(shù)據(jù)。
上周，該地區(qū)的一個(gè)數(shù)據(jù)收集服務(wù)器因?yàn)橛布收媳粨Q下。不過(guò)替換該服務(wù)器部分的一個(gè)DNS記錄已更新，刪除了故障服務(wù)器并且添加來(lái)了替換服務(wù)器。不過(guò)在那個(gè)時(shí)候沒(méi)有注意到，DNS更新沒(méi)有成功地傳播到所有的內(nèi)部DNS服務(wù)器之上，結(jié)果，存儲(chǔ)服務(wù)器的一小部分并得到?jīng)]有更新的服務(wù)器地址，而且繼續(xù)嘗試聯(lián)系原來(lái)的數(shù)據(jù)收集服務(wù)器。但是由于設(shè)計(jì)的數(shù)據(jù)收集服務(wù)容忍丟失數(shù)據(jù)，顯然這并不會(huì)造成任何直接的問(wèn)題而且沒(méi)有發(fā)出何報(bào)警。然而，因?yàn)闊o(wú)法聯(lián)系到的數(shù)據(jù)收集服務(wù)器，存儲(chǔ)服務(wù)器上的報(bào)告代理引發(fā)了潛在的內(nèi)存泄漏錯(cuò)誤：報(bào)告代理并沒(méi)有處理連接失敗的問(wèn)題，而是繼續(xù)以嘗試聯(lián)系數(shù)據(jù)收集服務(wù)器的方式，慢慢地消耗系統(tǒng)內(nèi)存。
盡管AWS監(jiān)控著每個(gè)EBS服務(wù)器的總內(nèi)存消耗，但是監(jiān)控系統(tǒng)沒(méi)有對(duì)此內(nèi)存的泄漏進(jìn)行報(bào)警。而且EBS服務(wù)器動(dòng)態(tài)地使用所有的可用內(nèi)存用于管理客戶數(shù)據(jù)，因此很難對(duì)內(nèi)存的使用和釋放內(nèi)存進(jìn)行準(zhǔn)確的警報(bào)設(shè)置。星期一早上，內(nèi)存消耗的速度已經(jīng)非常高了，直接影響到存儲(chǔ)服務(wù)器，它們無(wú)法跟上正常的請(qǐng)求處理。
到目前為止，亞馬遜已經(jīng)部署了監(jiān)測(cè)預(yù)警系統(tǒng)，對(duì)內(nèi)存泄漏問(wèn)題進(jìn)行重點(diǎn)關(guān)注。與此同時(shí)，也修正了EBS存儲(chǔ)服務(wù)器上的系統(tǒng)內(nèi)存監(jiān)控，從而保證對(duì)每個(gè)進(jìn)程的內(nèi)存消耗進(jìn)行監(jiān)控和預(yù)警，AWS還將部署資源限制，以防止低優(yōu)先級(jí)的進(jìn)程消耗過(guò)多的主機(jī)資源。很關(guān)鍵的部分，AWS更新了內(nèi)部的DNS配置，以進(jìn)一步確保DNS的信息更改被可靠的傳播，最重要的是，確保AWS的監(jiān)管的完善性，這些行動(dòng)完全解決了引發(fā)這次事件的問(wèn)題。此外，AWS正在評(píng)估在事件的迅速惡化之前，如何更改EBS故障轉(zhuǎn)移邏輯。亞馬遜相信，他們有能力作出調(diào)整，從而減少任何類似的相關(guān)EBS服務(wù)器故障或退化的影響。
亞馬遜在最后表達(dá)了深深的歉意：“給您帶來(lái)不便以及造成的影響，我們深表歉意。我們知道AWS服務(wù)對(duì)客戶業(yè)務(wù)來(lái)說(shuō)是多么的重要，我們將會(huì)更加努力的工作，從本次事件中認(rèn)真吸取教訓(xùn)，我們看到先前的改變也減輕了本次事件一些影響，而且我們也了解了新的故障模式，在未來(lái)的日子里，我們會(huì)花很多時(shí)間改善我們的服務(wù)。”
在亞馬遜宕機(jī)事件發(fā)生后，一位國(guó)外網(wǎng)友打趣說(shuō)：亞馬遜又宕機(jī)了呀，為什么亞馬遜不把Amazon.com放在自己的云服務(wù)器上呢？另一位專業(yè)網(wǎng)友則在網(wǎng)上留言指責(zé)亞馬遜無(wú)法提供風(fēng)險(xiǎn)預(yù)警服務(wù)，導(dǎo)致大量網(wǎng)站屢次在毫無(wú)征兆的情況下經(jīng)歷長(zhǎng)時(shí)間的宕機(jī)，給網(wǎng)站造成重大損失。
為什么亞馬遜頻頻出現(xiàn)這么多問(wèn)題，我們依然還會(huì)選擇它？因?yàn)槲覀冎�，AWS目前是最好的云服務(wù)，對(duì)于大多數(shù)用戶來(lái)說(shuō)，無(wú)論他們?cè)馐艿搅硕嗝磭?yán)重的影響，他們還是會(huì)選擇亞馬遜，因?yàn)閬嗰R遜幫助他們用較少的成本和精力運(yùn)營(yíng)著一個(gè)強(qiáng)大的基礎(chǔ)架構(gòu)。許多人在批評(píng)亞馬遜之前都會(huì)首先感謝亞馬遜幫助他們做到的事情。因?yàn)榈侥壳盀橹梗�沒(méi)有一家公司能夠取代亞馬遜！我們也很欣喜地看到OpenStack的蓬勃發(fā)展，但是在商用平臺(tái)始終還是一大軟肋，目前絕對(duì)不是亞馬遜的對(duì)手。 上一頁(yè)1 23 下一頁(yè)
推薦閱讀
光棍節(jié)電商促銷數(shù)據(jù)背后凸顯同質(zhì)化難題
光棍節(jié)促銷期間，天貓商城以當(dāng)日銷售132億元的成績(jī)（未包括淘寶數(shù)據(jù)），位居各類電商企業(yè)首位。 11月12日，天貓商城、蘇寧易購(gòu)、國(guó)美網(wǎng)上商城等電商企業(yè)公布光棍節(jié)促銷數(shù)據(jù)。這組堪稱亮麗的數(shù)據(jù)顯示，光棍節(jié)促銷期間>>>詳細(xì)閱讀
本文標(biāo)題：盤點(diǎn)亞馬遜、谷歌、蘋果云端宕機(jī)背后故事
地址：http://m.sdlzkt.com/a/guandian/yejie/20121229/110681.html
網(wǎng)友點(diǎn)評(píng)
精彩導(dǎo)讀
科技快報(bào)
品牌展示