盤點(diǎn)亞馬遜、谷歌、蘋果云端宕機(jī)背后故事

作者:IT新聞網(wǎng) 來(lái)源:IT新聞網(wǎng) 2012-12-29 09:52:12 閱讀 我要評(píng)論 直達(dá)商品

在10月22日(上周一),Amazon云服務(wù)AWS東部地區(qū)又出宕機(jī)問(wèn)題,對(duì)Reddit, Airbnb, Flipboard, GetGlue, Coursera等多家知名網(wǎng)站造成了影響,不過(guò)在受到影響區(qū)域以外的EC2和EBS都顯示正常,客戶還可以進(jìn)行遷移..

在10月22日(上周一),Amazon云服務(wù)AWS東部地區(qū)又出宕機(jī)問(wèn)題,對(duì)Reddit, Airbnb, Flipboard, GetGlue, Coursera等多家知名網(wǎng)站造成了影響,不過(guò)在受到影響區(qū)域以外的EC2和EBS都顯示正常,客戶還可以進(jìn)行遷移。此次事件的陰霾還未散盡,在10月26日(上周五),Google App Engine宕機(jī),10月30日,蘋果iCloud也出現(xiàn)了一點(diǎn)點(diǎn)小麻煩。作為云計(jì)算行業(yè)的領(lǐng)軍人物,三巨頭最近的日子都不是太順。不過(guò)這也側(cè)面反映了云計(jì)算對(duì)我們生活、工作的影響力越來(lái)越大。

亞馬遜宕機(jī)事件

盡管2011年亞馬遜AWS也出現(xiàn)了一些問(wèn)題,但遠(yuǎn)遠(yuǎn)沒(méi)有2012年這么頻繁。從之前6月份由于電力系統(tǒng)的故障,進(jìn)而影響了AWS的客戶之后,在7月份因?yàn)槔讚粼俅卧斐蓴?shù)據(jù)中心宕機(jī),又影響了一批客戶的正常使用,此次事件發(fā)生之后,AWS官方網(wǎng)站對(duì)本次宕機(jī)事件做出了解釋,而且告訴用戶AWS正在做的工作,以防止未來(lái)再次發(fā)生類似的問(wèn)題。

周一 10:00 AM PDT:美國(guó)東部地區(qū)的亞馬遜彈性塊存儲(chǔ)(EBS)的性能發(fā)生下降,在某些情況下,無(wú)法進(jìn)一步處理I / O請(qǐng)求。問(wèn)題的根源是運(yùn)行在EBS存儲(chǔ)服務(wù)器上的數(shù)據(jù)收集代理有一個(gè)潛在的Bug。每一個(gè)EBS存儲(chǔ)服務(wù)器的代理都關(guān)聯(lián)著一組數(shù)據(jù)收集服務(wù)器和用來(lái)維護(hù)的報(bào)告信息。該數(shù)據(jù)收集系統(tǒng)的數(shù)據(jù)是非常重要的,但是對(duì)時(shí)間卻不敏感,因?yàn)樵撓到y(tǒng)的設(shè)計(jì)僅僅容忍延遲或者丟失的數(shù)據(jù)。

上周,該地區(qū)的一個(gè)數(shù)據(jù)收集服務(wù)器因?yàn)橛布收媳粨Q下。不過(guò)替換該服務(wù)器部分的一個(gè)DNS記錄已更新,刪除了故障服務(wù)器并且添加來(lái)了替換服務(wù)器。不過(guò)在那個(gè)時(shí)候沒(méi)有注意到,DNS更新沒(méi)有成功地傳播到所有的內(nèi)部DNS服務(wù)器之上,結(jié)果,存儲(chǔ)服務(wù)器的一小部分并得到?jīng)]有更新的服務(wù)器地址,而且繼續(xù)嘗試聯(lián)系原來(lái)的數(shù)據(jù)收集服務(wù)器。但是由于設(shè)計(jì)的數(shù)據(jù)收集服務(wù)容忍丟失數(shù)據(jù),顯然這并不會(huì)造成任何直接的問(wèn)題而且沒(méi)有發(fā)出何報(bào)警。然而,因?yàn)闊o(wú)法聯(lián)系到的數(shù)據(jù)收集服務(wù)器,存儲(chǔ)服務(wù)器上的報(bào)告代理引發(fā)了潛在的內(nèi)存泄漏錯(cuò)誤:報(bào)告代理并沒(méi)有處理連接失敗的問(wèn)題,而是繼續(xù)以嘗試聯(lián)系數(shù)據(jù)收集服務(wù)器的方式,慢慢地消耗系統(tǒng)內(nèi)存。

盡管AWS監(jiān)控著每個(gè)EBS服務(wù)器的總內(nèi)存消耗,但是監(jiān)控系統(tǒng)沒(méi)有對(duì)此內(nèi)存的泄漏進(jìn)行報(bào)警。而且EBS服務(wù)器動(dòng)態(tài)地使用所有的可用內(nèi)存用于管理客戶數(shù)據(jù),因此很難對(duì)內(nèi)存的使用和釋放內(nèi)存進(jìn)行準(zhǔn)確的警報(bào)設(shè)置。星期一早上,內(nèi)存消耗的速度已經(jīng)非常高了,直接影響到存儲(chǔ)服務(wù)器,它們無(wú)法跟上正常的請(qǐng)求處理。

到目前為止,亞馬遜已經(jīng)部署了監(jiān)測(cè)預(yù)警系統(tǒng),對(duì)內(nèi)存泄漏問(wèn)題進(jìn)行重點(diǎn)關(guān)注。與此同時(shí),也修正了EBS存儲(chǔ)服務(wù)器上的系統(tǒng)內(nèi)存監(jiān)控,從而保證對(duì)每個(gè)進(jìn)程的內(nèi)存消耗進(jìn)行監(jiān)控和預(yù)警,AWS還將部署資源限制,以防止低優(yōu)先級(jí)的進(jìn)程消耗過(guò)多的主機(jī)資源。很關(guān)鍵的部分,AWS更新了內(nèi)部的DNS配置,以進(jìn)一步確保DNS的信息更改被可靠的傳播,最重要的是,確保AWS的監(jiān)管的完善性,這些行動(dòng)完全解決了引發(fā)這次事件的問(wèn)題。此外,AWS正在評(píng)估在事件的迅速惡化之前,如何更改EBS故障轉(zhuǎn)移邏輯。亞馬遜相信,他們有能力作出調(diào)整,從而減少任何類似的相關(guān)EBS服務(wù)器故障或退化的影響。

亞馬遜在最后表達(dá)了深深的歉意:“給您帶來(lái)不便以及造成的影響,我們深表歉意。我們知道AWS服務(wù)對(duì)客戶業(yè)務(wù)來(lái)說(shuō)是多么的重要,我們將會(huì)更加努力的工作,從本次事件中認(rèn)真吸取教訓(xùn),我們看到先前的改變也減輕了本次事件一些影響,而且我們也了解了新的故障模式,在未來(lái)的日子里,我們會(huì)花很多時(shí)間改善我們的服務(wù)。”

在亞馬遜宕機(jī)事件發(fā)生后,一位國(guó)外網(wǎng)友打趣說(shuō):亞馬遜又宕機(jī)了呀,為什么亞馬遜不把Amazon.com放在自己的云服務(wù)器上呢?另一位專業(yè)網(wǎng)友則在網(wǎng)上留言指責(zé)亞馬遜無(wú)法提供風(fēng)險(xiǎn)預(yù)警服務(wù),導(dǎo)致大量網(wǎng)站屢次在毫無(wú)征兆的情況下經(jīng)歷長(zhǎng)時(shí)間的宕機(jī),給網(wǎng)站造成重大損失。

為什么亞馬遜頻頻出現(xiàn)這么多問(wèn)題,我們依然還會(huì)選擇它?因?yàn)槲覀冎,AWS目前是最好的云服務(wù),對(duì)于大多數(shù)用戶來(lái)說(shuō),無(wú)論他們?cè)馐艿搅硕嗝磭?yán)重的影響,他們還是會(huì)選擇亞馬遜,因?yàn)閬嗰R遜幫助他們用較少的成本和精力運(yùn)營(yíng)著一個(gè)強(qiáng)大的基礎(chǔ)架構(gòu)。許多人在批評(píng)亞馬遜之前都會(huì)首先感謝亞馬遜幫助他們做到的事情。因?yàn)榈侥壳盀橹梗沒(méi)有一家公司能夠取代亞馬遜!我們也很欣喜地看到OpenStack的蓬勃發(fā)展,但是在商用平臺(tái)始終還是一大軟肋,目前絕對(duì)不是亞馬遜的對(duì)手。 上一頁(yè)1 23 下一頁(yè)


  推薦閱讀

  光棍節(jié)電商促銷數(shù)據(jù)背后凸顯同質(zhì)化難題

光棍節(jié)促銷期間,天貓商城以當(dāng)日銷售132億元的成績(jī)(未包括淘寶數(shù)據(jù)),位居各類電商企業(yè)首位。 11月12日,天貓商城、蘇寧易購(gòu)、國(guó)美網(wǎng)上商城等電商企業(yè)公布光棍節(jié)促銷數(shù)據(jù)。這組堪稱亮麗的數(shù)據(jù)顯示,光棍節(jié)促銷期間>>>詳細(xì)閱讀


本文標(biāo)題:盤點(diǎn)亞馬遜、谷歌、蘋果云端宕機(jī)背后故事

地址:http://m.sdlzkt.com/a/guandian/yejie/20121229/110681.html

樂(lè)購(gòu)科技部分新聞及文章轉(zhuǎn)載自互聯(lián)網(wǎng),供讀者交流和學(xué)習(xí),若有涉及作者版權(quán)等問(wèn)題請(qǐng)及時(shí)與我們聯(lián)系,以便更正、刪除或按規(guī)定辦理。感謝所有提供資訊的網(wǎng)站,歡迎各類媒體與樂(lè)購(gòu)科技進(jìn)行文章共享合作。

網(wǎng)友點(diǎn)評(píng)
我的評(píng)論: 人參與評(píng)論
驗(yàn)證碼: 匿名回答
網(wǎng)友評(píng)論(點(diǎn)擊查看更多條評(píng)論)
友情提示: 登錄后發(fā)表評(píng)論,可以直接從評(píng)論中的用戶名進(jìn)入您的個(gè)人空間,讓更多網(wǎng)友認(rèn)識(shí)您。
自媒體專欄

評(píng)論

熱度

主站蜘蛛池模板: 成人a视频片在线观看免费| 久久久久成人精品无码 | 国产精品香蕉成人网在线观看| 成人做受视频试看60秒| 国产成人精品一区二区三区免费| 午夜在线观看视频免费成人| 欧美激情一区二区三区成人| 国产成人精品免费视频大全麻豆 | 欧洲成人r片在线观看| 国产成人国产在线观看入口| 狠狠色成人综合首页| 国产综合成人久久大片91| 中文国产成人精品久久不卡| 国产成人亚洲精品电影| 欧美成人18性| 色噜噜成人综合网站| 俄罗斯一级成人毛片| 成人做受视频试看60秒| 成人羞羞视频网站| 欧美成人精品福利网站| 亚洲欧美成人综合久久久| 成人免费的性色视频| 欧美成人亚洲欧美成人| 久久久久成人精品免费播放动漫| 国产成人免费一区二区三区 | 国产成人啪精品视频免费网| 成人免费一区二区三区在线观看| 日韩国产成人资源精品视频| 久久久久亚洲av成人无码| 四虎www成人影院| 亚洲色成人网一二三区| 国产成人在线网站| 国产成人免费高清激情明星| 国产成人精品一区二区三区无码| 成人免费乱码大片a毛片| 国产成人综合久久精品| 四虎影视成人精品| 亚洲成人自拍网| 久久精品噜噜噜成人av| 2021国产成人午夜精品| 日韩成人免费视频|