另外還要支持secondary index，還有要支持認證。最后一定要支持重平衡，隨著時間運轉系統內勢必不均衡，有的節點弱，有的節點冷，有的磁盤占用空間比較滿，有的磁盤占用空間比較空，勢必要有一個重新平衡，重新利用機器的過程，這個特性也是我們一定需要的。我們來看一下KVDB的架構圖，其實這個架構推有點像，大體上有點像GLS，Client在發起一個繪畫的時候，都會從Meta上取一個東西，我影射到哪個，拿到一個信息之后，就會根據Meta Server進行讀寫操作，數據流傳輸跟后端存儲節點去進行，有主有從可以進行同步。
Meta Server并不是一個，而是一組機器。那么Meta Server如何保持影射之間的一致性？我們采用的方式就是變種的一致性，當某一個Meta Server出現一定時間，他自己肯定知道出現一段時間沒有跟后端進行同步成功，這時候會發起一個操作，把自己下線，就是把自己服務端口給封掉。這里有一個風險，后端掛掉是不是會導致所有的Meta Server都掛掉了全部下線，這樣導致服務不可用的。我們在這塊假如協議，我能不能自己把自己給宕了，如果能就宕了，如果不能就繼續提供服務，這樣保證即使出現故障的時候，仍然保持有二分之一的機器能夠服務。當一個系統里面，我們主要處理兩個緯度。
這種邏輯很簡單，缺乏一個很有理論高度平衡，SAE怎么來做這個事，基于一個數學理論，實際上就兩個概念，第一個概念叫數學期望，第二就軍方差。我們以磁盤利用率為例子，比如現在所有系統里面磁盤利用率，數學期望是50%的話，這個時候表示什么呢？就表示我們所有系統里面磁盤大概利用率，基本上都是屬于一半。軍方差表什么意思？是所有系統磁盤里面有效率，或者說利用率，離50%的偏差程度。換句話說，我們怎么來判斷重平衡，如果我這個系統里邊，不管你以什么指標為準，如果軍方差很小，數學期望很高，這時候做的不是平衡而是擴容。反過來如果系統里面數學期望很小，軍方差很高，就表示你所有點離中心離散度已經非常高了，這時候做的不是擴容，而是重平衡。
所以，我們以這個為方式就設立一個SAE上用來重平衡的概念，當然我們這個公式不是這么簡單，因為時間關系不多說了。重平衡如果做無縫遷移？我們從客戶端來寫，從A遷到B，以寫B端成功為主。從A去讀，也人覺得你寫到A，再寫到B，如果A沒有成功，會不會讀不出來，這可能會發生這就是我們一個他想保證一個最終一致性，這個暫時可能讀不出來，但是一定會讀出來。
這是KVDB使用的一些問題，不多說了，還有一個服務。下面介紹一下Rank，排行榜，這個排行榜服務應用場景就是有這種，比如游戲網站，游戲下載周排行，月排行都會用到。Rank，第一個需求是top rank，我往里面放一些東西，我希望是最大的，比如top100 top1000，還有一個all rank，我要知道在里面每一個排行，我玩游戲想知道分數最高100個用戶是誰，這叫top rank，還有我給你一個用戶，告訴我在FaceBook用戶里面用戶排名是多少，這就是all rank，這塊今天不討論了。
目前主要解決是top rank的問題，all rank也在開發。實際上這個Rank服務還是比較簡單，到后端主從，實際上一個Rank配一個ERBT，他一部分是key到一個value，還有如何從rank而去查value，關鍵如何從value去查Rank，這塊也可以通過擴展，不僅僅包括服務節點，紅黑部分，還包括所有子節點數，通過這個信息我們就可以通過topn來得到，就像我這個表里所說到，PPT可以下載，大家回去看。
那么Rank可靠性如何來保證？首先是一個in-memory master slave sync，因為從事任何時刻熱備才能夠頂替主的服務。另外他會每隔2分鐘，1分鐘把自己的數據，變化的數據宕到硬盤上。主從之間我們bin-log，這是一個問題。比如我主跟從互相in-memory，比如從突然宕機24個小時，這時候從要起來追主所有數據，這時候怎么來做，我們每次去同步的時候都去對比主從之間這個表的值，如果發現這個不一樣就去統計這一小塊的數字，這就減少主從之間量，雖然表面上是一個全部，實際上量會得到一個控制。
NoSQL還有一個Counter應用場景。從SAE來講，對于開發者如何來選型SAE的NoSQL首先是速度，其次像容量，可靠性。我們反過來看容量，肯定是有限制的，雖然SAE是動態去擴容量，今天是10兆明天不夠變成20兆，200兆，一個T就是可以，但是有一個上限，超過一個上限往里放，容量最大KVDB，可以限往里面去放，MySQL也比較大，目前支持512個表，每個表里面最多1千萬條記錄。可靠性上來講，很顯然MySQL占第一位，甚至會考慮WLAN的方式部署數據，反過來MySQL數據是最低的，一旦出現問題你不可恢復，需要從其他數據里面重新加入。
最后是SAE，在SAE官方微博有招聘信息，大家就興趣可以加入SAE。如果大家對今天演講內容有問題可以在微博上與我進行溝通，謝謝大家。
推薦閱讀
時至今日，“Big data”(大數據)時代的來臨已經毋庸置疑，尤其是在電信、金融等行業，幾乎已經到了“數據就是業務本身”的地步。這種趨勢已經讓很多相信數據之力量的企業做出改變。恰逢此時，為了讓更多的人了解和使>>>詳細閱讀
地址：http://m.sdlzkt.com/a/kandian/20120305/36930.html
網友點評
精彩導讀
科技快報
品牌展示