近日，賽迪顧問正式發布了國內首份《湖倉一體技術研究報告》。對此，巨杉數據庫特邀賽迪顧問軟件與信息服務業研究專家，對《湖倉一體技術研究報告》進行了深入解讀。
伴隨數字化在各行各業的深化發展，企業不但需要面向業務的「交易核心」，同時更需要構建面向企業全量數據價值的「數據核心」。不同于傳統「交易核心」往往僅針對特定業務系統解決其交易需求不同的是，「數據核心」需要匯聚從多個「交易核心」產生的實時交易流水數據，為全企業跨業務的多個系統提供高并發的實時對客全量數據查詢及數據探索分析能力。湖倉一體技術借助海量、實時、多模的數據處理能力，實現全量數據價值的持續釋放，正成為企業數字化轉型過程中的備受關注焦點。
本次解讀分享，結合湖倉一體技術的發展歷程，對現階段業界重點產品，典型案例，未來趨勢等多方面內容進行了剖析，綜合評判了湖倉一體技術的發展階段及未來應用場景。
· 湖倉一體技術的發展歷程
從數據管理架構的發展來看，湖倉一體技術的發展可分為三個階段。第一階段是上世紀80年代開始的“數據倉庫”階段，第二階段是2011年伴隨著大數據發展而產生的“數據湖”技術，第三階段就是近年來開始的數據湖與數據倉庫的融合趨勢，業界稱為“湖倉一體”。
數據管理架構的革新，是在企業需求的推動下進行的，新興技術催生新的市場需求，從而導致數據管理架構相應調整。以湖倉一體為例，當下企業海量大數據場景下的實時處理，非結構化數據治理等需求，都是推動數據湖與數據倉庫融合的重要動力。
數據倉庫是決策支持系統（dss）和聯機分析應用數據源的結構化數據環境。數據倉庫產生的背景主要在于傳統交易核心數據庫腦容量不足，擅長事務型工作，但不擅長分析型工作，無法滿足企業對于數據分析的發展需求。
從數據倉庫架構圖可以看出，數據倉庫的主要功能，是將企業信息化管理系統中聯機事務處理所積累的大量數據，通過數據倉庫特有的信息存儲架構，系統化分析整理，進而支持如決策支持系統、主管資訊系統的創建，幫助決策者快速有效的從大量數據中分析出有價值的信息，以利于后期決策擬定及對外在環境變化的快速回應，幫助其構建商業智能。
在大數據時代數據量劇增背景下，催生了數據湖技術。數據湖是一個存儲企業各種各樣原始數據的大型倉庫，可供數據存取、處理、分析以及傳輸，可看作一種大型數據存儲庫和處理引擎。相比于數據倉庫而言，數據湖存儲容量更大，數據類型更為豐富，增加了對半結構化數據和非結構化數據的支持，同時對所有數據進行集中式存儲。并具有龐大的PB級數據存儲規模以及計算能力，提供多元化數據信息交叉分析，及大容量高速度的數據管道。
湖倉一體則是一種新型的開放式架構，打通了數據倉庫和數據湖，并融合了兩種架構的優勢。其底層支持多種數據類型并存，且實現數據間的相互共享。上層可以通過統一封裝的接口進行訪問，可同時支持實時查詢和分析。湖倉一體使得數據入湖后可原地進行數據處理加工，避免數據多份冗余以及流動導致的算力、網絡及成本開銷，可作為超大型的數據存儲資源池，實現對全量數據的實時處理。
相比于數據湖，湖倉一體架構的主要功能是增強了實時業務處理以及非結構化數據的治理能力。湖倉一體的優勢主要體現在四個方面，一是具備完善的數據管理能力，二是數據可實現及時追溯，三是支持豐富的計算引擎，四是更高的數據實時性。
· 湖倉一體解決了用戶哪些痛點？
隨著數字經濟時代的快速發展，獨立構建數據湖與數據倉庫兩套平臺的架構設計，在某些場景已經無法滿足客戶需求，新興技術發展、“數據沼澤”問題及數字化轉型三大痛點，催生了湖倉一體技術的發展。
新興技術發展主要指隨著5G、大數據、人工智能、物聯網等技術的飛速發展，數據量呈現出大規模、多樣性的特點，為應對多變的業務訴求，政企客戶對數據處理分析的實時性和融合性提出了更高的要求。
“數據沼澤”則是指隨著企業逐漸發展壯大，數據量與業務量不斷遞增，處理數據的成本也在不斷增加，但卻無法有效利用數據資源來產生價值。而數據湖架構本身就缺少對數據監管、控制和必要的治理手段，導致運維成本不斷增加，數據治理效率降低。長此以往，企業落入了“數據沼澤”的境地。
而數字化轉型的核心要義，就是實現「釋放全量數據價值」。隨著企業數字化轉型的深化，跨多業務、多數據類型的新型應用場景不斷涌現，海量大數據場景下的實時處理、非結構化數據治理等需求，給企業數據基礎設施帶來了新的挑戰。
湖倉一體技術的出現，在實現了對數據湖與數據倉庫技術融合的同時，也為用戶帶來了新的意義價值。
一是彌補原架構的不足。相比數據湖來說，湖倉一體架構能夠支撐實時查詢和實時分析場景，彌補了Hadoop技術對于數據實時處理能力的不足。而相比數據倉庫來說，湖倉一體架構作為支持實時處理的統一數據底座，具備多引擎實時處理多類型數據的能力，避免了數據倉庫無法分析非結構化數據的問題，以及不同平臺間數據移動所帶來的成本。
二是能夠降低企業成本，提高效率。湖倉一體架構能夠降低數據流動帶來的開發成本及計算存儲開銷，提升企業效率。
三是助力企業數字化轉型。在企業數字化轉型的過程中，企業需要根據自身業務場景及發展訴求來設計系統架構，單一模式已然無法滿足。而湖倉一體架構能夠幫助企業構建起全新的數據融合平臺，打破了數據湖與數據倉庫割裂的體系，將數據湖的靈活性、數據多樣性以及豐富的生態與數據倉庫的企業級數據分析能力進行了融合。
四是湖倉一體架構能降低能耗，實現低碳節能。湖倉一體技術能夠從基礎架構上打通數據湖與數據倉庫，提供實時查詢以及實時分析能力，從而有效的降低了能耗。
更多內容，歡迎搜索《湖倉一體技術研究報告》，下載完整版報告。
推薦閱讀
十三屆全國人大常委會第三十五次會議6月24日表決通過關于修改反壟斷法的決定,自2022年8月1日起施行。國家建立健全公平競爭審查制度,制定和實施與社會主義市場經濟相適應的競>>>詳細閱讀
本文標題：都在喊的湖倉一體是什么？深度解讀《湖倉一體技術研究報告》
地址：http://m.sdlzkt.com/a/05/314153.html
網友點評
精彩導讀
科技快報
品牌展示