近日,國際數據公司( IDC)首次發(fā)布了《IDC MarketScape: 中國實時湖倉市場 2024 年廠商評估》(Doc# CHC51768224,2024年7月),阿里云在首次報告發(fā)布即位居領導者類別。
湖倉架構(Lakehouse)目前在業(yè)界已得到越來越多的使用; Lakehouse 開放的數據架構優(yōu)勢,使 Lakehouse 的數據湖存儲可和業(yè)界主流的大數據計算范式(如流計算、批計算、OLAP 分析)進行較好的集成和融合,同時也能兼容常見的機器學習和 AI 的計算模型。隨著 Lakehouse 的數據分析架構的逐步落地,企業(yè)對 Lakehouse 也提出了越來越多的要求和更高的訴求。其中一項非常重要的一個訴求就是如何在湖倉的架構上進行實時化大數據分析。
IDC 認為未來 12 個月,選擇外部合作來構建數據管理服務的企業(yè)比例將從 58%快速增長至 85%。數據量的快速增長、對數據管理需求的升級以及技術架構復雜度和獨立開發(fā)成本的上升,都推動企業(yè)開始越來越多地考慮湖倉一體的管理解決方案。同時,多模數據管理、實時化將會是數據管理服務演進的兩個重要方 向。
在在此背景下,為了更清晰地展示廠商的綜合實力,IDC 發(fā)布了《IDC MarketScape: 中國實時湖倉市場2024 年廠商評估》市場研究報告。報告從能力和戰(zhàn)略表現(xiàn)兩個維度,評估了中國13家典型的實時湖倉廠商,廠商類型覆蓋了互聯(lián)網廠商、云服務廠商、大數據廠商等。報告顯示阿里云在“中國實時湖倉2024年廠商評估”中位居領導者類別。
報告中指出,Apache Paimon 是新一代實時湖倉格式,支持流批,由阿里云貢獻并共享給主要開源社區(qū),結合 Flink 組件,搭建湖格式+LSM 架構,面向流更新設計;與 Flink、Spark 具有更好的集成;支持流更新寫入與流變更讀;SLA 保障在 15 分鐘內,平衡讀寫放大。 在 AI for Lakehouse 上,阿里云支持智能數據布局、智能資源使用、智能執(zhí)行引擎、智能查詢計劃、智 能資源復用與 Copilot;在 Lakehouse for AI 上,可以做到多種數據的更優(yōu)化管理,如用戶測試數據的 高吞吐離線處理、低延時在線服務,用戶訓練數據的低資源 FT 和 Prompt 以及超大規(guī)模預訓練數據集 的低碳訓練。
阿里云為企業(yè)提供了基于開放存儲的湖倉多引擎協(xié)同數據AI體化解決案,提供統(tǒng)元數據管理,統(tǒng)數湖表格式,統(tǒng)分布式數據管理,支持對接主流的大數據計算型產品,如實時計算 Flink, EMR, EMR Serverless Spark、EMR Serverless StarRocks, MaxCompute 和 Hologres 等,對比當前方案具有成本低、全鏈路實時流動、數據可更新、全鏈路數據可查等特點,為企業(yè)提供低成本分鐘級數據新鮮度的大數據實時計算方案。
關于IDC MarketScape:
IDC MarketScape廠商評估模型旨在為特定市場中信息和通信技術(ICT)廠商的競爭力提供一個概述。 研究方法采用嚴格的定性和定量的標準的評分方法,以單一的圖形說明每個廠商在特定市場中的位置。IDC MarketScape提供了一個清晰的框架,在其中可以對IT和信息通信技術廠商的產品、服務、能力和策略以及當前和未來的市場成功因素進行有意義的比較。該框架還為技術買家提供了針對當前或潛在廠商的360度優(yōu)劣勢評估,為技術買家提供參考。