阿里云 EMR Serverless Spark 版已于2024年9月14日正式商業(yè)化售賣,本文將簡要介紹 EMR Serverless Spark 的產(chǎn)品優(yōu)勢、應用場景、支持地域,及計費模式等。
EMR Serverless Spark 是一款云原生,專為大規(guī)模數(shù)據(jù)處理和分析而設計的全托管 Serverless 產(chǎn)品。該產(chǎn)品內(nèi)置 Fusion Engine,100%兼容開源 Spark 編程接口,相比于開源 Spark 性能提升300%;提供 Notebook 及 SQL 開發(fā)、調(diào)試、發(fā)布、調(diào)度、監(jiān)控診斷等一站式數(shù)據(jù)開發(fā)體驗;支持彈性伸縮、按量付費,進一步降低計算成本!
產(chǎn)品優(yōu)勢
易用
提供作業(yè)開發(fā)、調(diào)試、發(fā)布、調(diào)度等一站式數(shù)據(jù)開發(fā)體驗
內(nèi)置版本管理、開發(fā)與生產(chǎn)隔離,滿足企業(yè)級開發(fā)與發(fā)布標準
提供內(nèi)置 SQL Editor 和 Notebook,提供數(shù)據(jù)開發(fā)和數(shù)據(jù)科學一體化開發(fā)體驗
極速
自研 Fusion 引擎,內(nèi)置高性能向量化計算和 RSS 能力,相對開源版本性能提升 3 倍以上
開放
支持開放、靈活、彈性的數(shù)據(jù)湖倉分析
支持使用 DataFrame、SQL、PySpark 等多種編程方式開發(fā)批、流、交互式分析、機器學習等不同類型的任務,并進行調(diào)度執(zhí)行
支持通過 Spark Submit、Livy、Spark Thrift Server 等開源兼容的方式進行任務提交
支持 DLF 以及外部 Hive Metastore 作為元數(shù)據(jù)服務
官方提供開源 Operators 對接 Airflow、DolphinScheduler 調(diào)度器
云原生
開箱即用,無需手動管理和運維云基礎設施。
彈性伸縮,秒級資源彈性與供給。
按量付費,僅按任務實際使用的計算資源量付費,進一步降低計算總成本。
應用場景
湖倉分析場景
EMR Serverless Spark 與 DLF 深度集成,結(jié)合了數(shù)據(jù)湖倉元數(shù)據(jù)管理、數(shù)據(jù)存儲等托管能力,提供了一站式湖倉分析解決方案。這一解決方案涵蓋了從數(shù)據(jù)清洗、轉(zhuǎn)換到分析的完整數(shù)據(jù)處理鏈路和流程,確保數(shù)據(jù)處理的高效性。同時,Serverless Spark 還提供企業(yè)級的安全能力,包括完整的數(shù)據(jù)目錄、庫表等安全要素,以保障數(shù)據(jù)的安全性。此外,該湖倉分析解決方案支持彈性伸縮功能,實現(xiàn)資源的優(yōu)化配置,確保能夠高效處理大規(guī)模數(shù)據(jù)。通過簡化數(shù)據(jù)治理流程和降低運維成本,EMR Serverless Spark 幫助企業(yè)加速業(yè)務決策和創(chuàng)新,提升整體數(shù)據(jù)管理和分析的效率。
大數(shù)據(jù)AI一體化場景
EMR Serverless Spark 提供內(nèi)置 Notebook,支持交叉使用 SQL 和 PySpark 進行大數(shù)據(jù)處理和數(shù)據(jù)科學分析一體化開發(fā),同時支持對接 DLF 大數(shù)據(jù) + AI 統(tǒng)一元數(shù)據(jù)視圖,融合數(shù)據(jù)和 AI 應用,支持企業(yè)實現(xiàn)數(shù)據(jù)驅(qū)動的智能化決策。
傳統(tǒng)數(shù)倉場景
面向經(jīng)典的數(shù)據(jù)倉庫大數(shù)據(jù)離線處理場景,EMR Serverless Spark 為您提供一站式解決方案,幫助您完成數(shù)據(jù)倉庫的高效建設,包括數(shù)據(jù)開發(fā)、版本管理、任務調(diào)度、監(jiān)控診斷、資源觀測等。另外,在 Fusion 引擎的加持下,EMR Serverless Spark 提供在線數(shù)據(jù)查詢與分析服務,方便您即時了解業(yè)務變化。借助 Spark Thrift Server 提供的 JDBC 接口,您可以輕松將 EMR Serverless Spark 與您的 BI 系統(tǒng)對接,實現(xiàn)指標數(shù)據(jù)的高效查詢和分析,進一步提升數(shù)據(jù)倉庫的應用價值。
更多信息,請參見什么是EMR Serverless Spark!緃ttps://x.sm.cn/7hmaFqW】
控制臺入口:https://x.sm.cn/61a0FwU。
支持地域
EMR Serverless Spark支持以下地域
中國站賬號
國際站賬號
產(chǎn)品計費
商業(yè)化開啟后將涉及相關功能的收費,具體收費標準見產(chǎn)品計費!緃ttps://x.sm.cn/3svrzfH】
說明
商業(yè)化開啟后,繼續(xù)使用 EMR Serverless Spark 將按照計費標準收取費用,如果不再使用請及時刪除相關資源。
服務等級協(xié)議
商業(yè)化開啟后,產(chǎn)品保障服務等級協(xié)議,詳情請參見 E-MapReduce Serverless Spark 服務等級協(xié)議。
中國站:https://x.sm.cn/3BTrfy5
國際站:https://x.sm.cn/27drrpK
聯(lián)系我們
如果在使用 EMR Serverless Spark 的過程中遇到任何疑問,可加入釘釘群58570004119咨詢。