展會信息港展會大全

亞馬遜連甩6款大模型!推出3nm AI訓(xùn)練芯片,最強(qiáng)AI服務(wù)器算力爆表
來源:互聯(lián)網(wǎng)   發(fā)布日期:2024-12-04 11:11:52   瀏覽:59次  

導(dǎo)讀:智東西(公眾號:zhidxcom)作者 | ZeR0 程茜編輯 | 漠影全球最大云計(jì)算巨頭,今日掏出硬核家底!智東西12月3日拉斯維加斯報道,在年度云計(jì)算產(chǎn)業(yè)盛會AWS re:Invent大會上,AWS(亞馬遜云科技)一口氣發(fā)布6款大模型、預(yù)告2款大模型,還推出3nm第三代AI訓(xùn)練芯片Trainum3及其迄今最強(qiáng)AI服務(wù)器Trn2 UltraServer。這是Amazon Nova系列基礎(chǔ)模型首次亮牌。包括Micro、Lite、Pro、Prem ......

智東西(公眾號:zhidxcom)

作者 | ZeR0 程茜

編輯 | 漠影

全球最大云計(jì)算巨頭,今日掏出硬核家底!

智東西12月3日拉斯維加斯報道,在年度云計(jì)算產(chǎn)業(yè)盛會AWS re:Invent大會上,AWS(亞馬遜云科技)一口氣發(fā)布6款大模型、預(yù)告2款大模型,還推出3nm第三代AI訓(xùn)練芯片Trainum3及其迄今最強(qiáng)AI服務(wù)器Trn2 UltraServer。

亞馬遜連甩6款大模型!推出3nm AI訓(xùn)練芯片,最強(qiáng)AI服務(wù)器算力爆表

這是Amazon Nova系列基礎(chǔ)模型首次亮牌。

包括Micro、Lite、Pro、Premier四個版本的語言模型,還有圖像生成模型Canvas、視頻生成模型Reel。其中Reel現(xiàn)支持生成6秒視頻,很快將會延長到2分鐘。

亞馬遜連甩6款大模型!推出3nm AI訓(xùn)練芯片,最強(qiáng)AI服務(wù)器算力爆表

亞馬遜總裁兼CEO安迪賈西現(xiàn)場劇透:明年,AWS不僅將發(fā)布語音轉(zhuǎn)語音模型,還有更高能的任意轉(zhuǎn)任意(Any-to-Any)模型能輸入和輸出文本、圖像、音頻、視頻等任何模態(tài)的內(nèi)容。

這些模型均在Bedrock中提供,可微調(diào)和蒸餾。

此外,AWS CEO馬特加曼宣布推出最新生成式AI實(shí)例Amazon EC2 Trn2,比當(dāng)前基于GPU的EC2實(shí)例的性價比高出30%~40%。

蘋果機(jī)器學(xué)習(xí)和人工智能高級總監(jiān)Benoit Dupin來到現(xiàn)場,稱蘋果在iPad、Apple Music、Apple TV、新聞、App Store、Siri等產(chǎn)品和服務(wù)上廣泛使用了亞馬遜服務(wù)。

他特別分享道,與x86實(shí)例相比,蘋果已用Amazon Graviton、Inferentia等AWS芯片在機(jī)器學(xué)習(xí)推理工作負(fù)載方面實(shí)現(xiàn)了40%以上的效率提升,并預(yù)計(jì)在Trainium 2上預(yù)訓(xùn)練模型時,效率將提高50%。

亞馬遜連甩6款大模型!推出3nm AI訓(xùn)練芯片,最強(qiáng)AI服務(wù)器算力爆表

被亞馬遜豪擲80億美元投資的Anthropic,宣布與AWS共同構(gòu)建面向機(jī)器學(xué)習(xí)訓(xùn)練的世界最大計(jì)算集群,其下一代Claude大模型將在擁有數(shù)十萬顆Trainium2芯片的集群上進(jìn)行訓(xùn)練。

總體來看,AWS的計(jì)算、存儲、數(shù)據(jù)庫、AI推理,四大板塊都迎來一大波重要更新。

一、全新自研大模型Amazon Nova系列登場!文本、圖像、視頻齊活了

亞馬遜總裁兼CEO安迪賈西現(xiàn)場分享了生成式AI如何貫穿亞馬遜不同業(yè)務(wù),包括改善了電商客服、賣家詳情頁創(chuàng)建、庫存管理、機(jī)器人、Alexa、Amazon Lens、線上購物衣服尺碼匹配、Prime Video等的效率和體驗(yàn)。

然后,他公布全新大模型系列Amazon Nova!

亞馬遜連甩6款大模型!推出3nm AI訓(xùn)練芯片,最強(qiáng)AI服務(wù)器算力爆表

Nova語言模型有四款:

(1)Micro:純文本模型,128k上下文窗口,延遲最低,響應(yīng)速度最快。

(2)Lite:成本很低的多模態(tài)模型,300k上下文窗口,可快速處理圖像、視頻和文本輸入。

(3)Pro:多模態(tài)模型,300k上下文窗口,兼顧準(zhǔn)確度、速度和成本,能進(jìn)行視頻理解、生成創(chuàng)意素材。

(4)Premier:亞馬遜功能最強(qiáng)的多模態(tài)模型,可用于執(zhí)行復(fù)雜的推理任務(wù),并可用作蒸餾自定義模型的最佳老師(將于2025年第一季度推出)。

據(jù)介紹,Micro、Lite和Pro的價格至少比Amazon Bedrock中各自智能類別中性能最佳的模型便宜75%。它們也是Amazon Bedrock中各自智能類別中速度最快的模型。

AWS稱到2025年初,某些Nova模型的上下文窗口將擴(kuò)展以支持超過200萬個token。

在基準(zhǔn)測試中,Micro版整體性能超過Gemini 1.5 Flash 8B和Llama 3.1 8B。

亞馬遜連甩6款大模型!推出3nm AI訓(xùn)練芯片,最強(qiáng)AI服務(wù)器算力爆表

Lite在處理輕量級任務(wù)時是最低成本的多模態(tài)模型。

亞馬遜連甩6款大模型!推出3nm AI訓(xùn)練芯片,最強(qiáng)AI服務(wù)器算力爆表

新發(fā)布的另外兩個Nova模型是圖形生成模型Canvas和視頻生成模型Reel,可用于提升宣傳廣告的創(chuàng)意。

亞馬遜連甩6款大模型!推出3nm AI訓(xùn)練芯片,最強(qiáng)AI服務(wù)器算力爆表

Canvas支持生成和編輯圖像,提供配色方案和布局控件,并內(nèi)置有安全控件,用于可追溯性的水印和用于限制有害內(nèi)容生成的內(nèi)容審核。

亞馬遜連甩6款大模型!推出3nm AI訓(xùn)練芯片,最強(qiáng)AI服務(wù)器算力爆表

Reel可根據(jù)關(guān)鍵詞或可選的參考圖像生成6秒視頻,支持用戶調(diào)整攝像機(jī)運(yùn)動以生成具有平移、360度旋轉(zhuǎn)和縮放的視頻。可制作2分鐘視頻的版本即將推出。

這些模型支持自定義微調(diào)和蒸餾。

還有One More Thing:

AWS將在明年推出另外兩款Nova模型,一款是“語音轉(zhuǎn)語音”模型;另一款是“任意轉(zhuǎn)任意”多模態(tài)模型,其輸入和輸出可以是文本、圖像、音頻或視頻,也就是能用同一個模型執(zhí)行各種任務(wù)。

亞馬遜連甩6款大模型!推出3nm AI訓(xùn)練芯片,最強(qiáng)AI服務(wù)器算力爆表

除了發(fā)布自研模型,AWS也公布了跟Anthropic的合作新進(jìn)展。

AWS與Anthropic合作推出了Claude 3.5 Haiku延遲優(yōu)化版,將推理速度提高60%。

客戶只需打開API的開關(guān),請求就會被發(fā)到新的Trainium2服務(wù)器上。

Amazon Bedrock提供的延遲優(yōu)化選項(xiàng),支持客戶訪問其最新AI硬件和其他軟件優(yōu)化,以獲得模型的最佳推理性能。除了Claude模型外,還包括Llama 405B和較小的Llama 270B模型,處理請求和生成相應(yīng)的總耗時比其他產(chǎn)品低得多。

亞馬遜連甩6款大模型!推出3nm AI訓(xùn)練芯片,最強(qiáng)AI服務(wù)器算力爆表

二、AWS Trainium2實(shí)例全面推出,發(fā)布第三代AI訓(xùn)練芯片、最強(qiáng)AI服務(wù)器

AWS全面推出由Trainium2芯片驅(qū)動的Amazon EC2 Trn2實(shí)例,相比當(dāng)前基于GPU的EC2實(shí)例,性價比高出30%~40%。

亞馬遜連甩6款大模型!推出3nm AI訓(xùn)練芯片,最強(qiáng)AI服務(wù)器算力爆表

全新Amazon EC2 Trn2實(shí)例專為包括大語言模型和潛在擴(kuò)散模型在內(nèi)的生成式AI高性能深度學(xué)習(xí)訓(xùn)練而構(gòu)建。

其AI硬件全家桶也哐哐上新,推出第三代自研AI訓(xùn)練芯片Trainium3,還發(fā)布了其史上最強(qiáng)AI服務(wù)器Trn2 UltraServer。

1、第三代自研AI訓(xùn)練芯片

AWS發(fā)布了新一代AI訓(xùn)練芯片Trainium3。這是首款采用3nm工藝節(jié)點(diǎn)制造的AWS芯片,能效提高40%、性能翻倍提升。

搭載Trainium3的UltraServer性能預(yù)計(jì)將比Trn2 UltraServer高出4倍。首批基于Trainium3的實(shí)例預(yù)計(jì)將于2025年底上市。

2、最強(qiáng)AI服務(wù)器,64顆Trainium2合體

AWS發(fā)布其史上最強(qiáng)AI服務(wù)器AWS Trn2 UltraServer,能支撐萬億參數(shù)AI模型的實(shí)時推理性能。

亞馬遜連甩6款大模型!推出3nm AI訓(xùn)練芯片,最強(qiáng)AI服務(wù)器算力爆表

全新Trn2 UltraServer使用超高速NeuronLink互連,將4臺Trn2服務(wù)器連接在一起,形成1臺巨型服務(wù)器,實(shí)現(xiàn)更快的大模型訓(xùn)練和推理。

單個Trn2實(shí)例結(jié)合了16顆Trainium2芯片,可提供20.8PFLOPS,適合訓(xùn)練和部署有數(shù)十億個參數(shù)的大語言模型。

亞馬遜連甩6款大模型!推出3nm AI訓(xùn)練芯片,最強(qiáng)AI服務(wù)器算力爆表

全新EC2產(chǎn)品Trn2 UltraServer則將64顆Trainium2芯片互連,可提供相比當(dāng)前EC2 AI服務(wù)器多達(dá)5倍的算力和10倍的內(nèi)存,將FP8峰值算力擴(kuò)展到83.2PFLOPS(單個實(shí)例的4倍)。

亞馬遜連甩6款大模型!推出3nm AI訓(xùn)練芯片,最強(qiáng)AI服務(wù)器算力爆表

AWS已與Adobe、AI軟件開發(fā)平臺Poolside、數(shù)據(jù)分析平臺Databricks、高通等幾個早期客戶進(jìn)行了Beta測試培訓(xùn)。

3、與Anthropic擴(kuò)大合作,要建全球最大AI計(jì)算集群

美國AI大模型獨(dú)角獸Anthropic的聯(lián)合創(chuàng)始人兼CTO Tom Brown現(xiàn)場分享說,就像俄羅斯方塊游戲,機(jī)器內(nèi)部構(gòu)造越緊密,跑模型就越便宜越快。一年多來,Anthropic性能工程團(tuán)隊(duì)與亞馬遜和Annapurna團(tuán)隊(duì)密切合作,應(yīng)對這一挑戰(zhàn)。

他宣布AWS與Anthropic正合作構(gòu)建一個名為Project Rainier的Trn2 UltraServers EC2 UltraCluster,它將在數(shù)十萬顆Trainium2芯片上擴(kuò)展分布式模型訓(xùn)練。

這些芯片與第三代低延遲PB級EFA網(wǎng)絡(luò)互連,是Anthropic用于訓(xùn)練其當(dāng)前一代領(lǐng)先AI模型的百億億次浮點(diǎn)運(yùn)算數(shù)量的5倍多。

亞馬遜連甩6款大模型!推出3nm AI訓(xùn)練芯片,最強(qiáng)AI服務(wù)器算力爆表

建成后,預(yù)計(jì)它將成為迄今世界上最大的AI計(jì)算集群,可供Anthropic構(gòu)建和部署其未來模型。

使用Project Rainer后,用戶將能夠以更低價格、更快速度獲得更多智能、更聰明的Agent。

4、新一代AI網(wǎng)絡(luò)結(jié)構(gòu)tnp10

為Trainium2 UltraServer提供動力的是最新一代AI網(wǎng)絡(luò)結(jié)構(gòu)tnp10。AWS在基于Trainium和NVIDIA芯片的集群都使用了這個網(wǎng)絡(luò)。它能在10微秒延遲下為數(shù)千臺服務(wù)器提供數(shù)十PB網(wǎng)絡(luò)容量,實(shí)現(xiàn)了AWS迄今擴(kuò)展速度最快的網(wǎng)絡(luò)。

亞馬遜連甩6款大模型!推出3nm AI訓(xùn)練芯片,最強(qiáng)AI服務(wù)器算力爆表

Tnp10網(wǎng)絡(luò)的大規(guī)模并行、緊密互聯(lián)和彈性的,可縮小到幾個機(jī)架,也可以將其擴(kuò)展到跨越多個物理數(shù)據(jù)中心園區(qū)的集群。

AI網(wǎng)絡(luò)中的最大故障來源是光鏈路。多年來,AWS一直在設(shè)計(jì)和運(yùn)行自家定制光學(xué)系統(tǒng),以持續(xù)降低故障率。為了進(jìn)一步優(yōu)化網(wǎng)絡(luò),AWS在tnp10網(wǎng)絡(luò)中建立了一個全新的網(wǎng)絡(luò)路由協(xié)議“可擴(kuò)展意圖驅(qū)動路由(CIDR)”,通過分散的速度和彈性提供了集中的計(jì)劃、控制和優(yōu)化。

三、生成式AI平臺Bedrock服務(wù)三大更新:自動推理檢查、多Agent協(xié)同、模型蒸餾

AWS Bedrock服務(wù)可幫助企業(yè)構(gòu)建和擴(kuò)展生成式AI應(yīng)用程序,今天公布關(guān)于自動推理檢查、多agent協(xié)作、模型蒸餾的新功能。

AWS將Bedrock標(biāo)榜為“構(gòu)建生成式AI應(yīng)用的最簡單方式”。據(jù)加曼透露,每天都有成千上萬的客戶將Bedrock用于生產(chǎn)應(yīng)用程序,這幾乎是去年一年增長率的5倍。

亞馬遜連甩6款大模型!推出3nm AI訓(xùn)練芯片,最強(qiáng)AI服務(wù)器算力爆表

1、自動推理檢查,可預(yù)防AI幻覺

AI幻覺是妨礙AI應(yīng)用進(jìn)入企業(yè)實(shí)際生產(chǎn)的關(guān)鍵。AWS在探索過程中發(fā)現(xiàn),自動推理可以被應(yīng)用于解決這個問題。自動推理通常用于證明系統(tǒng)是否按指定方式工作。這個工具可以自動檢查方案和軟件,驗(yàn)證在遇到意外事件時如何正確響應(yīng)等。

基于此,AWS推出了AWS Automated Reasoning checks,可驗(yàn)證事實(shí)響應(yīng)的準(zhǔn)確性、生成可審計(jì)的輸出,并向客戶展示模型得出結(jié)果的確切原因。

亞馬遜連甩6款大模型!推出3nm AI訓(xùn)練芯片,最強(qiáng)AI服務(wù)器算力爆表

同時,Amazon Bedrock會自動制定必要的規(guī)則,引導(dǎo)客戶對其進(jìn)行迭代測試,以確保模型調(diào)整到正確的響應(yīng)。

2、多Agent協(xié)作,1小時完成此前1周任務(wù)

Bedrock的新功能還有幫助企業(yè)輕松構(gòu)建、部署、編排agent團(tuán)隊(duì),使其寫作解決復(fù)雜多步驟任務(wù)。

亞馬遜連甩6款大模型!推出3nm AI訓(xùn)練芯片,最強(qiáng)AI服務(wù)器算力爆表

使用Amazon Bedrockmulti-agent collaboration,企業(yè)可通過為項(xiàng)目的特定步驟創(chuàng)建和分配專門Agent來獲得更準(zhǔn)確的結(jié)果,并通過協(xié)調(diào)多個并行工作的Agent來加速任務(wù)。

亞馬遜連甩6款大模型!推出3nm AI訓(xùn)練芯片,最強(qiáng)AI服務(wù)器算力爆表

比如企業(yè)可以在Bedrock上構(gòu)建自己的專業(yè)Agent,然后創(chuàng)建主管Agent或協(xié)調(diào)Agent來幫助管理其他Agent。

AWS的客戶稱,這種多Agent協(xié)作使其此前需要大約1周時間的相同任務(wù),現(xiàn)在可以在1小時內(nèi)完成。

3、模型蒸餾,速度最高提升500%

當(dāng)下每周都有新版本的模型發(fā)布,企業(yè)需要基于自己的實(shí)際需求找到更適合的模型,需要適當(dāng)?shù)膶I(yè)知識、適當(dāng)延遲、適當(dāng)成本以完成任務(wù)。

企業(yè)目前解決的方案之一是模型蒸餾,將性能強(qiáng)大的基礎(chǔ)模型中的數(shù)據(jù)和答案拿出來訓(xùn)練更小的模型,這需要企業(yè)對訓(xùn)練數(shù)據(jù)進(jìn)行管理,并同時考慮到模型參數(shù)和權(quán)重的問題。

亞馬遜連甩6款大模型!推出3nm AI訓(xùn)練芯片,最強(qiáng)AI服務(wù)器算力爆表

借助Amazon BedrockModel Distillation,客戶只需針對給定用例選擇最佳模型,并從同一模型系列中選擇較小的模型,即可以合適的成本提供其應(yīng)用程序所需的延遲。

與原始模型相比,蒸餾模型速度最高可提高500%,運(yùn)行成本降低75%,對于檢索增強(qiáng)生成(RAG)等用例,準(zhǔn)確度損失不到2%。

四、Amazon Q Developer超越代碼,覆蓋更廣泛開發(fā)任務(wù)

Amazon Q Developer輔助編程平臺此次升級的重點(diǎn)是超越代碼完成,幫助開發(fā)人員完成端到端軟件生命周期中涉及的更廣泛日常任務(wù)。

亞馬遜連甩6款大模型!推出3nm AI訓(xùn)練芯片,最強(qiáng)AI服務(wù)器算力爆表

Amazon Q Developer的新功能主要包括:

將Windows .NET應(yīng)用程序現(xiàn)代化為Linux,速度提高4倍,并將許可成本降低多達(dá)40%。將VMware工作載轉(zhuǎn)變?yōu)樵圃軜?gòu),agents自動規(guī)劃、鑒別、決定和轉(zhuǎn)換網(wǎng)絡(luò)配置,在數(shù)小時內(nèi)將本地網(wǎng)絡(luò)配置轉(zhuǎn)換為AWS等效配置。通過簡化代碼分析、文檔、規(guī)劃和重構(gòu)應(yīng)用程序等勞動密集型工作來加速大型機(jī)現(xiàn)代化。

Q Developer現(xiàn)可自動生成單元測試,并幫助開發(fā)人員編寫和維護(hù)代碼文檔。它可以生成第一個代碼審查,供開發(fā)人員提交代碼時使用。一旦代碼投入生產(chǎn),Q的新運(yùn)營Agent就自動從公司的監(jiān)控服務(wù)AWS CloudWatch中提取數(shù)據(jù),并在警報響起時立即開始調(diào)查。

亞馬遜連甩6款大模型!推出3nm AI訓(xùn)練芯片,最強(qiáng)AI服務(wù)器算力爆表

AWS還推出了一款用于現(xiàn)代化COBOL大型機(jī)應(yīng)用程序的Agent。

此外,開發(fā)人員和安全平臺GitLab和AWS宣布已聯(lián)手將GitLab的Duo AI助手與亞馬遜的Q自主Agent結(jié)合起來。GitLab用戶可用Duo的聊天功能訪問Amazon Q Developer中提供的許多Agent,以幫助進(jìn)行代碼審查、生成單元測試和現(xiàn)代化他們的Java應(yīng)用程序,該功能現(xiàn)在已直接集成到GitLab聊天UI中。

亞馬遜連甩6款大模型!推出3nm AI訓(xùn)練芯片,最強(qiáng)AI服務(wù)器算力爆表

五、與英偉達(dá)合作14年,明年初發(fā)布Blackwell架構(gòu)P6實(shí)例

AWS將核心服務(wù)通過構(gòu)建block提供,企業(yè)可以更容易將這些服務(wù)進(jìn)行組合,并建立真正有趣的應(yīng)用。這個構(gòu)建Block的概念一直是AWS構(gòu)建服務(wù)、支持客戶運(yùn)行的基礎(chǔ),目前其已經(jīng)提供了大量服務(wù)模塊。

例如,在生物領(lǐng)域,AWS開發(fā)了ESM模型系列,幫助全球科學(xué)家理解和設(shè)計(jì)蛋白質(zhì)。ESM3已經(jīng)被訓(xùn)練了1萬億兆兆次,計(jì)算了超20億個蛋白質(zhì)序列,這意味著科學(xué)家可以像設(shè)計(jì)芯片一樣設(shè)計(jì)蛋白質(zhì),朝著生物可編程邁出一步。

加曼談到企業(yè)選擇AWS的一個重要原因就是安全。重視安全是AWS開展業(yè)務(wù)的基礎(chǔ),這關(guān)系到其如何設(shè)計(jì)數(shù)據(jù)中心、芯片、虛擬化堆棧以及服務(wù)體系結(jié)構(gòu)。

亞馬遜連甩6款大模型!推出3nm AI訓(xùn)練芯片,最強(qiáng)AI服務(wù)器算力爆表

在這之上,截至目前,AWS提供了比任何供應(yīng)商都更多的計(jì)算資源。亞馬遜EC2擁有更多選項(xiàng)、實(shí)例和功能,可以讓企業(yè)找到適合其工作負(fù)載的應(yīng)用程序的對應(yīng)性能。

例如,企業(yè)正在運(yùn)行一個用于分析工作流的大型數(shù)據(jù)庫,AWS可以在任何地方運(yùn)行最大的存儲系統(tǒng);如果企業(yè)正在運(yùn)行一個HPC集群、大模型以及所有集群,并需要快速的網(wǎng)絡(luò)將這些東西進(jìn)行連接,而AWS擁有訂購速度最快的熟練網(wǎng)絡(luò)。

AWS自研芯片為其提供了更大的靈活性,當(dāng)其單獨(dú)移動Nitro系統(tǒng)中的虛擬化設(shè)計(jì)時,可以無需重做虛擬化堆棧;谛碌膶(shí)例類型,快速、簡單的進(jìn)行開發(fā)。

亞馬遜連甩6款大模型!推出3nm AI訓(xùn)練芯片,最強(qiáng)AI服務(wù)器算力爆表

AWS的Graviton系列處理器目前已經(jīng)被幾乎所有的AWS客戶廣泛使用,其性價比提高了40%。Graviton可以處理更廣泛的工作負(fù)載,包括標(biāo)量代碼、數(shù)據(jù)庫等。

目前,絕大多數(shù)的模型運(yùn)行在英偉達(dá)的GPU之上,AWS和英偉達(dá)合作已經(jīng)14年,加曼宣布其合作升級,發(fā)布P6實(shí)例。P6系列將采用新Blackwell芯片,明年初發(fā)布,P6實(shí)例將提供最多2個,計(jì)算速度比當(dāng)前一代GPU快5倍。

亞馬遜連甩6款大模型!推出3nm AI訓(xùn)練芯片,最強(qiáng)AI服務(wù)器算力爆表

六、Amazon S3存儲功能擴(kuò)展,更快數(shù)據(jù)湖分析、自動元數(shù)據(jù)生成

AWS致力于推出簡單可擴(kuò)展的存儲方式。它在2006年推出的Amazon S3從根本上改變管理數(shù)據(jù)的想法,這一服務(wù)過去十幾年來爆炸式增長。Amazon S3 Intelligent-Tiering智能分層已為客戶節(jié)省40億美元。

亞馬遜連甩6款大模型!推出3nm AI訓(xùn)練芯片,最強(qiáng)AI服務(wù)器算力爆表

在此基礎(chǔ)上,AWS推出Amazon S3 Tables功能,使S3成為首個完全托管支持Apache Iceberg的云對象存儲,可實(shí)現(xiàn)更快分析,并以最簡單的方式存儲和管理任何規(guī)模的表(Table)數(shù)據(jù)。

許多客戶將用于分析的數(shù)據(jù)組織為表數(shù)據(jù),通常存儲在Apache Parquet中。Parquet已是S3中增長最快的數(shù)據(jù)類型之一,Iceberg已成為管理Parquet文件的最流行的開放表格式(OTF)。

AWS將S3 Tables稱作“對S3中的Apache Iceberg表執(zhí)行分析的最簡單快捷的方法”。它專為管理數(shù)據(jù)湖的Apache Iceberg表而構(gòu)建,是第一個具有內(nèi)置Apache Iceberg表支持的云對象存儲并引入了一種新的存儲桶類型,來優(yōu)化以Iceberg表形式存儲和查詢表數(shù)據(jù)。

與通用S3存儲桶相比,S3 Tables可提供3倍的查詢性能、10倍的每秒事務(wù)數(shù)(TPS),并會自動管理表維護(hù)任務(wù)。

亞馬遜連甩6款大模型!推出3nm AI訓(xùn)練芯片,最強(qiáng)AI服務(wù)器算力爆表

AWS還推出了Amazon S3 Metadata,可以近乎實(shí)時地自動生成可查詢的目標(biāo)元數(shù)據(jù)(metadata),并使其可通過新S3 Tables進(jìn)行查詢,讓發(fā)現(xiàn)和管理S3中的海量數(shù)據(jù)變得更簡單快捷。

亞馬遜連甩6款大模型!推出3nm AI訓(xùn)練芯片,最強(qiáng)AI服務(wù)器算力爆表

S3 Tables(正式發(fā)布)、S3 Metadata(預(yù)覽版)現(xiàn)已推出,與Apache Iceberg表兼容,支持用AWS分析服務(wù)和開源工具輕松查詢數(shù)據(jù)。

七、兩大數(shù)據(jù)庫上新:能跨區(qū)域運(yùn)行,具備強(qiáng)一致性

AWS今日宣布推出Amazon Aurora DSQL和Amazon DynamoDB global tables新功能,以支持一些工作負(fù)載對跨區(qū)域運(yùn)行、強(qiáng)一致性、低延遲、高可用性的嚴(yán)苛需求,兩個數(shù)據(jù)庫的跨區(qū)域強(qiáng)一致性功能現(xiàn)已推出預(yù)覽版。

亞馬遜連甩6款大模型!推出3nm AI訓(xùn)練芯片,最強(qiáng)AI服務(wù)器算力爆表

今年是Amazon Aurora發(fā)布的十周年。它是迄今發(fā)展最快的AWS服務(wù)。每天有數(shù)十萬客戶依賴的Amazon Aurora,提供了企業(yè)級商用數(shù)據(jù)庫的性能以及開源的靈活性和經(jīng)濟(jì)性。

亞馬遜連甩6款大模型!推出3nm AI訓(xùn)練芯片,最強(qiáng)AI服務(wù)器算力爆表

如今AWS再次重新構(gòu)想關(guān)系數(shù)據(jù)庫,讓客戶無需在低延遲或SQL之間做選擇。

Amazon Aurora DSQL是一種新型無服務(wù)器分布式SQL數(shù)據(jù)庫,既可以提供高端商用數(shù)據(jù)庫的所有性能和功能,又具有開源數(shù)據(jù)庫的靈活性和成本效益。

亞馬遜連甩6款大模型!推出3nm AI訓(xùn)練芯片,最強(qiáng)AI服務(wù)器算力爆表

與其他流行的分布式SQL數(shù)據(jù)庫相比,Aurora DSQL的讀寫速度快至4倍,多區(qū)域可用性高達(dá)99.999%,可擴(kuò)展性幾乎無限,而且無需管理基礎(chǔ)設(shè)施,無需配置、修補(bǔ)或管理數(shù)據(jù)庫實(shí)例。

亞馬遜連甩6款大模型!推出3nm AI訓(xùn)練芯片,最強(qiáng)AI服務(wù)器算力爆表

Aurora DSQL克服了分布式數(shù)據(jù)庫的兩個歷史挑戰(zhàn)實(shí)現(xiàn)多區(qū)域低延遲強(qiáng)一致性,以及在全球范圍內(nèi)以微秒級精度同步服務(wù)器。

該數(shù)據(jù)庫通過將事務(wù)處理與存儲分離來克服當(dāng)前方法的局限性,僅在提交時檢查每個事務(wù),并在提交時并行化所有區(qū)域的所有寫入,以提供具有強(qiáng)一致性和快速寫入的多區(qū)域數(shù)據(jù)庫,且所有更新和安全修補(bǔ)都無需停機(jī),也不會對性能產(chǎn)生任何影響。

為了確保每個區(qū)域都能按照發(fā)生的確切順序看到每個數(shù)據(jù)庫操作,Aurora DSQL使用了Amazon Time Sync Service,該服務(wù)在每個 Amazon EC2實(shí)例上添加了硬件參考時鐘,將它們同步到與衛(wèi)星連接的原子鐘,以提供世界任何地方的微秒級精確時間。

亞馬遜連甩6款大模型!推出3nm AI訓(xùn)練芯片,最強(qiáng)AI服務(wù)器算力爆表

Amazon DynamoDB第一個完全托管的無服務(wù)器NoSQL數(shù)據(jù)庫,通過重新定義性能和簡化操作,在任何規(guī)模下都無需基礎(chǔ)設(shè)施管理,并且始終保持個位數(shù)毫秒級的性能。

該數(shù)據(jù)庫現(xiàn)支持多區(qū)域強(qiáng)一致性,確保客戶的多區(qū)域應(yīng)用程序始終讀取最新數(shù)據(jù),而無需更改任何應(yīng)用程序代碼。

八、面向高密度AI工作負(fù)載,推出全新靈活數(shù)據(jù)中心組件

AWS宣布推出全新數(shù)據(jù)中心組件(電源、冷卻、硬件設(shè)計(jì)),旨在支持高密度AI工作負(fù)載。

(1)簡化電氣和機(jī)械設(shè)計(jì):使基礎(chǔ)設(shè)施可用性達(dá)到99.9999%,還將可能受電氣問題影響的機(jī)架數(shù)量減少了89%。

(2)冷卻、機(jī)架設(shè)計(jì)和控制系統(tǒng)的創(chuàng)新:開發(fā)全新可配置液冷解決方案,通過優(yōu)化數(shù)據(jù)中心機(jī)架的定位方式來最大限度利用電力,更新了標(biāo)準(zhǔn)化監(jiān)控、報警和操作順序的控制系統(tǒng)。

(3)提高能源效率和可持續(xù)性:與之前的設(shè)計(jì)相比,預(yù)計(jì)在峰值冷卻條件下機(jī)械能消耗可降低多達(dá)46%;與行業(yè)平均水平相比,數(shù)據(jù)中心建筑外殼混凝土中的隱含碳減少35%;備用發(fā)電機(jī)將能夠使用可生物降解且無毒的可再生柴油燃料。

結(jié)語:一場大型科技創(chuàng)新秀場

歷屆AWS re:Invent大會,都是計(jì)算、安全、存儲系統(tǒng)和AI基礎(chǔ)設(shè)施等的大型創(chuàng)新秀場。

從2003年秋天啟程開始,AWS不斷降低云服務(wù)的門檻,將大公司級成本結(jié)構(gòu)和規(guī)模的基礎(chǔ)設(shè)施變成人人隨處可得,讓大中小型企業(yè)團(tuán)隊(duì)不必在計(jì)算、存儲、數(shù)據(jù)庫、分析等方面重復(fù)造輪子。

在全棧創(chuàng)新的深度和產(chǎn)品組合的廣度,使得這家云大廠能夠持續(xù)鞏固高性能、節(jié)能、安全、合規(guī)、擴(kuò)展性等方面的可信賴度,并跟上快速變化的AI需求,有足夠的經(jīng)驗(yàn)和能力來幫助客戶更好地專注于自身業(yè)務(wù)和適應(yīng)創(chuàng)新。

贊助本站

相關(guān)內(nèi)容
AiLab云推薦
展開

熱門欄目HotCates

Copyright © 2010-2025 AiLab Team. 人工智能實(shí)驗(yàn)室 版權(quán)所有    關(guān)于我們 | 聯(lián)系我們 | 廣告服務(wù) | 公司動態(tài) | 免責(zé)聲明 | 隱私條款 | 工作機(jī)會 | 展會港