金磊 發(fā)自 拉斯維加斯
量子位 | 公眾號(hào) QbitAI
就在剛剛，云計(jì)算一哥亞馬遜云科技，在大模型這件事兒上搞了波大的
亞馬遜CEO Andy Jassy親自站臺(tái)re:Invent24，發(fā)布自家新款A(yù)I多模態(tài)系列大模型，名曰Amazon Nova。
而且是一口氣涵蓋文本對(duì)話(huà)、圖片生成、視頻生成，甚至直接吐露一個(gè)小目標(biāo)：
將來(lái)我們不僅要Speech to Speech，更要Any-to-Any！
整體而言，Amazon Nova系列中的所有模型，均以功能和尺寸來(lái)劃分。
先來(lái)看下新版尖端基礎(chǔ)大模型的“文本對(duì)話(huà)篇”，一共包含四個(gè)杯型：
Amazon Nova Micro：僅限文本對(duì)話(huà)，主打一個(gè)低價(jià)格和低延遲；
Amazon Nova Lite：低成本的多模態(tài)大模型，處理圖像、視頻和文本輸入的速度極快。
Amazon Nova Pro：高性能的多模態(tài)大模型，精度、速度和成本最佳“配方”，可處理廣泛的任務(wù)。
Amazon Nova Premier：亞馬遜最強(qiáng)多模態(tài)大模型，可處理復(fù)雜的推理任務(wù)，也可用于蒸餾客戶(hù)定制化的模型。
在現(xiàn)場(chǎng)，Andy也曬出了Amazon Nova在CRAG、BFCL、VisualWebBench和Mind2Web等Benchmarks上取得的分?jǐn)?shù)。
從成績(jī)中不難看出，其在檢索增強(qiáng)生成（RAG）、函數(shù)調(diào)用和智能體應(yīng)用方面具有較好的性能。
據(jù)悉，前三者已經(jīng)上架亞馬遜云科技的“模型工廠”Amazon Bedrock，而Premier版本則將于2025年第一季度推出。
目前也有一些實(shí)測(cè)已經(jīng)流出，例如給Amazon Nova Pro一句Prompt：
Write a summary of this doc in 100 words. Then, build a decision tree.寫(xiě)一篇100字的摘要。然后，構(gòu)建一個(gè)決策樹(shù)。
啪的一下，結(jié)果就出來(lái)了：
再如讓Amazon Nova Pro理解下面這個(gè)合并在一起的視頻：
它給出的答案是：
The video begins with a view of a rocky shore on the ocean, and then transitions to a close-up of a large seashell resting on a sandy beach.視頻一開(kāi)始是海洋上的巖石海岸，然后過(guò)渡到一個(gè)大貝殼躺在沙灘上的特寫(xiě)。
接下來(lái)，就是“非文本生成篇”，一共包括兩款。
Amazon Nova Canvas，主打的是圖像生成，用官方的話(huà)來(lái)說(shuō)，是達(dá)到了“State-of-the-art”（最先進(jìn)）的水平：
至于視頻生成模型，名叫Amazon Nova Reel，給定一張圖片和一句話(huà)，即可讓它動(dòng)起來(lái)：
而接下來(lái)Andy的一番話(huà)，直接讓現(xiàn)場(chǎng)不淡定了。
正如我們剛才提到的，Andy已經(jīng)放出了話(huà)，Amazon Nova即將呈現(xiàn)出來(lái)的態(tài)勢(shì)是萬(wàn)物皆可生成。
值得細(xì)細(xì)品味的一點(diǎn)是，亞馬遜云科技在生成式AI時(shí)代中，先前發(fā)布自研大模型并不算最吸睛的那一批。
雖然此前也發(fā)布過(guò)Amazon Titan大模型，但模態(tài)上也僅限于文本，更多的精力還是聚焦在了像Amazon Bedrock、Amazon Q這樣的平臺(tái)和應(yīng)用。
而這次，亞馬遜云科技卻一反常態(tài)，以厚積薄發(fā)之勢(shì)把主流模態(tài)全面覆蓋，甚至一句“Any-to-Any”彰顯其雄心。
為何會(huì)如此？
縱觀整場(chǎng)發(fā)布會(huì)，透過(guò)亞馬遜云科技CEO Matt Garman的全程介紹，或許可以把答案總結(jié)為
實(shí)力是一直有的，只是現(xiàn)在客戶(hù)有需求了。
△Matt Garman首次以CEO身份參加re:Invent
這又該如何理解？我們繼續(xù)往下看。
算力再升級(jí)，價(jià)格很美麗先看實(shí)力。
作為云計(jì)算一哥，算力是亞馬遜云科技的看家本領(lǐng)之一。
與傳統(tǒng)云服務(wù)廠商不同，其自主研發(fā)并優(yōu)化的專(zhuān)用芯片和數(shù)據(jù)中心，包括Graviton和Nitro等專(zhuān)有服務(wù)器主機(jī)，為實(shí)時(shí)計(jì)算提供支持。
而這一次，從芯片到服務(wù)器，基礎(chǔ)設(shè)施上一系列的更新動(dòng)作，可以分為三大板塊來(lái)看
計(jì)算（Compute）、存儲(chǔ)（Storage）和數(shù)據(jù)庫(kù)（Database）。
在計(jì)算層面上，亞馬遜云科技先是宣布Amazon EC2 Trn2實(shí)例正式可用。
EC2 Trn2實(shí)例采用了第二代Trainium 芯片（Trainium2），與上一代Trn1實(shí)例相比，性能提升顯著。具體來(lái)說(shuō)：
訓(xùn)練速度提高4倍：這一性能提升能有效減少模型訓(xùn)練所需時(shí)間，加快企業(yè)應(yīng)用落地；
內(nèi)存帶寬提高4倍：更強(qiáng)的數(shù)據(jù)傳輸能力可以滿(mǎn)足復(fù)雜模型對(duì)實(shí)時(shí)數(shù)據(jù)處理的高要求；
內(nèi)存容量提高3倍：為高參數(shù)量模型的運(yùn)行提供了足夠的計(jì)算資源。
此外，Trn2實(shí)例在性?xún)r(jià)比上比當(dāng)前基于GPU的EC2 P5e和P5en實(shí)例高出30-40%。
每個(gè)Trn2實(shí)例包含16個(gè)Trainium2芯片，192 vCPUs，2 TiB的內(nèi)存，以及3.2 Tbps的Elastic Fabric Adapter (EFA) v3 網(wǎng)絡(luò)帶寬，這比上一代降低了高達(dá) 35% 的延遲。
針對(duì)更高性能需求，亞馬遜云科技同時(shí)推出了Trn2 UltraServer。
這是一種全新的超大規(guī)模計(jì)算產(chǎn)品，每臺(tái)UltraServer包含64個(gè)Trainium2芯片，并通過(guò)高帶寬、低延遲的 NeuronLink互連實(shí)現(xiàn)了卓越的性能。
這使得Trn2 UltraServer成為訓(xùn)練超大規(guī)模基礎(chǔ)模型（如生成式 AI、LLM 等）的理想選擇。
NeuronLink是亞馬遜云科技專(zhuān)有的網(wǎng)絡(luò)互連技術(shù)，它能夠?qū)⒍嗯_(tái)Trainium服務(wù)器組合成一個(gè)邏輯上的單一服務(wù)器，連接帶寬可達(dá)2TB/s的帶寬，而延遲僅為1微秒。
它的設(shè)計(jì)特別適合分布式深度學(xué)習(xí)任務(wù)，在網(wǎng)絡(luò)通信上的優(yōu)化有助于顯著縮短訓(xùn)練時(shí)間，提升資源利用率。
用官方的話(huà)來(lái)說(shuō)就是：
這正是訓(xùn)練萬(wàn)億級(jí)參數(shù)的大型人工智能模型所需要的超級(jí)計(jì)算平臺(tái)，非常強(qiáng)大。
在現(xiàn)場(chǎng)，蘋(píng)果也來(lái)為亞馬遜站臺(tái)，機(jī)器學(xué)習(xí)和人工智能高級(jí)總監(jiān)Benoit Dupin表示：
蘋(píng)果將使用亞馬遜云科技的Trainium2芯片。
除此之外，在芯片層面上，亞馬遜云科技發(fā)布了AWS Trainium3芯片預(yù)覽版，預(yù)計(jì)于2025年正式推出。
據(jù)悉，Trainium3將采用3納米工藝制造，提供兩倍于Trainium2的計(jì)算能力，并提升40%的能效。
在計(jì)算（Compute）之后，便是存儲(chǔ)（Storage）上的更新。
我們都知道，在數(shù)據(jù)分析和大數(shù)據(jù)領(lǐng)域，處理和查詢(xún)大規(guī)模數(shù)據(jù)集的能力至關(guān)重要。
而傳統(tǒng)的數(shù)據(jù)查詢(xún)方法在處理海量數(shù)據(jù)時(shí)，常常導(dǎo)致性能瓶頸和管理復(fù)雜性，影響了企業(yè)的數(shù)據(jù)驅(qū)動(dòng)決策能力。
為此，亞馬遜云科技專(zhuān)門(mén)推出了Amazon S3 Tables。
Amazon S3 Tables提供了一種新的存儲(chǔ)方式，專(zhuān)為表格數(shù)據(jù)設(shè)計(jì)，支持使用Amazon Athena、Amazon EMR 和 Apache Spark等流行的查詢(xún)引擎進(jìn)行輕松查詢(xún)。
S3的表存儲(chǔ)桶是它的第三種存儲(chǔ)桶類(lèi)型，與現(xiàn)有的通用存儲(chǔ)桶和目錄存儲(chǔ)桶并列；可以將表存儲(chǔ)桶視為一個(gè)分析倉(cāng)庫(kù)，用于存儲(chǔ)具有不同模式的Iceberg表格。
與自管理的表格存儲(chǔ)相比，S3 Tables可以實(shí)現(xiàn)高達(dá)3倍的查詢(xún)性能提升和10倍的每秒事務(wù)處理能力，同時(shí)提供全托管服務(wù)的操作效率。
除此之外，元數(shù)據(jù)（Metadata）也變得越發(fā)重要，例如電話(huà)里面有很多照片，正是因?yàn)橥ㄟ^(guò)元數(shù)據(jù)儲(chǔ)存數(shù)據(jù)，現(xiàn)在可以實(shí)現(xiàn)用自然語(yǔ)言很快找到這張照片。
基于這樣的需求，亞馬遜云科技推出了Amazon S3 Metadata的預(yù)覽版。
Amazon S3 Metadata提供了一種自動(dòng)化、易于查詢(xún)的元數(shù)據(jù)管理方式，這些元數(shù)據(jù)幾乎實(shí)時(shí)更新，幫助用戶(hù)整理、識(shí)別和使用S3數(shù)據(jù)進(jìn)行業(yè)務(wù)分析、實(shí)時(shí)推理應(yīng)用等。
它支持對(duì)象元數(shù)據(jù)，包括系統(tǒng)定義的詳細(xì)信息（如大小和對(duì)象來(lái)源）以及自定義元數(shù)據(jù)，允許用戶(hù)使用標(biāo)簽為對(duì)象添加產(chǎn)品SKU、交易ID或內(nèi)容評(píng)級(jí)等信息。
而這些元數(shù)據(jù)同樣也存儲(chǔ)在S3 Tables之中。
在計(jì)算、存儲(chǔ)之后，便是基礎(chǔ)設(shè)施的第三大板塊數(shù)據(jù)庫(kù)（Database）。
有意思的一點(diǎn)是，Matt在現(xiàn)場(chǎng)分享了一張“OR”還是“AND”的圖，表示企業(yè)在選擇數(shù)據(jù)庫(kù)時(shí)普遍遇到的艱難抉擇跨區(qū)域一致、高可用性、低延遲，往往只能3選2。
而亞馬遜云科技此次給出的答卷是，都可以有。
這就是新型無(wú)服務(wù)器分布式數(shù)據(jù)庫(kù)Amazon Aurora DSQL，旨在解決傳統(tǒng)數(shù)據(jù)庫(kù)在擴(kuò)展性和性能方面的挑戰(zhàn)。
Aurora DSQL結(jié)合了傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)的強(qiáng)一致性和NoSQL數(shù)據(jù)庫(kù)的分布式擴(kuò)展能力，提供了以下幾個(gè)關(guān)鍵優(yōu)勢(shì)：
跨區(qū)域強(qiáng)一致性和低延遲：采用了全新的架構(gòu)，使其能夠在多個(gè)地理區(qū)域中同時(shí)運(yùn)行，而保持強(qiáng)一致性。
無(wú)限擴(kuò)展：能夠處理數(shù)TB到數(shù)PB級(jí)的數(shù)據(jù)集，適用于任何規(guī)模的企業(yè)。
超高可用性：提供99.999%的可用性，這對(duì)于許多需要高可用性和無(wú)縫運(yùn)行的企業(yè)級(jí)應(yīng)用至關(guān)重要。
性能優(yōu)越：其跨區(qū)域的讀寫(xiě)操作比Spanner快了四倍。
以上便是亞馬遜云科技此次在基礎(chǔ)設(shè)施上的發(fā)力了。
新的積木推理如果說(shuō)把基礎(chǔ)設(shè)施的三大板塊視為三塊積木，那么接下來(lái)，亞馬遜云科技在模型層和應(yīng)用層方面添加了第四塊積木推理（Inference）。
推理是生成式AI工作流的核心，它指的是將已經(jīng)訓(xùn)練好的模型應(yīng)用到新數(shù)據(jù)上，進(jìn)行預(yù)測(cè)、生成或推斷。
Matt在會(huì)上強(qiáng)調(diào)：
推理在AI模型的應(yīng)用中變得尤為重要，尤其是在處理像大型語(yǔ)言模型等復(fù)雜模型時(shí)，推理要求極高的計(jì)算能力和低延遲響應(yīng)。
而Amazon Bedrock作為亞馬遜云科技在模型層的一項(xiàng)AI平臺(tái)服務(wù)，先是與我們上述的基礎(chǔ)設(shè)施在推理上保持了同步。
換言之，Inferentia和Trainium芯片提供的推理的硬件優(yōu)化，用戶(hù)可以通過(guò)Amazon Bedrock便捷訪問(wèn)這些資源。
而至于Amazon Bedrock本身，這次也迎來(lái)多項(xiàng)能力的升級(jí)。
首先就是模型蒸餾（Model Distillation），能夠自動(dòng)化創(chuàng)建針對(duì)特定用例的蒸餾模型。
主要是通過(guò)從大型基礎(chǔ)模型（教師模型）生成響應(yīng)，并使用這些響應(yīng)來(lái)微調(diào)較小的基礎(chǔ)模型（學(xué)生模型），從而實(shí)現(xiàn)知識(shí)轉(zhuǎn)移，提高小模型的精確度，同時(shí)降低延遲和成本。
其次是多智能體協(xié)作（multi-agent collaboration）。
在需要多個(gè)智能體處理復(fù)雜任務(wù)的場(chǎng)景中，管理這些智能體變得具有挑戰(zhàn)性，尤其是隨著任務(wù)復(fù)雜性的增加。
使用開(kāi)源解決方案的開(kāi)發(fā)者可能會(huì)發(fā)現(xiàn)自己需要手動(dòng)實(shí)現(xiàn)智能體編排、會(huì)話(huà)處理、內(nèi)存管理等復(fù)雜操作。
這也正是亞馬遜云科技在Amazon Bedrock上推出多智能體協(xié)作的出發(fā)點(diǎn)。具體特點(diǎn)如下：
快速設(shè)置：無(wú)需復(fù)雜編碼，幾分鐘內(nèi)創(chuàng)建、部署和管理協(xié)同工作的AI智能體。
可組合性：將現(xiàn)有智能體作為子智能體集成到更大的智能體系統(tǒng)中，使它們能夠無(wú)縫協(xié)作以應(yīng)對(duì)復(fù)雜的工作流程。
高效的智能體間通信：監(jiān)督智能體可以使用一致的接口與子智能體進(jìn)行交互，支持并行通信以更高效地完成任務(wù)。
優(yōu)化的協(xié)作模式：在監(jiān)督模式和監(jiān)督加路由模式之間選擇。在路由模式下，監(jiān)督智能體將直接將簡(jiǎn)單請(qǐng)求路由到相關(guān)的子智能體，繞過(guò)完整的編排。
最后，也是更為重要的一點(diǎn)，便是防止大型語(yǔ)言模型幻覺(jué)導(dǎo)致的事實(shí)錯(cuò)誤的功能自動(dòng)推理檢查（Automated Reasoning checks），這是Amazon Bedrock Guardrails中新增的一項(xiàng)功能。
這種新的防護(hù)措施，旨在通過(guò)數(shù)學(xué)驗(yàn)證來(lái)確保LLMs生成的響應(yīng)的準(zhǔn)確性，并防止幻覺(jué)導(dǎo)致的事實(shí)錯(cuò)誤。
自動(dòng)推理檢查使用基于數(shù)學(xué)和邏輯的算法驗(yàn)證和推理過(guò)程來(lái)驗(yàn)證模型生成的信息，確保輸出與已知事實(shí)一致，而不是基于虛構(gòu)或不一致的數(shù)據(jù)。
與機(jī)器學(xué)習(xí)（ML）不同，自動(dòng)推理提供了關(guān)于系統(tǒng)行為的數(shù)學(xué)保證。
據(jù)悉，亞馬遜云科技已經(jīng)在存儲(chǔ)、網(wǎng)絡(luò)、虛擬化、身份和密碼學(xué)等關(guān)鍵服務(wù)領(lǐng)域使用自動(dòng)推理，例如，自動(dòng)推理用于正式驗(yàn)證密碼實(shí)現(xiàn)的正確性，提高性能和開(kāi)發(fā)速度。
在性能方面，Bedrock還推出了低延遲優(yōu)化推理，由此，用戶(hù)可以在使用最先進(jìn)的大模型基礎(chǔ)上，還享受卓越的推理性能。
值得一提的是，Llama 405B和Llama 70B低延遲優(yōu)化版本，在亞馬遜云科技上展現(xiàn)出超越其他云提供商的出色表現(xiàn)。
還有應(yīng)用層和其它更新針對(duì)開(kāi)發(fā)者和企業(yè)，亞馬遜云科技在應(yīng)用層上的代表作便是Amazon Q了。
針對(duì)越來(lái)越多的企業(yè)尋求從本地?cái)?shù)據(jù)中心遷移到云的痛點(diǎn)，亞馬遜云科技在Amazon Q Developer上推出了多項(xiàng)新功能。
其中較為引人注目的就是Transformation for Windows .NET Applications，這項(xiàng)功能使得企業(yè)能夠更快速地將.NET應(yīng)用程序遷移到AWS，同時(shí)還能夠顯著降低遷移成本。
Amazon Q為.NET應(yīng)用程序提供了自動(dòng)化遷移工具，能夠識(shí)別應(yīng)用程序中可能存在的不兼容問(wèn)題，生成遷移計(jì)劃，并且自動(dòng)調(diào)整源代碼，確保平滑過(guò)渡到云端。這種自動(dòng)化遷移大幅提高了工作效率，減少了人為干預(yù)。
通過(guò)將應(yīng)用程序從Windows遷移到Linux，企業(yè)能夠節(jié)省高昂的Windows許可費(fèi)用，降低TCO（總擁有成本）。
Matt指出，使用Amazon Q的企業(yè)能夠節(jié)省多達(dá)40%的許可成本。
而且遷移速度比傳統(tǒng)手動(dòng)遷移快了四倍，大大減少了系統(tǒng)遷移的停機(jī)時(shí)間和風(fēng)險(xiǎn)。
除了Windows應(yīng)用的遷移，亞馬遜云科技還推出了Amazon Q Developer Transformation for VMware Workloads功能，專(zhuān)為運(yùn)行在VMware上的企業(yè)工作負(fù)載設(shè)計(jì)。
通過(guò)這一工具，亞馬遜云科技可以幫助企業(yè)將本地的VMware環(huán)境遷移到云平臺(tái)。
應(yīng)用層之外，還有諸如將AI和分析做結(jié)合的產(chǎn)品Amazon SageMaker。
它作為一個(gè)可以幫企業(yè)加速AI應(yīng)用的開(kāi)發(fā)、訓(xùn)練和部署的數(shù)據(jù)科學(xué)平臺(tái)，今天也正式步入了“下一代”。
新一代SageMaker的核心是SageMaker Unified Studio。
這是一個(gè)單一的數(shù)據(jù)和AI開(kāi)發(fā)環(huán)境，它整合了Amazon Athena、Amazon EMR、AWS Glue、Amazon Redshift、Amazon Managed Workflows for Apache Airflow (MWAA)以及現(xiàn)有的SageMaker Studio中的工具和功能。
其次是Amazon SageMaker Lakehouse，可以統(tǒng)一Amazon S3數(shù)據(jù)湖、Amazon Redshift數(shù)據(jù)倉(cāng)庫(kù)和第三方及聯(lián)合數(shù)據(jù)源。
亞馬遜云科技的“AI步法”在看完本屆re:Invent所有內(nèi)容和實(shí)力之后，亞馬遜云科技在生成式AI時(shí)代的發(fā)展路徑其實(shí)也就比較清晰了
從客戶(hù)的真實(shí)業(yè)務(wù)需求出發(fā)。
上文種種內(nèi)容的更新，都是基于“客戶(hù)的服務(wù)出現(xiàn)了什么問(wèn)題”，包括計(jì)算、存儲(chǔ)、數(shù)據(jù)庫(kù)上的瓶頸，包括客戶(hù)在模型上的選擇，再包括應(yīng)用上的遷移服務(wù)等等。
洞悉了背后的實(shí)用主義邏輯，也就不難理解，亞馬遜云科技為何選擇在這個(gè)時(shí)間節(jié)點(diǎn)上發(fā)布一系列多模態(tài)大模型，還是因?yàn)榭蛻?hù)有需要。
這種需要，具體而言，就是客戶(hù)在模型上的選擇，畢竟“沒(méi)有一個(gè)模型可以一統(tǒng)天下”，每個(gè)模型都有自己所擅長(zhǎng)的領(lǐng)域。
但亞馬遜云科技所做的，是利用自己在基礎(chǔ)設(shè)施、工具/模型和應(yīng)用三個(gè)層面的深耕和實(shí)力，給客戶(hù)多提供了一個(gè)“快、好、省”的選項(xiàng)。
回顧亞馬遜云科技的起步，似乎這一點(diǎn)從未變過(guò)。
正如Matt在大會(huì)上回憶的那樣：
亞馬遜云科技在2006年推出時(shí)，初創(chuàng)公司是第一批用戶(hù)，他們總是非常積極地采用新技術(shù)，并且能夠提供有價(jià)值的反饋。
而這種反饋也進(jìn)一步推動(dòng)了亞馬遜云科技的發(fā)展，也有助于理解如何更好地支持創(chuàng)業(yè)精神。
因此，Matt在大會(huì)中還宣布了一個(gè)重磅消息：
將在2025年為全球的初創(chuàng)公司提供10億美元的資金支持！
One More Thing本屆re:Invent共計(jì)6萬(wàn)人參與，來(lái)感受一下這個(gè)熱情、這個(gè)feel~
參考鏈接：[1]https://www.aboutamazon.com/news/aws/amazon-nova-artificial-intelligence-bedrock-aws[2]https://aws.amazon.com/blogs/aws/amazon-ec2-trn2-instances-and-trn2-ultraservers-for-aiml-training-and-inference-is-now-available/[3]https://aws.amazon.com/blogs/aws/new-amazon-s3-tables-storage-optimized-for-analytics-workloads/
