大模型預訓練“縮放定律”定律失效？模型推理成“解藥”，英偉達一家獨大格局要變天？
“縮放定律”指導下，AI大模型預訓練目前遭遇瓶頸。據(jù)路透12日報道，硅谷主要AI實驗室的新模型訓練計劃目前普遍進展不順，新模型訓練遭遇拖延和令人失望的結(jié)果。比起GPT-4o，Orion被曝幾乎沒有任何改進，谷歌的Gemini 2.0也存在類似問題。
為克服瓶頸，OpenAI正探索“測試時計算”（training runs）技術(shù)，讓模型不再受限于預訓練，而能夠以多步驟方法思考問題（推理）來提升表現(xiàn)。報道稱，相關(guān)技術(shù)的應用最終推動OpenAI發(fā)布o1模型。
這可能會改變?nèi)斯ぶ悄苡布母偁幐窬帧?br/>
目前為止，AI硬件市場主要由對英偉達訓練芯片的無限需求主導。但如果通過增加訓練時間和測試（推理）時間，模型就能獲得更好的結(jié)果，那新一代模型可能就不再需要那么大的參數(shù)，較小的模型將直接降低成本。市場需求或?qū)拇笠?guī)模預訓練集群轉(zhuǎn)向推理云，英偉達在推理芯片市場可能會面臨更多競爭。
“縮放定律”面臨挑戰(zhàn)
硅谷主要AI實驗室的新模型訓練目前普遍進展不順。
據(jù)科技媒體The Information報道，OpenAI開發(fā)的下一個旗艦模型“Orion”，目前已經(jīng)完成20%的訓練。盡管表現(xiàn)已接近現(xiàn)有的GPT-4，但進步幅度卻遠不如前兩代旗艦模型之間的飛躍。
Orion在語言任務上表現(xiàn)更好，但在編碼等任務上可能不會優(yōu)于以前的模型。且與最近發(fā)布的其他模型相比，OpenAI在其數(shù)據(jù)中心運行 Orion 的成本可能更高。
Orion的進展放緩直接挑戰(zhàn)了人工智能領域一直奉行的“縮放定律”，即在數(shù)據(jù)量和計算資源不斷增加的前提下，模型性能將持續(xù)大幅度提升。
當年最早將“縮放定律”應用于實踐，并最終成功創(chuàng)造出ChatGPT的前Open AI聯(lián)合創(chuàng)始人Ilya Sutskever在接受路透采訪時直言，AI模型擴展訓練的結(jié)果，已經(jīng)趨于平穩(wěn)。通過在預訓練中使用更多的數(shù)據(jù)和算力，讓AI模型性能暴漲的階段可能已經(jīng)到頭了：
2010年代是“縮放定律”的時代，現(xiàn)在，我們再次回到了奇跡和發(fā)現(xiàn)的時代。每個人都在尋找下一個奇跡。
現(xiàn)在重要的是“擴大正確的規(guī)�！薄�
Ilya透露，他的團隊正在研究一種全新的替代方法，來擴展預訓練。
“測試時計算”會是破局方法嗎？
OpenAI則極力否認AI模型訓練面臨瓶頸。作為應對，OpenAI研究人員正在探索一項“測試時計算”（training runs）的技術(shù)。十幾位AI科學家、研究人員和投資者告訴路透社，他們認為正是這些技術(shù)，推動了OpenAI發(fā)布o1模型。
所謂測試時計算技術(shù)，是指在推理階段（模型被使用時）就將模型增強，讓模型可以實時生成和評估多種可能性，而不是理解選擇單一答案，最終選擇出最佳路徑。
這種方法可以允許模型將更多的處理能力，用于數(shù)學、編碼問題等具有挑戰(zhàn)性的任務，及需要類人推理和決策的復雜操作。
在新技術(shù)的運用下，o1在GPT-4等基礎模型上進行另一套訓練。該模型不再受限于預訓練，而能夠以多步驟方法思考問題（類似于人類推理）來提升表現(xiàn)。o1還涉及了來自博士和行業(yè)專家策劃的數(shù)據(jù)和反饋。
參與o1開發(fā)的OpenAI 研究員在上個月TEDAI大會上直言：
讓AI在一手撲克牌中思考20秒，所獲得的性能提升，與將模型擴大10萬倍、訓練時間延長10萬倍的效果相同。
英偉達壟斷地位有望打破？
其他科技巨頭也在積極跟進。
路透援引多名知情人士報道稱，來自Anthropic、xAI 和 Google DeepMind 等其他頂尖人工智能實驗室的研究人員也在開發(fā)自己的技術(shù)版本的“測試時計算”。
這可能會改變?nèi)斯ぶ悄苡布母偁幐窬帧?br/>
目前為止，AI硬件市場主要由對英偉達訓練芯片的無限需求主導。但如果通過增加訓練時間和測試（推理）時間，模型就能獲得更好的結(jié)果，那新一代模型可能就不再需要那么大的參數(shù)，較小的模型將直接降低成本。
從紅杉資本到 Andreessen Horowitz 等知名風險投資公司，他們已經(jīng)投入數(shù)十億美元資助 OpenAI 和 xAI 等多個人工智能實驗室昂貴的人工智能模型開發(fā)，他們正在關(guān)注這一轉(zhuǎn)變，并權(quán)衡其昂貴賭注的影響。
紅杉資本合伙人 Sonya Huang 向路透社表示：
這種轉(zhuǎn)變將使我們從大規(guī)模預訓練集群的世界轉(zhuǎn)向推理云，即用于推理的分布式云服務器。
這或許打破英偉達在訓練芯片領域的壟斷地位，公司在推理芯片市場可能會面臨更多競爭。類似Groq的推理芯片公司或能“撕開”行業(yè)缺口。
英偉達也坦誠推理芯片需求的變化，在上個月印度演講中，黃仁勛談到了新技術(shù)對芯片進行推理的需求不斷增加，強調(diào)了 o1 模型背后的技術(shù)的重要性：
我們現(xiàn)在發(fā)現(xiàn)了第二條“縮放定律”，這是推理時的“縮放定律”……所有這些因素都導致對 Blackwell 的需求非常高。
本文來自華爾街見聞，歡迎下載APP查看更多
