本文作者：李丹
來(lái)源：硬AI
不止是OpenAI備受關(guān)注的下一代模型“獵戶座”（Orion），谷歌和OpenAI的勁敵、另一明星人工智能（AI）初創(chuàng)Anthropic也傳出了先進(jìn)AI模型開發(fā)遭遇瓶頸的消息。
美東時(shí)間11月13日周三，彭博社報(bào)道援引兩名知情者的消息稱，OpenAI今年9月完成了獵戶座的首輪訓(xùn)練，希望它能大大超越此前的一些版本，更接近AI超越人類這一目標(biāo)，但獵戶座未能達(dá)到公司期望的性能，比如截至夏末，該模型在嘗試回答未經(jīng)訓(xùn)練的編碼問題時(shí)還表現(xiàn)不佳。
知情者評(píng)價(jià)，總體而言，到目前為止，相比GPT-4超越GPT-3.5的表現(xiàn)，獵戶座和OpenAI現(xiàn)有模型相比進(jìn)步?jīng)]那么大。
報(bào)道還援引其他三名知情者消息的稱，谷歌即將推出的新版Gemini并未達(dá)到內(nèi)部預(yù)期，Anthropic也推遲了被稱為的3.5 Opus的Claude模型計(jì)劃發(fā)布時(shí)間。
報(bào)道認(rèn)為上述三家公司開發(fā)AI模型面臨多重挑戰(zhàn)，他們?cè)絹?lái)越難以找到尚未開發(fā)的高質(zhì)量人造訓(xùn)練數(shù)據(jù)。例如獵戶座的編碼性能未能令人滿意就部分源于缺乏足夠的編碼數(shù)據(jù)進(jìn)行訓(xùn)練。即使是適度的模型性能提升也可能不足以證明，打造和運(yùn)行新模型的巨大成本合理，或者無(wú)法滿足重大升級(jí)的期望。
AI模型開發(fā)瓶頸的問題挑戰(zhàn)了被很多初創(chuàng)甚至科技巨頭都奉為圭臬的定律Scaling law，也讓AI大舉投資即實(shí)現(xiàn)通用人工智能（AGI）的可行性遭到質(zhì)疑。
華爾街見聞曾提到，OpenAI早在2020年就提出的該定律是指，大模型的最終性能主要與計(jì)算量、模型參數(shù)量和訓(xùn)練數(shù)據(jù)量三者的大小相關(guān)，而與模型的具體結(jié)構(gòu)（層數(shù)/深度/寬度）基本無(wú)關(guān)。今年7月微軟的首席技術(shù)官（CTO）Kevin Scott還為這個(gè)定律辯護(hù)，稱Scaling law仍適用于當(dāng)前業(yè)態(tài)在擴(kuò)張大模型的同時(shí)，邊際效益并沒有遞減。
巧的是，上周就有媒體爆料，OpenAI發(fā)現(xiàn)獵戶座“沒有那么大飛躍”，進(jìn)步幅度遠(yuǎn)不如前兩代旗艦?zāi)Ｐ�。這一發(fā)現(xiàn)直接挑戰(zhàn)了AI領(lǐng)域一直奉行的Scaling law。由于高質(zhì)量訓(xùn)練數(shù)據(jù)減少以及計(jì)算成本增加，OpenAI的研究人員不得不開始探討是否有其他改進(jìn)模型性能的方法。
例如，OpenAI正在將更多代碼編寫功能嵌入其模型并試圖開發(fā)一種軟件，可以接管個(gè)人電腦，通過執(zhí)行點(diǎn)擊、 光標(biāo)移動(dòng)等其他操作， 完成網(wǎng)絡(luò)瀏覽器活動(dòng)或應(yīng)用程序的任務(wù)。
OpenAI還成立了一個(gè)專門團(tuán)隊(duì)，由之前負(fù)責(zé)預(yù)訓(xùn)練的Nick Ryder領(lǐng)導(dǎo)，負(fù)責(zé)探索如何優(yōu)化有限的訓(xùn)練數(shù)據(jù)和調(diào)整擴(kuò)展法的應(yīng)用，保持模型改進(jìn)的穩(wěn)定性。
對(duì)于本周三的彭博報(bào)道，谷歌DeepMind 發(fā)言人表示，公司“對(duì) Gemini 的進(jìn)展感到滿意，我們會(huì)在準(zhǔn)備就位時(shí)分享更多信息�！監(jiān)penAI 拒絕置評(píng)。Anthropic 也未置評(píng)，但提到了周一發(fā)布的一段博客內(nèi)容，在那段長(zhǎng)達(dá)五小時(shí)的播客中，有 Anthropic CEO Dario Amodei的發(fā)言。
Amodel稱，人們所說的scaling law并不是一種定律，這是用詞不當(dāng)，它不是通用的定律，而是經(jīng)驗(yàn)規(guī)律。Amodel預(yù)計(jì)scaling law會(huì)繼續(xù)存在，不過并不確定。他說未來(lái)幾年有“很多事”可能會(huì)“破壞”實(shí)現(xiàn)更強(qiáng)大 AI 的進(jìn)程，包括“我們可能會(huì)耗盡數(shù)據(jù)。”但他樂觀地認(rèn)為 AI 公司會(huì)找到克服一切阻礙的方法。
對(duì)于彭博的報(bào)道，提供企業(yè)定制AI解決方案的公司NossonAI的創(chuàng)始人Nosson Weissman評(píng)論稱，報(bào)道并未讓他困惑，因?yàn)槭紫�，他沒有看到在AI領(lǐng)域做出過重大貢獻(xiàn)的真正的專家表達(dá)過同樣看法，其次，我們經(jīng)�？吹侥Ｐ头矫嫒〉弥卮筮M(jìn)展，最后，他認(rèn)為新聞媒體喜歡制造戲劇效果，這篇報(bào)道看來(lái)只是起了一個(gè)漂亮的戲劇性標(biāo)題。
