智東西（公眾號(hào)：zhidxcom）
編譯｜依婷
編輯｜Panken
智東西11月14日消息，據(jù)外媒The Information報(bào)道，一位參與工作的內(nèi)部人士稱，谷歌最近一直在為提升其聊天機(jī)器人產(chǎn)品Gemini的性能而努力，該公司希望模型性能提升的速度可以與去年相當(dāng)，這促使研究人員專注于其他方法來勉強(qiáng)取得效果。
這種情況和OpenAI的遭遇類似。此前有報(bào)道稱，OpenAI模型性能提升速度有所放緩，該公司正改變技術(shù)策略來解決問題。
回到谷歌本身，上述人士稱，谷歌在投入了大量算力和訓(xùn)練數(shù)據(jù)，如來自網(wǎng)頁的文本和圖像后，并沒有實(shí)現(xiàn)一些高管所期待的性能提升。當(dāng)研究人員使用更多的數(shù)據(jù)和算力來訓(xùn)練模型時(shí)，過去版本的Gemini大模型改進(jìn)速度更快。
谷歌的經(jīng)歷是scaling law（縮放定律）受到考驗(yàn)的另一跡象。許多研究人員認(rèn)為，只要使用更專業(yè)的AI芯片來處理更多的數(shù)據(jù)，模型就會(huì)以相同的速度改進(jìn)。但目前來看，這兩個(gè)因素似乎遠(yuǎn)遠(yuǎn)不夠。
這個(gè)問題成為谷歌的心頭大患。因?yàn)樵陂_發(fā)者和客戶數(shù)量方面，Gemini模型落后于OpenAI的GPT模型，而谷歌一直希望它在算力資源方面的優(yōu)勢(shì)，可以助力它在模型性能方面超越OpenAI。與此同時(shí)，兩家公司都在開發(fā)由現(xiàn)有技術(shù)版本提供支持的新產(chǎn)品，這些產(chǎn)品可以幫助軟件程序員和其他辦公人員，在處理繁瑣及復(fù)雜工作時(shí)，實(shí)現(xiàn)自動(dòng)化。
“我們對(duì)在Gemini上看到的進(jìn)展很滿意，在合適的時(shí)機(jī)我們會(huì)披露更多消息。”谷歌發(fā)言人稱，公司正在重新考慮如何處理訓(xùn)練數(shù)據(jù)并在數(shù)據(jù)上大量投資。這位發(fā)言人說，谷歌還成功地加快了模型的響應(yīng)速度，這“對(duì)于以谷歌的規(guī)模提供AI服務(wù)很重要”。
在OpenAI，研究人員發(fā)明了推理模型等新技術(shù)，以彌補(bǔ)在模型訓(xùn)練階段，使用傳統(tǒng)scaling law技術(shù)導(dǎo)致的性能提升放緩問題。谷歌似乎也在效仿。最近幾周，DeepMind在其Gemini部門內(nèi)組建了一個(gè)團(tuán)隊(duì)，該團(tuán)隊(duì)由首席研究科學(xué)家Jack Rae和前Character.AI聯(lián)合創(chuàng)始人Noam Shazeer領(lǐng)導(dǎo)，旨在開發(fā)類似OpenAI推理模型的能力。
開發(fā)Gemini的研究人員也一直專注于對(duì)模型進(jìn)行手動(dòng)改進(jìn)。參與這項(xiàng)工作的人說，改進(jìn)工作包括更改它們的“超參數(shù)（hyperparameters）”，或者是決定模型如何處理信息的變量，比如，模型在訓(xùn)練數(shù)據(jù)中不同概念或模塊之間建立聯(lián)系的速度。研究人員在稱為“模型調(diào)優(yōu)（model tuning）”的過程中測(cè)試不同的超參數(shù)，以檢驗(yàn)?zāi)男┳兞繒?huì)帶來最佳結(jié)果。
上述人士說，谷歌在其傳統(tǒng)方法中遇到的一個(gè)問題是，它在用于開發(fā)Gemini的數(shù)據(jù)中發(fā)現(xiàn)了相同信息的副本。他們說，這可能損害了Gemini的表現(xiàn)。對(duì)此，谷歌發(fā)言人回復(fù)稱，此類問題對(duì)團(tuán)隊(duì)來說并不新鮮。
另外，該人士還透露，谷歌研究人員曾嘗試使用AI生成的數(shù)據(jù)（也稱為合成數(shù)據(jù)），以及音視頻作為Gemini的訓(xùn)練數(shù)據(jù)來改進(jìn)模型性能，但沒有產(chǎn)生顯著效果。
結(jié)語：巨頭遇到瓶頸，“AI泡沫”還是AGI？
一周時(shí)間，OpenAI和谷歌這兩大AI巨頭接連被爆出模型性能提升緩慢問題，且目前來看兩家公司都沒有找到有效解法，scaling law的有效性受到挑戰(zhàn)。
從公司個(gè)體來看，兩巨頭的技術(shù)領(lǐng)先地位將面臨極大挑戰(zhàn)；從行業(yè)來看，技術(shù)瓶頸長(zhǎng)期無解可能會(huì)導(dǎo)向悲觀派所說的“AI泡沫”。
世界離AGI還有多遠(yuǎn)？還要看這些巨頭公司們多久突破技術(shù)瓶頸。
來源：The Information
