劃重點(diǎn)
01蘋果研究者發(fā)現(xiàn)無論是OpenAI GPT-4o和o1，還是Llama、Phi、Gemma和Mistral等開源模型，均未被發(fā)現(xiàn)任何形式推理的證據(jù)，而更像是復(fù)雜的模式匹配器。
02為此，蘋果研究者開發(fā)了一個(gè)名為GSM-Symbolic的數(shù)據(jù)集，用于客觀評價(jià)LLM的數(shù)學(xué)能力極限。
03實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，大模型在面對GSM-Symbolic的換皮題目時(shí)，準(zhǔn)確率都會(huì)下降，表現(xiàn)出對無關(guān)信息的敏感度。
04最終，蘋果研究者得出結(jié)論：LLM可能根本不會(huì)推理，而更像是復(fù)雜的模式匹配。
以上內(nèi)容由騰訊混元大模型生成，僅供參考
新智元報(bào)道編輯：peter東 Aeneas
【新智元導(dǎo)讀】蘋果研究者發(fā)現(xiàn)：無論是OpenAI GPT-4o和o1，還是Llama、Phi、Gemma和Mistral等開源模型，都未被發(fā)現(xiàn)任何形式推理的證據(jù)，而更像是復(fù)雜的模式匹配器。無獨(dú)有偶，一項(xiàng)多位數(shù)乘法的研究也被拋出來，越來越多的證據(jù)證實(shí)：LLM不會(huì)推理！
LLM真的會(huì)推理嗎？
最近，蘋果研究員發(fā)文質(zhì)疑道：LLM根本沒有不會(huì)推理，所謂的推理能力只是復(fù)雜的模式匹配罷了。
這項(xiàng)研究也在AI社區(qū)引起了廣泛討論。
谷歌DeepMind科學(xué)家Denny Zhou表示，自己ICML 2023的一篇論文中，也發(fā)現(xiàn)了類似現(xiàn)象。
Meta AI研究者田淵棟表示，梯度下降可能無法學(xué)習(xí)到這樣的權(quán)重。
巧的是，AI2等機(jī)構(gòu)在23年的一篇研究也被翻出，證實(shí)模型根本沒有學(xué)會(huì)數(shù)學(xué)推理，只是在「照背」答案而已。
網(wǎng)友們搜羅了越來越多的學(xué)術(shù)證據(jù)，一致證明：LLM可能根本不會(huì)推理！
圖靈三巨頭之一的LeCun，也在最近的萬字演講表示，Meta現(xiàn)在已經(jīng)完全放棄純語言模型，因?yàn)閮H靠文本訓(xùn)練，它永遠(yuǎn)不可能達(dá)到接近人類水平的智能！
目前Transformer架構(gòu)的大語言模型，難道真的是一條彎路？
換個(gè)馬甲，大模型的數(shù)學(xué)能力就滑坡了！
這次，蘋果的研究者們仔細(xì)研究了GPT-4o和o1系列閉源模型，以及Llama、Phi、Gemma、Mistral等開源模型的數(shù)學(xué)能力。此前，業(yè)界用來評價(jià)大模型數(shù)學(xué)能力的數(shù)據(jù)集是2021年發(fā)布的GSM8K，該數(shù)據(jù)集包含8000可小學(xué)水平的數(shù)學(xué)應(yīng)用題，例如下面的例子：
當(dāng)索菲照顧她侄子時(shí)，她會(huì)為他拿出各種各樣的玩具。積木袋里有31塊積木。毛絨動(dòng)物桶里有8個(gè)毛絨動(dòng)物。堆疊環(huán)塔上有9個(gè)五彩繽紛的環(huán)。索菲最近買了一管彈性球，這使她為侄子準(zhǔn)備的玩具總數(shù)達(dá)到了62個(gè)。管子里有多少個(gè)彈性球？
此時(shí)距OpenAI發(fā)布GSM8K已經(jīng)三年了，模型性能也從GPT-3的35%，提升到了30億參數(shù)模型的85%以上。
不過，這真的能證明LLM的推理能力確實(shí)提高了嗎？
要知道，由于是21年發(fā)布的數(shù)據(jù)集，如今的主流大模型可能抓取的訓(xùn)練數(shù)據(jù)無意間涵蓋了GSM8K的題目。
雖然大部分模型沒有公開訓(xùn)練數(shù)據(jù)的信息，但存在數(shù)據(jù)污染的可能，這就會(huì)導(dǎo)致大模型能夠靠背題答對GSM8K中題目。
因此，用這個(gè)數(shù)據(jù)集去評判LLM的數(shù)學(xué)能力，并不準(zhǔn)確。
于是，為了客觀評價(jià)LLM的數(shù)學(xué)能力極限，蘋果的研究者們開發(fā)了一個(gè)名為GSM-Symbolic的數(shù)據(jù)集。
GSM-Symbolic將GSM8K的題目進(jìn)行了修改，例如改變了索菲這個(gè)名字，侄子這個(gè)家人的稱謂，以及各種玩具的多少（數(shù)字）。
這樣一來，就可以產(chǎn)生出很多個(gè)看起來全新，但實(shí)際上卻是具有相同內(nèi)核的題目。
另外，除了GSM-Symbolic，這項(xiàng)研究還提出了GSM-NoOp數(shù)據(jù)集，GSM-NoOp 向題目中添加看似相關(guān)但實(shí)際上無關(guān)的數(shù)據(jù)，來判斷大模型在執(zhí)行邏輯推理任務(wù)時(shí)是否會(huì)受到無關(guān)數(shù)據(jù)的影響。
不管開源閉源，都會(huì)因題目換皮表現(xiàn)更差
實(shí)驗(yàn)結(jié)果很有趣：就跟人類一樣，數(shù)學(xué)題干一換，很多LLM就不會(huì)了！
蘋果的研究者們對比了GSM8k和GSM-Symbolic在多種模型上的性能差異，結(jié)果發(fā)現(xiàn)
無論是主流的開源模型還是閉源的GPT系列模型，甚至專門為數(shù)理推斷專門優(yōu)化的o1模型，當(dāng)面對GSM-Symbolic的換皮題目時(shí)，準(zhǔn)確率都會(huì)下降。
大多數(shù)模型在GSM-Symbolic上的平均性能，都低于在GSM8K上的平均性能。
GSM8k和GSM-Symbolic和模型性能對比
即使只更改了題目中的名稱，大模型的表現(xiàn)也會(huì)有存在差異，當(dāng)只改變了題目中的專有名詞時(shí)，性能下降在1%-2%之間，當(dāng)實(shí)驗(yàn)者更改數(shù)字或結(jié)合兩類更改時(shí)，差異則更為顯著。
對比只修改題目中的專有名詞，題目中數(shù)字和都修改時(shí)的準(zhǔn)確度
從圖2中可看出，幾乎所有模型都明顯出現(xiàn)了分布均值從右向左的逐漸移動(dòng)（準(zhǔn)確度變低），以及方差增加。
僅僅是更改一下專有名詞，就會(huì)存在如此大的差異，這種現(xiàn)象實(shí)在是令人擔(dān)憂：看來，LLM的確沒有真正理解數(shù)學(xué)概念。
即使理解了數(shù)學(xué)題目的小學(xué)生，都不會(huì)因?yàn)轭}目換湯不換藥，就不會(huì)做了。
隨后，蘋果的研究者繼續(xù)給這些LLM上難度。
他們引入了GSM-Symbolic的三個(gè)新變體：刪除一個(gè)分句（GSM-M1），增加一個(gè)分句（GSM-P1）或增加兩個(gè)分句（GSM-P2）。
果然，當(dāng)模型面對的題目變難時(shí)，例如題目從「打電話每分鐘10分錢，打60分鐘多少錢？」變?yōu)椤复螂娫捛?0分鐘每分鐘10分錢，之后每分鐘8分錢，如此打60分鐘電話費(fèi)多錢？」，大模型回答的準(zhǔn)確性降低，方差變大，這就意味著，LLM的性能極不穩(wěn)定，可靠性越來越差。
最后，當(dāng)模型面對增加了和題目無關(guān)的論述的題目（GSM-NoOP），性能的下降更是慘不忍睹。
所有模型的性能下降都更加明顯，其中Phi-3-mini 模型下降了超過 65%，甚至像o1-preview這樣的預(yù)期表現(xiàn)更好的模型也顯示出顯著的下降（17.5%）。
這是由于模型會(huì)將無關(guān)的論述當(dāng)成需要操作的步驟，從而畫蛇添足地回答錯(cuò)誤。
也就是說，當(dāng)今性能最強(qiáng)大的模型，也依然無法真正理解數(shù)學(xué)問題。
GSM-NoOP數(shù)據(jù)集相比GSM8k數(shù)據(jù)集的性能下降
o1系列模型，依然無法避免這些問題
從這項(xiàng)研究的結(jié)果來看，大模型在執(zhí)行真正的數(shù)學(xué)推理方面的重大局限性。
大模型在不同版本的同一問題上的表現(xiàn)高度差異，隨著難度輕微增加而表現(xiàn)大幅下降，以及對無關(guān)信息的敏感度表明，大模型進(jìn)行的推理及運(yùn)算是脆弱的。
最終，蘋果研究者給出這樣的結(jié)論它們可能更像是復(fù)雜的模式匹配，而不是真正的邏輯推理。
也就是說，即使我們繼續(xù)堆數(shù)據(jù)、參數(shù)和計(jì)算量，或者用更好的訓(xùn)練數(shù)據(jù)，也只能得到「更好的模式匹配器」，而非「更好的推理器」。
大模型實(shí)際不是解數(shù)學(xué)題，還是在進(jìn)行模式匹配
無獨(dú)有偶，23年的一項(xiàng)研究《信仰與命運(yùn)：Transformer作為模糊模式匹配器》也證實(shí)
大模型并沒有真正的理解數(shù)學(xué)概念，而只是根據(jù)模糊模式匹配來從訓(xùn)練數(shù)據(jù)的題庫中尋找答案。
研究者們很疑惑，為什么Claude或GPT-4這樣的模型輸出時(shí)，聽起來非常像一個(gè)人在推理，而且問題也都是需要推理才能解決的。
它們仿佛已經(jīng)在超人類智能的邊緣，但在處理一些簡單的事情上卻有很蠢。
比如，人類在學(xué)習(xí)基本計(jì)算規(guī)則后，可以解決三位數(shù)乘三位數(shù)的乘法算術(shù)。但在23年底，ChatGPT-3.5和GPT-4在此任務(wù)上的準(zhǔn)確率分別只有55%和59%。
到底發(fā)生了什么？
在《信仰與命運(yùn)》這篇論文中，Allen AI、華盛頓大學(xué)等的學(xué)者對LLM的這種表現(xiàn)提出了一種解釋「線性化子圖匹配」。
線性子圖匹配
他們猜測，大模型解決問題的方式是這樣的。
1. 任何任務(wù)的解決問題都可以表示為一個(gè)有向圖，該圖將任務(wù)描述為一系列步驟，這些步驟會(huì)被分別解決，然后將結(jié)果組合在一起。
2. 如果整個(gè)任務(wù)的解決方案過程可以用一個(gè)圖來描述，那么其中的子任務(wù)就是該圖中的子圖。圖的結(jié)構(gòu)描述了哪些步驟依賴于其他步驟，而這種依賴順序限制了子圖如何被展平成線性序列。
3. GPT類的模型，通常就是通過近似匹配來“解決”上述子圖的。給定一個(gè)可以用子圖描述的問題，大模型就會(huì)通過大致將其與訓(xùn)練數(shù)據(jù)中相似的子圖相匹，來進(jìn)行預(yù)測。
為了證明這項(xiàng)猜測，研究者測試了三個(gè)任務(wù)
乘法、愛因斯坦邏輯謎題和動(dòng)態(tài)規(guī)劃問題。
拿乘法舉例。
如果LLM真的能通過足夠的數(shù)據(jù)學(xué)會(huì)東西，或者能通過系統(tǒng)化的推理解決復(fù)雜的多步驟問題，那它應(yīng)該能通過足夠的例子或?qū)λ惴ǖ某浞纸忉寔韺W(xué)習(xí)乘法。
而乘法問題可以被分解為更小的問題，因此模型應(yīng)該能通過逐步推理來做出來。
LLM可以完成嗎？
為了檢驗(yàn)多位數(shù)乘法任務(wù)，研究者定義了一組大量的乘法問題。從計(jì)算兩位數(shù)和兩位數(shù)的乘積到五位數(shù)和五位數(shù)的乘積。
首先，他們會(huì)要求模型解決如下問題：
問題：35 乘以 90 等于多少？答案：3150。
其次，他們向模型提供了思維鏈?zhǔn)纠瑢⑵浞纸鉃楦〉娜蝿?wù)，使用學(xué)校教授的標(biāo)準(zhǔn)乘法算法。
提示模型執(zhí)行任務(wù)的程序
但如何衡量一項(xiàng)任務(wù)比另一項(xiàng)更難呢？如何追蹤模型在哪些地方失敗，如何失��？
研究者將乘法算法描述為一個(gè)包含加法和乘法等基本操作的定向圖。
比如下面是7乘以49所涉及的運(yùn)算的圖表示：
其中包含7乘以4的子任務(wù)。
子程序是圖中的子圖
研究者在評估中發(fā)現(xiàn)，即使經(jīng)過微調(diào)，模型也無法從訓(xùn)練集中看到的小乘法問題，推廣到更大的乘法問題。
在左側(cè)圖中，藍(lán)色的單元格表示模型是在這樣的乘積上訓(xùn)練的，得分相當(dāng)不錯(cuò)。
原因在于，模型在預(yù)測與訓(xùn)練數(shù)據(jù)規(guī)模相同的問題時(shí)就表現(xiàn)良好。
然而在橙色的單元格，如三位數(shù)與三位數(shù)或更高位數(shù)的乘積，得分就要差得多了。
GPT-3準(zhǔn)確率與規(guī)模對比
在操作圖中可以看出，當(dāng)任務(wù)變得更加復(fù)雜時(shí)，準(zhǔn)確度會(huì)急劇下降。
寬度衡量需要同時(shí)維護(hù)多少個(gè)中間結(jié)果，而深度衡量需要組合多長的步驟序列才能達(dá)到結(jié)果
由此，研究者總結(jié)出一些真正有趣的東西。
錯(cuò)誤告訴我們，LLM中真正發(fā)生的事
首先，研究者觀察到：LLM是否能成功解決問題，取決于模型之前是否見過相關(guān)的子問題。
換句話說
1. LLM無法解決大型問題，因?yàn)樗鼈冎荒芙鉀Q大型問題中的部分子問題。
2. 如果它們在解決訓(xùn)練數(shù)據(jù)中頻率更高或更精確的子問題上成功了，這表明它們只是記住了答案，通過回憶解決。
這就是為什么7乘以49會(huì)失敗，但7乘以4卻取得一些進(jìn)展，因?yàn)長L沒記住了「7乘以4的呢關(guān)于28」這個(gè)子問題。
更大的意義在于：與其將模型視為以一般和系統(tǒng)的方式處理問題的各個(gè)部分，不如將其視為搜索引擎，它會(huì)先召回與特定問題部分大致匹配的例子，然后將這些近似回憶拼接起來。
也就是說LLM通過僅完成整體問題的一部分而取得部分成功。
它是以自己反直覺、更膚淺、更實(shí)際的方式分解問題，更關(guān)注文本的「表面」，而非系統(tǒng)地思考給定的乘法算法。
高信息增益，甚至能預(yù)測意外的部分解決方案
一些問題
作者提出，子圖匹配的想法，更多的是一個(gè)起點(diǎn)，而非對現(xiàn)狀的精確完整描繪。
后續(xù)的實(shí)證研究，又削弱了這一解釋的普遍性。
比如McLeish 等人（2024 年）表明，通過「算盤嵌入」的架構(gòu)修改，可以顯著提高Transformer在算術(shù)上的性能。
LLM能夠解決比訓(xùn)練數(shù)據(jù)中更大的多位數(shù)加法問題，但未體現(xiàn)乘法性能的同等提升。
如果線性子圖匹配是Transformer的一般性限制，那么加法為何會(huì)如此容易受到特定修復(fù)的影響，而非乘法呢？
這又引出了新的問題：什么樣的文本表示將使模型更容易處理多步問題比如推理鏈問題？
那些從外部看起來像是在推理的系統(tǒng)，即使我們知道其內(nèi)部并未在邏輯蘊(yùn)涵空間中執(zhí)行搜索，它們的實(shí)際限制在哪里？
這些都留待未來解決。
馬庫斯：我早說過了
對于蘋果的研究，馬庫斯也專門寫了一篇博客進(jìn)行論述。
他表示，LLM的這種「在受到干擾材料的影響下推理失敗」的缺陷，并非新現(xiàn)象。
在2017年，斯坦福大學(xué)的Robin Jia和Percy Liang就進(jìn)行過類似研究，得出了相似的結(jié)果。
在問答系統(tǒng)中，即使只是改變一兩個(gè)無關(guān)緊要的詞或添加一些無關(guān)信息，也可能得到完全不同的答案
另一個(gè)體現(xiàn)LLMs缺乏足夠抽象、形式化推理能力的證據(jù)是，當(dāng)問題變得更大時(shí)，其性能往往會(huì)崩潰。
這源于Subbarao Kambhapati團(tuán)隊(duì)近期對GPT o1的分析：
性能在小問題上尚可，但很快就會(huì)下降
在整數(shù)算術(shù)中，我們也可以看到相同現(xiàn)象。
在越來越大的乘法問題中，這種下降趨勢在舊模型和新模型中都被反復(fù)觀察到。
即使 o1 也受到這個(gè)問題的影響：
LLM不遵守棋類規(guī)則，是其形式推理持續(xù)失敗的另一個(gè)例子：
馬斯克提出，甚至馬斯克的Robotaxi也會(huì)受到類似困擾：它們可能在最常見的情況下安全運(yùn)行，但在某些情況下可能難以足夠抽象地推理。
馬庫斯指出：LLM愛好者總是為它們的個(gè)別錯(cuò)誤開脫，然而最近的蘋果研究及其他相關(guān)研究和現(xiàn)象，都太過廣泛和系統(tǒng)化，讓我們無法視而不見了。
他表示，自1998和2001年以來，標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)架構(gòu)無法可靠地外推和進(jìn)行形式化推理，一直是自己工作的核心主題。
最后，他再次引用了自己在2001年的《代數(shù)心智》一書中的觀點(diǎn)
符號(hào)操作，即某些知識(shí)通過變量及其上的操作以真正抽象的方式表示，就像我們在代數(shù)和傳統(tǒng)計(jì)算機(jī)編程中看到的一樣，必須成為AI發(fā)展的組成部分。
神經(jīng)符號(hào)AI將這種機(jī)制與神經(jīng)網(wǎng)絡(luò)結(jié)合起來很可能是未來前進(jìn)的必要條件。
總的來看，無論是將乘法拆解為有向圖，還是一旦面對應(yīng)用題中稱謂和數(shù)字變換就答錯(cuò)，這都反映了大模型在邏輯推理上的本質(zhì)缺陷。
總之，LLM在背題這件事，算是「人贓俱獲」了。
這兩項(xiàng)研究也警示我們：正如Meta的AI科學(xué)家田淵棟所說，只要大模型還是依賴梯度下降，那么就不要期待它變得不那么愚蠢。
