天啦擼��！AI想出來的idea，還真有人寫成論文了。
甚至預印本arXiv、博客、代碼全都有了。
今年8月，Sakana AI（由Transformer論文8位作者的最后一位Llion Jones創(chuàng)業(yè)成立）這家公司推出了史上首位“AI科學家”，且一登場就一口氣生成了十篇完整學術論文。
而現(xiàn)在，受其中一篇論文想法的啟發(fā)，人類研究員真的寫出相關論文并在arXiv上公開了。
OpenAI前研究團隊負責人Jeff Clune激動直言：
簡直不敢相信！這是它產生的我最喜歡的想法之一�？吹脚c人類達成一致真是太酷了，人類確實執(zhí)行得更好。
話不多說，讓我們來康康論文具體內容。
Claude提的idea，被人類寫成論文了翻開“AI科學家”之前撰寫的論文，我們找到了Jeff Clune提到的這一篇。
《Grokking Through Compression: Unveiling Sudden Generalization via Minimal Description Length》通過壓縮實現(xiàn)Grokking：借助最小描述長度（MDL）揭示突然泛化現(xiàn)象
根據(jù)描述，這篇論文的想法由Claude 3.5 Sonnet在第22次迭代時提出。
它主要探討了神經網絡中最小描述長度（MDL）與 “grokking” 現(xiàn)象（模型經長時間訓練后突然泛化）的關系，從信息論視角研究突然泛化的機制。
其中，MDL可以被看成一種衡量模型復雜度和可壓縮性的方法，即模型既要能夠很好地擬合數(shù)據(jù)，又不能過于復雜（避免過擬合）。
具體而言，研究引入了一種基于權重剪枝的新型MDL估計技術，并將其應用于多種數(shù)據(jù)集，包括模塊化算術和排列任務。相關實驗揭示了MDL減少與泛化能力提高之間存在強烈的相關性（下圖），MDL的轉變點通常在“grokking”事件發(fā)生之前或與之同時出現(xiàn)。
此外，研究觀察到在“grokking”與非“grokking”情境下MDL演變模式的差異，前者以快速的MDL減少后持續(xù)泛化為特征。這些發(fā)現(xiàn)為理解“grokking”的信息論基礎提供了見解，并表明在訓練期間監(jiān)控MDL可以預測即將發(fā)生的泛化。
Okk，了解了原論文，我們再來看人類選手最新發(fā)表的內容。
概括而言，他們研究了神經網絡在 “grokking” 現(xiàn)象中的復雜性動態(tài)，即網絡從記憶訓練數(shù)據(jù)到實現(xiàn)完美泛化的過渡過程，并提出了一種基于失真壓縮理論的新方法來衡量神經網絡的復雜性。
首先，作者之一Branton DeMoss自述，他們受到了Sean Carroll和Scott Aaronson之前研究的啟發(fā)。
通過觀察咖啡與奶油混合的現(xiàn)象，Scott等人發(fā)現(xiàn)復雜性隨著時間的推移首先上升，然后下降，這一過程與熵單調增加的趨勢相似。
而DeMoss團隊形式化了這一直覺，并將其應用于神經網絡，以跟蹤這些網絡學習的抽象復雜度。
展開來說，作者們同樣先介紹了grokking現(xiàn)象，即神經網絡在長時間過度擬合訓練數(shù)據(jù)后突然能夠泛化的能力。
其中x軸表示優(yōu)化步數(shù)，y軸表示準確率；紅線代表訓練集的準確率，綠線代表驗證集的準確率。
可以看到，如果訓練一個小型Transformer來進行模擬，在幾百個訓練步驟之后，模型已經完美地擬合了訓練數(shù)據(jù)；然而，它直到大約10^5個訓練步驟才能實現(xiàn)泛化。
為了解釋這一現(xiàn)象，團隊引入了一種基于失真壓縮和Kolmogorov復雜性的新方法來衡量神經網絡的復雜性，并通過這一框架追蹤了grokking過程中網絡復雜性的動態(tài)變化。
按照作者的比喻，這就像“神經網絡的JPEG”。
研究結果表明，網絡在從記憶到泛化的過渡中，其復雜性首先上升，隨后在泛化發(fā)生時下降。
進一步地，研究發(fā)現(xiàn)如果神經網絡沒有任何形式的正則化（一種防止過擬合的技術），它將無法從記憶階段過渡到泛化階段，而是會無限期地保持記憶模式。
沒有正則化的反應：
有正則化的反應：
此外，作者指出傳統(tǒng)的復雜性評判標準（如參數(shù)數(shù)量和權重范數(shù)）并不能準確描述模型的復雜性，因為它們忽略了訓練過程中的變化。
對此，他們采用了最小描述長度（MDL）原則和Kolmogorov復雜度來定義和近似復雜性，并通過實驗驗證了這種方法，并強調了簡單模型在數(shù)據(jù)壓縮中的優(yōu)勢。
最終，研究表明理解復雜性對預測模型泛化能力至關重要。
更多細節(jié)感興趣可以查閱原論文（地址文末）。
可以看出，一個由AI最初提出的想法，最終由人類來完成了更細致的論證。
有網友就分析指出AI寫的那篇實驗結果不及人類研究員：
而之前撰寫過“AI科學家”總論文的共同一作Cong Lu也表示：
誰知道未來AI還會激發(fā)出哪些其他想法……
BTW，就在Sakana AI公布“AI科學家獨立生成10篇學術論文”的消息后，公司在9月份還拿到了一筆2億美元的A輪融資，里面還有英偉達的參與。
總之，AI以后不僅能自己寫論文，還能和人類搭配干活了。
