新智元報(bào)道
編輯：LRS【新智元導(dǎo)讀】AI真是助力科研的神器，不光能用大模型提升寫(xiě)作效率，跟AI技術(shù)沾邊的論文中頂刊的概率也會(huì)增加，升職速度也會(huì)提升；但對(duì)于科學(xué)界來(lái)說(shuō)，大家都一股腦去研究AI，那些不能用AI的領(lǐng)域受到了冷落，最終導(dǎo)致整體科研多樣性下降。ChatGPT發(fā)布以來(lái)，各種大模型層出不窮，對(duì)各行各業(yè)的文字、腦力工作者來(lái)說(shuō)絕對(duì)是一個(gè)效率神器，產(chǎn)出量大大提升。比如最近的研究成果，清華大學(xué)、芝加哥大學(xué)、Google的研究人員利用AI工具（模型性能F1值為0.876）分析了六大主要學(xué)科的6790萬(wàn)篇研究論文，結(jié)果發(fā)現(xiàn)，采用AI工具的科學(xué)家發(fā)表的論文數(shù)量增加了67.37%，獲得的引用次數(shù)是未使用AI工具的科學(xué)家的3.16倍，并且還能提前4年成為團(tuán)隊(duì)領(lǐng)導(dǎo)者。
論文鏈接：https://arxiv.org/pdf/2412.07727
但凡事都有代價(jià)。
一旦打開(kāi)「AI模型」的潘多拉魔盒，就代表研究人員不再?gòu)V泛探索科學(xué)領(lǐng)域，而是專注于某個(gè)細(xì)小的課題，利用AI模型發(fā)表的論文大多都是在已有的、數(shù)據(jù)豐富的領(lǐng)域。
也就是說(shuō)，大模型不會(huì)幫助科研人員創(chuàng)立一個(gè)新領(lǐng)域，雖然提高了個(gè)人的科研生產(chǎn)力，但卻極大減少了整個(gè)科研集體的多樣性和廣泛參與度。
44年，6800萬(wàn)篇論文
AI工具與知識(shí)生產(chǎn)緊密相連，比如AlphaFold通過(guò)學(xué)習(xí)已知的蛋白質(zhì)結(jié)構(gòu)來(lái)準(zhǔn)確預(yù)測(cè)尚未探索的結(jié)構(gòu)，避免了傳統(tǒng)結(jié)構(gòu)推斷中的資源消耗和人力成本，并因此獲得了2024年諾貝爾獎(jiǎng)。通過(guò)深度強(qiáng)化學(xué)習(xí)改進(jìn)的模型已經(jīng)能夠處理復(fù)雜的核聚變反應(yīng)，并發(fā)現(xiàn)了新的、針對(duì)硬件優(yōu)化的矩陣乘法形式，從而加速了深度學(xué)習(xí)本身的發(fā)展。
此外，大型語(yǔ)言模型可以非常出色地幫助科研人員修訂和提煉論文寫(xiě)作，促進(jìn)了發(fā)現(xiàn)結(jié)果的提煉和傳播。
盡管在科研領(lǐng)域中，AI模型的參與度越來(lái)越高，但業(yè)界仍然沒(méi)有對(duì)AI科學(xué)影響的大規(guī)模實(shí)證評(píng)估。
所以這篇論文的研究團(tuán)隊(duì)主要提出并回答一個(gè)問(wèn)題：個(gè)體科研人員基于自身利益選擇AI模型進(jìn)行輔助，對(duì)整個(gè)科學(xué)界有何影響？
研究人員進(jìn)行了一項(xiàng)大規(guī)模的定量分析，利用OpenAlex數(shù)據(jù)集中從1980年到2024年的1.09億篇論文，選擇其中六個(gè)學(xué)科（生物學(xué)、醫(yī)學(xué)、化學(xué)、物理學(xué)、材料科學(xué)和地質(zhì)學(xué)），涵蓋了主要的自然科學(xué)學(xué)科，并特意排除掉計(jì)算機(jī)科學(xué)和工程學(xué)，以避免混入AI相關(guān)從業(yè)者的影響，最終得到約6800萬(wàn)篇論文。
然后利用BERT語(yǔ)言模型根據(jù)「標(biāo)題」和「摘要」內(nèi)容區(qū)分出論文中用到的技術(shù)是機(jī)器學(xué)習(xí)、某個(gè)深度學(xué)習(xí)架構(gòu)，或者是基于Transformer的大模型。
研究人員采用兩階段的微調(diào)將預(yù)訓(xùn)練的BERT模型適應(yīng)到論文識(shí)別任務(wù)：先分別基于論文的標(biāo)題和摘要獨(dú)立訓(xùn)練兩個(gè)模型，再將兩個(gè)優(yōu)化后的個(gè)體模型集成起來(lái)，以識(shí)別所有選定的論文，無(wú)需人工選擇與AI相關(guān)的觸發(fā)詞。
為了評(píng)估BERT模型識(shí)別的準(zhǔn)確性，研究人員招募了一個(gè)專家團(tuán)隊(duì)來(lái)驗(yàn)證結(jié)果，在對(duì)六個(gè)重點(diǎn)學(xué)科中隨機(jī)抽樣的論文組進(jìn)行獨(dú)立標(biāo)注時(shí)共識(shí)很高，平均Fleiss' Kappa值為0.960，把專家標(biāo)注數(shù)據(jù)當(dāng)作金標(biāo)準(zhǔn)進(jìn)行評(píng)估時(shí)，得到的F1分?jǐn)?shù)為0.876，證明了模型的可靠性。
為了提高識(shí)別結(jié)果的可解釋性，研究人員對(duì)輸入標(biāo)題和摘要時(shí)BERT模型最終層的平均注意力強(qiáng)度進(jìn)行可視化，比如在分析一篇AI輔助的化學(xué)論文時(shí)，模型對(duì)「人工智能」和「深度神經(jīng)網(wǎng)絡(luò)」等術(shù)語(yǔ)分配了非常高的注意力權(quán)重，并且識(shí)別出的AI論文基本上都是「人工智能」和跨學(xué)科傳統(tǒng)研究主題的結(jié)合，說(shuō)明了模型如何正確解釋并準(zhǔn)確識(shí)別與AI相關(guān)的內(nèi)容。
最終識(shí)別出107萬(wàn)篇AI輔助論文，大約占論文總數(shù)的1.57%，并且可以觀察到所有學(xué)科采納AI的趨勢(shì)都在上升，AI論文和采納AI的研究人員比例都有顯著增加。
盡管各個(gè)學(xué)科每年發(fā)表的論文數(shù)量總體上升，但從1980年到2024年，AI論文的份額在地質(zhì)學(xué)中增長(zhǎng)了21.39倍，在材料科學(xué)中增長(zhǎng)了241.36倍；同樣，采納AI的研究人員比例增長(zhǎng)得更快，從地質(zhì)學(xué)的42.36倍增長(zhǎng)到物理學(xué)的307.40倍。
研究人員將過(guò)去幾十年的AI發(fā)展劃分為機(jī)器學(xué)習(xí)（ML）、深度學(xué)習(xí)（DL）和大型語(yǔ)言模型（LLM）時(shí)代，三個(gè)時(shí)代的增長(zhǎng)率逐漸加快，可以看出AI在科學(xué)中的普及率不斷提高，以及理解AI對(duì)科學(xué)研究和進(jìn)步影響的重要性。
AI是職業(yè)生涯加速器
從引用統(tǒng)計(jì)數(shù)據(jù)中，研究人員注意到，從發(fā)表日期到幾十年后，人工智能（AI）論文的年引用次數(shù)持續(xù)高于非AI論文，并且不同時(shí)期發(fā)表的AI論文受到的總引用次數(shù)也更高。此外，研究人員還檢查了AI輔助論文在不同期刊引用報(bào)告（JCR）分位數(shù)中的分布，結(jié)果發(fā)現(xiàn)，在Q1期刊中，AI論文的比例比所有期刊中的非AI論文高出18.60%；在Q2期刊中，AI論文的比例僅高出1.59%，而Q3和Q4期刊中包含AI的論文比例相對(duì)較低。
結(jié)果表明，AI輔助論文在期刊中的分布不均，且在高影響力期刊中更為普遍。
AI論文逐漸受到重視，AI研究人員的影響力也大幅增加，平均來(lái)看，采用AI的研究人員每年發(fā)表的論文數(shù)量比不使用AI的研究人員多出67.37%，獲得的引用次數(shù)則是后者的3.16倍，這一趨勢(shì)在各個(gè)學(xué)科中都有體現(xiàn)。
為了研究采用AI對(duì)職業(yè)發(fā)展的影響，文中將科研人員分為「初級(jí)」（尚未領(lǐng)導(dǎo)研究團(tuán)隊(duì)）和「資深」（已經(jīng)領(lǐng)導(dǎo)過(guò)團(tuán)隊(duì)）兩類，并從數(shù)據(jù)集中提取了351萬(wàn)條職業(yè)軌跡。
分析顯示，AI研究會(huì)導(dǎo)致團(tuán)隊(duì)規(guī)模的縮小，平均每個(gè)研究團(tuán)隊(duì)少了1.5名科研人員，具體來(lái)說(shuō)，初級(jí)科研人員的平均人數(shù)從非AI團(tuán)隊(duì)的2.31人減少到AI團(tuán)隊(duì)的1.47人（減少了36.45%），而資深科研人員的人數(shù)從4.14人減少到3.48人（減少了15.95%）。
在所有學(xué)科中，采用AI的初級(jí)科學(xué)家轉(zhuǎn)變?yōu)橘Y深科學(xué)家的概率為49.92%，比不采用AI的同行高出32.01%，表明AI為初級(jí)科學(xué)家提供了更多領(lǐng)導(dǎo)研究團(tuán)隊(duì)的機(jī)會(huì)，并降低了離開(kāi)學(xué)術(shù)界的概率，從而促使了他們從初級(jí)到資深科學(xué)家的職業(yè)轉(zhuǎn)變。
為了進(jìn)一步量化這一效應(yīng)，研究人員采用生死模型，并根據(jù)科學(xué)家的職業(yè)軌跡擬合模型參數(shù)λ，結(jié)果發(fā)現(xiàn)，采用AI的初級(jí)科學(xué)家成為資深科學(xué)家的預(yù)期時(shí)間比同行大約縮短了四年；采用AI的初級(jí)科學(xué)家的轉(zhuǎn)變時(shí)間期望值為6.84年，而不采用AI的為10.90年。
進(jìn)一步分析顯示，這種縮短升職時(shí)間的現(xiàn)象在所有學(xué)科中都是普遍存在的，并且在各個(gè)學(xué)科中，參與AI論文的資深科學(xué)家平均年齡比非AI論文的資深科學(xué)家年輕。
科學(xué)探索范圍收縮
隨著人工智能（AI）在科學(xué)中的加速應(yīng)用，以及它在推動(dòng)初級(jí)科學(xué)家成為資深科學(xué)家方面的作用，人們開(kāi)始關(guān)注AI對(duì)整個(gè)科學(xué)領(lǐng)域知識(shí)分布的潛在影響。為了評(píng)估AI如何影響整個(gè)科學(xué)領(lǐng)域研究的前沿，研究人員設(shè)計(jì)了一種測(cè)量方法來(lái)描述一組研究論文所代表的「學(xué)術(shù)關(guān)注廣度」。
具體來(lái)說(shuō)，先使用在大量科學(xué)文獻(xiàn)預(yù)訓(xùn)練的文本嵌入模型SPECTER 2.0，在給定每個(gè)領(lǐng)域中同樣大小的樣本量來(lái)計(jì)算代表AI和非AI論文的主題覆蓋范圍；與傳統(tǒng)研究相比，AI研究使整個(gè)科學(xué)的集體知識(shí)廣度縮小了4.96%，并且該效應(yīng)在六個(gè)學(xué)科中都是一致的。
此外，當(dāng)將學(xué)科細(xì)分為200多個(gè)子領(lǐng)域時(shí)，可以觀察到超過(guò)70%的子領(lǐng)域的知識(shí)廣度出現(xiàn)了收縮；當(dāng)比較AI和非AI研究在每個(gè)領(lǐng)域知識(shí)分布的熵時(shí)，結(jié)果表明AI研究的知識(shí)分布熵明顯更低，表明人們?cè)絹?lái)越關(guān)注特定問(wèn)題，而不是整個(gè)領(lǐng)域。
也就是說(shuō)，個(gè)體和集體之間采用AI的動(dòng)機(jī)存在沖突和矛盾：科研人員獲得了更多的個(gè)人影響力，但整個(gè)科學(xué)領(lǐng)域知識(shí)的范圍卻縮小了，只是將注意力集中在最適合AI研究的領(lǐng)域，例如那些數(shù)據(jù)豐富的領(lǐng)域。
盡管AI可能為科學(xué)家個(gè)人帶來(lái)了好處，但可能也會(huì)使科學(xué)作為一個(gè)整體的探索范圍變得更加狹窄。
AI研究一窩蜂，創(chuàng)新冗余
為了分析AI研究中個(gè)體論文和研究者影響力增長(zhǎng)與領(lǐng)域知識(shí)范圍縮小之間的沖突背后的機(jī)制，研究人員考察了引用AI輔助和非AI工作的論文之間的關(guān)系。首先檢查單個(gè)論文的「引用家族」（citation families）的知識(shí)空間特征，即一篇原創(chuàng)論文及其所有后續(xù)引用，結(jié)果顯示，與非AI論文相比，單個(gè)AI論文的引用家族的知識(shí)空間更為多樣性，因此，領(lǐng)域知識(shí)空間的縮小并不是由于在AI與非AI研究基礎(chǔ)上構(gòu)建的論文范圍的縮小所致。
之后，研究人員通過(guò)測(cè)量后續(xù)論文參與度的程度來(lái)考察論文之間的關(guān)系，即同一原創(chuàng)論文的引用之間相互引用的頻率，結(jié)果表明，AI研究產(chǎn)生的后續(xù)參與度比非AI研究少了24.40%，表明AI論文更傾向于擴(kuò)展原創(chuàng)論文，而不是在彼此之間形成互動(dòng)，而互動(dòng)恰恰是促進(jìn)新興領(lǐng)域的關(guān)鍵要素。
在不同領(lǐng)域中AI論文引用的馬太效應(yīng)中也發(fā)現(xiàn)了這種集中的進(jìn)一步證據(jù)：在AI研究中，少數(shù)超級(jí)明星論文主導(dǎo)了該領(lǐng)域，大約20%的頂級(jí)論文獲得了80%的引用，50%的論文獲得了95%的引用，這種不平等的分布導(dǎo)致了AI研究引用模式的基尼系數(shù)為0.753，高于非AI論文的0.684，表明認(rèn)可度的不平等正在增加。
最后，研究人員還檢查了引用同一原始工作的論文對(duì)在向量空間中的距離，區(qū)分出相互引用的論文，結(jié)果發(fā)現(xiàn)，科學(xué)界的AI更加集中于特定的熱門(mén)話題，導(dǎo)致了更多的重復(fù)想法和冗余創(chuàng)新，與科學(xué)知識(shí)范圍和多樣性的縮小有關(guān)。
參考資料：https://gizmodo.com/ai-could-be-making-scientists-less-creative-2000538342
