只需敲幾下鍵盤(pán)，任何人都可以要求ChatGPT等人工智能（AI）程序?qū)懸黄撐�、�?chuàng)作一首歌曲或一部戲劇，但不要指望它具有威廉莎士比亞的獨(dú)創(chuàng)性。一項(xiàng)新研究發(fā)現(xiàn)，這種AI產(chǎn)出的作品仍然是衍生品至少目前是這樣。
圖片來(lái)源：COREDESIGN/SHUTTERSTOCK為了找到答案，研究人員設(shè)計(jì)了一個(gè)能夠衡量AI創(chuàng)造力的程序。英國(guó)倫敦大學(xué)學(xué)院研究AI創(chuàng)造力的計(jì)算機(jī)科學(xué)家Mirco Musolesi沒(méi)有參與該研究，但他表示，衡量創(chuàng)造力是“一個(gè)困難但非常有趣的問(wèn)題”，新方法非常好地解決了至少一個(gè)創(chuàng)造性問(wèn)題語(yǔ)言的新穎性。
ChatGPT等程序自誕生以來(lái)，科學(xué)家一直對(duì)其持懷疑態(tài)度。盡管運(yùn)行這種生成式人工智能和大型語(yǔ)言模型（LLM）可以瞬間生成看起來(lái)非常像人類(lèi)描述的文字，但一些研究人員認(rèn)為L(zhǎng)LM并沒(méi)有產(chǎn)生任何新東西。批評(píng)者說(shuō)，它們只是“隨機(jī)鸚鵡”，盲目地將它們訓(xùn)練過(guò)的單詞混合在一起。
但客觀地測(cè)試這種創(chuàng)造力一直很棘手。科學(xué)家通常采取兩種策略。一種是使用另一個(gè)計(jì)算機(jī)程序來(lái)搜索抄襲的跡象盡管沒(méi)有抄襲并不一定等于有創(chuàng)造力。另一種是讓人類(lèi)自己判斷AI的輸出，對(duì)流暢性和原創(chuàng)性等因素進(jìn)行評(píng)分，但這種策略是主觀和耗時(shí)的。
因此，美國(guó)華盛頓大學(xué)的計(jì)算機(jī)科學(xué)家陸錫明（音）和同事創(chuàng)建了一個(gè)既客觀又有細(xì)微差別的程序，被稱為DJ搜索。它從AI輸出的任何內(nèi)容中收集最小長(zhǎng)度的文本片段，并在大型在線數(shù)據(jù)庫(kù)中搜索它們。DJ搜索不僅能尋找相同的匹配，還會(huì)掃描與單詞含義相似的字符串。在刪除所有匹配項(xiàng)后，程序計(jì)算剩余單詞與原始文檔長(zhǎng)度的比率，這應(yīng)該可以估計(jì)出AI輸出的新穎程度。
研究人員將已出版小說(shuō)、詩(shī)歌和演講的語(yǔ)言新穎性與人類(lèi)作品進(jìn)行了比較。研究人員在OpenReview上發(fā)布的一份預(yù)印本中報(bào)告稱，人類(lèi)在詩(shī)歌、小說(shuō)和演講方面的得分分別比AI高出約80%、100%和150%。該報(bào)告目前正在接受同行評(píng)審。
雖然DJ 搜索是為了比較人和機(jī)器而設(shè)計(jì)的，但它也可以用于比較兩個(gè)或多個(gè)人類(lèi)作品。例如，蘇珊柯林斯創(chuàng)作的小說(shuō)《饑餓游戲》在語(yǔ)言原創(chuàng)性方面比斯蒂芬妮邁耶的熱門(mén)小說(shuō)《暮光之城》高出35%。
那么，LLM僅僅是鸚鵡嗎？“他們從現(xiàn)有的文字中復(fù)制、粘貼、剪切和拼湊出一些令人驚嘆的東西。這就像一個(gè)DJ對(duì)現(xiàn)有音樂(lè)進(jìn)行混音。這絕對(duì)很有價(jià)值，但它與作曲家不同�！标戝a明說(shuō)。
美國(guó)加州大學(xué)洛杉磯分校的計(jì)算機(jī)科學(xué)家彭楠說(shuō)，接下來(lái)，研究人員應(yīng)該關(guān)注的不僅僅是短串單詞的新穎之處，而是整個(gè)敘事結(jié)構(gòu)的新穎性。彭楠已經(jīng)人工判斷出AI的敘事較差。她希望這種判斷能實(shí)現(xiàn)自動(dòng)化，但這很難。
策劃制作
來(lái)源丨中國(guó)科學(xué)報(bào)
責(zé)編丨王夢(mèng)如
審校丨徐來(lái) 林林
一起長(zhǎng)知識(shí)！
