文 |追問(wèn)nextquestion
01 人工智能 vs 人腦智能
1. 早期人工智能模型是如何從對(duì)大腦的理解中獲得靈感的?
人工智能的早期發(fā)展得益于對(duì)人類(lèi)大腦的理解。在20世紀(jì)中葉,隨著神經(jīng)科學(xué)的進(jìn)展和對(duì)人腦功能的初步認(rèn)識(shí),科學(xué)家們開(kāi)始嘗試將這些生物學(xué)概念應(yīng)用于機(jī)器智能的開(kāi)發(fā)中。
1943年,神經(jīng)生理學(xué)家Warren McCulloch和數(shù)學(xué)家Walter Pitts提出的“McCulloch-Pitts神經(jīng)元模型”是最早的嘗試之一。這一模型采用數(shù)學(xué)邏輯描述神經(jīng)元的活動(dòng),雖然簡(jiǎn)單,但為后來(lái)的人工神經(jīng)網(wǎng)絡(luò)奠定了基礎(chǔ)。
圖1:神經(jīng)元結(jié)構(gòu)與McCulloch-Pitts神經(jīng)元模型
這一時(shí)期,對(duì)大腦的研究主要聚焦在神經(jīng)元如何處理信息,以及它們?nèi)绾瓮ㄟ^(guò)電信號(hào)在復(fù)雜網(wǎng)絡(luò)中相互作用。這些研究啟發(fā)了早期人工智能研究者設(shè)計(jì)出早期的人工神經(jīng)網(wǎng)絡(luò)。
1950年代,F(xiàn)rank Rosenblatt發(fā)明的感知機(jī)(Perceptron),是一種受到生物視覺(jué)系統(tǒng)的啟發(fā)而設(shè)計(jì)的算法,它模擬視網(wǎng)膜接收光線(xiàn)的方式處理信息,雖然原始,但標(biāo)志著機(jī)器學(xué)習(xí)領(lǐng)域向前邁出了重要的一步。
圖2:左邊為Rosenblatt的物理感知機(jī),右邊為感知器系統(tǒng)結(jié)構(gòu)
除了神經(jīng)科學(xué)的影響,早期的認(rèn)知心理學(xué)研究也對(duì)AI的發(fā)展有所貢獻(xiàn)。認(rèn)知心理學(xué)家試圖理解人類(lèi)如何感知、記憶、思考和解決問(wèn)題,這些研究為人工智能模擬人類(lèi)智能行為提供了方法論基礎(chǔ)。例如,Allen Newell和Herbert A. Simon開(kāi)發(fā)的邏輯理論機(jī)[1-3],能夠?qū)?shù)學(xué)定理進(jìn)行證明,這一程序不僅模擬了人類(lèi)的解決問(wèn)題的過(guò)程,也在某種程度上模仿了人類(lèi)思維的邏輯推理過(guò)程。
這些早期的模型雖然簡(jiǎn)單,但它們的開(kāi)發(fā)過(guò)程和設(shè)計(jì)理念深受(當(dāng)時(shí)人們)對(duì)人腦的理解方式的影響,為后續(xù)更復(fù)雜系統(tǒng)的開(kāi)發(fā)奠定了理論和實(shí)踐基礎(chǔ)。通過(guò)這樣的探索,科學(xué)家們逐漸構(gòu)建出能在特定任務(wù)上模仿或超越人類(lèi)表現(xiàn)的智能系統(tǒng),推動(dòng)了人工智能技術(shù)的演進(jìn)和革新。
2. 人工智能的發(fā)展
自那以后,人工智能領(lǐng)域經(jīng)歷了一輪又一輪“寒冬”和“復(fù)蘇”。20世紀(jì)七八十年代,算力的提高和算法的創(chuàng)新,如反向傳播算法(back propagation)的引入,使得訓(xùn)練更深層次的神經(jīng)網(wǎng)絡(luò)成為可能。這一時(shí)期,人工智能雖然在某些領(lǐng)域如專(zhuān)家系統(tǒng)(expert system)中獲得了商業(yè)成功,但由于技術(shù)的局限性和過(guò)高的期望值,最終導(dǎo)致了第一次AI寒冬的到來(lái)。
進(jìn)入21世紀(jì),特別是自2010年以后,人工智能領(lǐng)域再次得到了前所未有的發(fā)展。數(shù)據(jù)量的指數(shù)級(jí)增長(zhǎng),高性能計(jì)算資源(如GPU)的普及和算法的進(jìn)一步優(yōu)化,使得深度學(xué)習(xí)技術(shù)迅速成為推動(dòng)人工智能發(fā)展的主要?jiǎng)恿Α?/strong>
深度學(xué)習(xí)的核心仍舊是模擬人腦神經(jīng)元的信息處理方式,但其應(yīng)用已經(jīng)遠(yuǎn)遠(yuǎn)超越了最初的設(shè)想,涵蓋了圖像識(shí)別、自然語(yǔ)言處理、自動(dòng)駕駛車(chē)輛、醫(yī)療診斷等眾多領(lǐng)域。這些突破性的進(jìn)展,不僅推動(dòng)了技術(shù)的進(jìn)步,也促進(jìn)了新的商業(yè)模式的出現(xiàn)和產(chǎn)業(yè)的快速發(fā)展。
Giordano Poloni
3. 目前人工智能和人腦智能的差別
3.1 功能表現(xiàn)方面的差別
盡管人工智能在特定領(lǐng)域(如棋類(lèi)游戲、特定圖像和語(yǔ)音識(shí)別任務(wù))已能超越人類(lèi),但它通常缺乏跨領(lǐng)域的適應(yīng)能力。
雖然某些AI系統(tǒng)(如深度學(xué)習(xí)模型)在大數(shù)據(jù)環(huán)境中表現(xiàn)出色,但它們通常需要大量的標(biāo)記數(shù)據(jù)與模型訓(xùn)練,并且當(dāng)任務(wù)或環(huán)境發(fā)生變化時(shí),AI的遷移學(xué)習(xí)能力也較為有限,通常需要為之設(shè)計(jì)特定的算法。而人腦則具有強(qiáng)大的學(xué)習(xí)和適應(yīng)能力,能夠在少量數(shù)據(jù)和多種環(huán)境條件下學(xué)習(xí)新任務(wù),還能夠進(jìn)行遷移學(xué)習(xí),即可以將在一個(gè)領(lǐng)域中學(xué)到的知識(shí)應(yīng)用到另一個(gè)看似無(wú)關(guān)的領(lǐng)域。
在處理復(fù)雜問(wèn)題的靈活性方面,AI在處理定義清晰、結(jié)構(gòu)化良好的問(wèn)題時(shí),如棋類(lèi)游戲、語(yǔ)言翻譯等,效果最佳;但在處理模糊不清、非結(jié)構(gòu)化的問(wèn)題時(shí),效率較低,易受到干擾。人腦在處理含糊不清、復(fù)雜的環(huán)境信息時(shí),顯示出極高的靈活性和效率。例如,人腦能夠在嘈雜的環(huán)境中識(shí)別聲音、在缺乏完整信息的情況下做出決策等。
在意識(shí)和認(rèn)知方面,當(dāng)前的AI系統(tǒng)缺乏真正的意識(shí)和情感,它們的“決策”僅僅是基于算法和數(shù)據(jù)的輸出,沒(méi)有主觀(guān)體驗(yàn)或情感的涉及。人類(lèi)不僅可以處理信息,還擁有意識(shí)、情感和主觀(guān)體驗(yàn),這些都是人腦智能的重要組成部分。
在多任務(wù)處理方面,雖然某些AI系統(tǒng)能夠同時(shí)處理多種任務(wù),但這通常需要復(fù)雜的針對(duì)性設(shè)計(jì)。大多數(shù)AI系統(tǒng)針對(duì)單一任務(wù)設(shè)計(jì)誕生,其進(jìn)行多任務(wù)處理時(shí)的效率和效果通常不如人腦。人腦在同時(shí)處理多重任務(wù)時(shí)具有極大的靈活性,能夠在不同任務(wù)之間迅速切換并保持高效。
在能耗和效率方,高級(jí)AI系統(tǒng),尤其是大型機(jī)器學(xué)習(xí)模型,常常需要大量的計(jì)算資源和能源,能耗遠(yuǎn)超人腦。人腦僅需約20瓦特即可運(yùn)行,具有極高的信息處理效率。
總體來(lái)說(shuō),盡管人工智能在特定領(lǐng)域已展示出卓越的性能,但它仍然無(wú)法全面模擬人腦,特別是在靈活性、學(xué)習(xí)效率和多任務(wù)處理等方面。未來(lái)的AI研究可能會(huì)不斷縮小這些差異,但人腦的復(fù)雜性和高效性仍是其難以超越的標(biāo)桿。
Spooky Pooka ltd
3.2 底層機(jī)制方面的差別
在基礎(chǔ)結(jié)構(gòu)方面,現(xiàn)代AI系統(tǒng),特別是神經(jīng)網(wǎng)絡(luò),雖然受到生物神經(jīng)網(wǎng)絡(luò)的啟發(fā),但“神經(jīng)元”(通常是計(jì)算單元)及其相互連接均依靠數(shù)值模擬。這些人工神經(jīng)網(wǎng)絡(luò)的連接和處理通常都是預(yù)設(shè)的、靜態(tài)的,缺乏生物神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)可塑性。人腦由大約860億個(gè)神經(jīng)元組成,每個(gè)神經(jīng)元通過(guò)數(shù)千到數(shù)萬(wàn)個(gè)突觸連接與其他神經(jīng)元相連[6-8],這種結(jié)構(gòu)支持復(fù)雜的并行處理和高度動(dòng)態(tài)的信息交換。
在信號(hào)傳遞方面,AI系統(tǒng)中的信號(hào)傳遞通常是通過(guò)數(shù)值計(jì)算實(shí)現(xiàn)的,例如在神經(jīng)網(wǎng)絡(luò)中,神經(jīng)元的輸出是輸入加權(quán)和的函數(shù),這些加權(quán)和通常通過(guò)簡(jiǎn)單的數(shù)學(xué)函數(shù)(如Sigmoid或ReLU)處理。神經(jīng)信號(hào)傳導(dǎo)依賴(lài)于電化學(xué)過(guò)程,神經(jīng)元之間的信息交流通過(guò)突觸釋放神經(jīng)遞質(zhì)進(jìn)行,并受到多種生物化學(xué)過(guò)程的調(diào)控。
在學(xué)習(xí)機(jī)制方面,AI的學(xué)習(xí)通常通過(guò)算法調(diào)整參數(shù)(如權(quán)重)來(lái)實(shí)現(xiàn),例如通過(guò)反向傳播算法。雖然這種方法在技術(shù)上有效,但它需要大量的數(shù)據(jù),針對(duì)新的數(shù)據(jù)集需要重新訓(xùn)練或顯著調(diào)整模型參數(shù),與人腦的持續(xù)和無(wú)監(jiān)督學(xué)習(xí)方式相比存在差距。人腦的學(xué)習(xí)依賴(lài)于突觸可塑性,即神經(jīng)連接的強(qiáng)度根據(jù)經(jīng)驗(yàn)和活動(dòng)而改變,這種可塑性支持持續(xù)的學(xué)習(xí)和記憶形成。
4. 模擬人類(lèi)智能的長(zhǎng)期目標(biāo)通用人工智能的背景和定義
通用人工智能(AGI)的概念提出,源于對(duì)狹義人工智能(AI)的局限性的認(rèn)識(shí)。狹義AI通常專(zhuān)注于解決特定的、限定范圍的問(wèn)題,例如棋類(lèi)游戲或語(yǔ)言翻譯,但缺乏跨任務(wù)和領(lǐng)域的靈活性。隨著科技的進(jìn)步和對(duì)人類(lèi)智能更深入的理解,科學(xué)家們開(kāi)始設(shè)想一種類(lèi)似人類(lèi)的具備多領(lǐng)域認(rèn)知能力、自主意識(shí)、創(chuàng)造力和邏輯推理能力的智能系統(tǒng)。
AGI旨在創(chuàng)建一種智能系統(tǒng),能夠像人類(lèi)一樣理解和解決多領(lǐng)域問(wèn)題,并且能夠進(jìn)行自我學(xué)習(xí)和適應(yīng)。這種系統(tǒng)將不僅僅是工具,更是作為智能實(shí)體參與到人類(lèi)的社會(huì)經(jīng)濟(jì)、文化活動(dòng)中。AGI的提出,代表了人工智能發(fā)展的理想狀態(tài),期望最終能夠在全面性和靈活性方面達(dá)到并超越人類(lèi)智能。
02 實(shí)現(xiàn)通用人工智能的路徑
多樣化的神經(jīng)元模擬和網(wǎng)絡(luò)結(jié)構(gòu)顯示出不同級(jí)別的復(fù)雜性。具有更豐富動(dòng)態(tài)描述的神經(jīng)元的內(nèi)部復(fù)雜性較高,而具有更寬和更深連接的網(wǎng)絡(luò)的外部復(fù)雜性較高。從復(fù)雜性的角度來(lái)看,目前通常認(rèn)為,有望實(shí)現(xiàn)通用人工智能的路徑有兩條,一種是外部復(fù)雜性大模型方法,例如通過(guò)增加模型的寬度和深度;另一種是內(nèi)部復(fù)雜性小模型方法,例如通過(guò)向模型添加離子通道或?qū)⑵滢D(zhuǎn)換為多區(qū)室模型。
圖3:神經(jīng)元和網(wǎng)絡(luò)的內(nèi)部復(fù)雜性和外部復(fù)雜性
1. 外部復(fù)雜性大模型方法
在人工智能(AI)領(lǐng)域,為了解決更廣泛和更復(fù)雜的問(wèn)題,研究者們?cè)絹?lái)越依賴(lài)于大型AI模型的開(kāi)發(fā)。這些模型通常具有更深、更大、更寬的網(wǎng)絡(luò)結(jié)構(gòu),可稱(chēng)之為“外部復(fù)雜性大模型方法”。這種方法的核心,在于通過(guò)擴(kuò)展模型的規(guī)模,來(lái)增強(qiáng)其處理信息(尤其是在處理大量數(shù)據(jù))和學(xué)習(xí)的能力。
1.1. 大型語(yǔ)言模型的應(yīng)用
大型語(yǔ)言模型,如GPT(Generative Pre-trained Transformer)和BERT(Bidirectional Encoder Representations from Transformers)等,是當(dāng)前AI研究中的熱點(diǎn)。這些模型通過(guò)深層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)大規(guī)模文本數(shù)據(jù),掌握語(yǔ)言的深層語(yǔ)義和結(jié)構(gòu),能夠在多種語(yǔ)言處理任務(wù)中展示出色的性能。例如,GPT-3通過(guò)訓(xùn)練大規(guī)模的文本數(shù)據(jù)集,不僅能夠生成高質(zhì)量的文本,還能進(jìn)行問(wèn)答、摘要、翻譯等任務(wù)。
這些大型語(yǔ)言模型的主要應(yīng)用,包括自然語(yǔ)言理解、文本生成、情感分析等,因而可廣泛應(yīng)用于搜索引擎、社交媒體分析、客戶(hù)服務(wù)自動(dòng)化等領(lǐng)域。
1.2. 為什么要擴(kuò)展模型的規(guī)模?
根據(jù)Jason Wei、Yi Tay、William Fedus等人在Emergent Abilities of Large Language Models中的研究,隨著模型規(guī)模的增大,模型的能力會(huì)出現(xiàn)“涌現(xiàn)”現(xiàn)象,即某些先前未明顯的能力會(huì)突然顯現(xiàn)。這是因?yàn)槟P驮谔幚砀鼜?fù)雜、更多樣化的信息時(shí),能夠?qū)W習(xí)到更深層次的模式和關(guān)聯(lián)。
例如,超大規(guī)模的語(yǔ)言模型能在未經(jīng)特定針對(duì)性訓(xùn)練的情況下,出現(xiàn)解決復(fù)雜的推理問(wèn)題和創(chuàng)造性寫(xiě)作的能力。這種“智能的涌現(xiàn)”現(xiàn)象表明,通過(guò)增加模型的規(guī)模,可以實(shí)現(xiàn)更接近人類(lèi)智能的廣泛認(rèn)知和處理能力。
圖4:大語(yǔ)言模型的涌現(xiàn)現(xiàn)象
1.3. 挑戰(zhàn)
盡管大型模型帶來(lái)了前所未有的能力,但它們也面臨著重大挑戰(zhàn),尤其是在效率和成本方面。
首先,這類(lèi)模型需要巨大的計(jì)算資源,包括高性能的GPU和大量的存儲(chǔ)空間,這直接增加了研究和部署的成本。其次,大模型的能耗問(wèn)題也日益突出,這不僅影響模型的可持續(xù)發(fā)展,也引發(fā)了環(huán)保關(guān)注。此外,訓(xùn)練這些模型需要大量的數(shù)據(jù)輸入,這可能引發(fā)數(shù)據(jù)隱私和安全性問(wèn)題,尤其是當(dāng)涉及到敏感或個(gè)人信息時(shí)。最后,大型模型的復(fù)雜性和不透明性可能導(dǎo)致模型決策過(guò)程難以解釋?zhuān)@在應(yīng)用于醫(yī)療、法律等需求高度透明和可解釋性的領(lǐng)域時(shí),可能成為一個(gè)嚴(yán)重問(wèn)題。
2. 內(nèi)部復(fù)雜性小模型方法
提到大語(yǔ)言模型,人們最直觀(guān)的感受便是其高度“類(lèi)人”的輸出能力。Webb等人考察了ChatGPT的類(lèi)比推理能力[3],發(fā)現(xiàn)它已涌現(xiàn)出了零樣本推理能力,能夠在沒(méi)有明確訓(xùn)練的情況下解決廣泛的類(lèi)比推理問(wèn)題。一些人認(rèn)為,如果像ChatGPT這樣的LLM確實(shí)能夠?qū)π睦韺W(xué)中的常見(jiàn)測(cè)量產(chǎn)生類(lèi)似人類(lèi)的響應(yīng)(例如對(duì)行動(dòng)的判斷、對(duì)價(jià)值的認(rèn)可、對(duì)社會(huì)問(wèn)題的看法),那么它們?cè)谖磥?lái)可能會(huì)取代人類(lèi)受試者群體。
2.1. 理論基礎(chǔ)
神經(jīng)元是神經(jīng)系統(tǒng)的基本結(jié)構(gòu)和功能單位,其主要組成部分包括細(xì)胞體、軸突、樹(shù)突和突觸。這些部分共同協(xié)作,完成信息的接收、整合和傳遞。以下將從神經(jīng)元模型、電信號(hào)在神經(jīng)元突起(樹(shù)突和軸突)中的傳導(dǎo)、突觸及突觸可塑性模型、帶有復(fù)雜樹(shù)突和離子通道的模型等方面講起,介紹神經(jīng)元模擬的理論基礎(chǔ)。
圖5:神經(jīng)元的結(jié)構(gòu)
2.1.1. 神經(jīng)元模型
離子通道
神經(jīng)元的離子通道和離子泵是調(diào)控神經(jīng)電信號(hào)傳遞的關(guān)鍵膜蛋白,它們控制著離子跨細(xì)胞膜的運(yùn)動(dòng),從而影響神經(jīng)元的電活動(dòng)和信號(hào)傳遞。這些結(jié)構(gòu)確保了神經(jīng)元能夠維持或調(diào)節(jié)靜息電位、生成和傳遞動(dòng)作電位,是神經(jīng)系統(tǒng)功能的基礎(chǔ)。
離子通道是嵌在細(xì)胞膜中的蛋白質(zhì)通道,它們可以調(diào)控特定離子(如鈉、鉀、鈣和氯)的通過(guò)。電壓變化、化學(xué)信號(hào)或機(jī)械應(yīng)力等多種因素,控制這些離子通道的開(kāi)閉狀態(tài),從而對(duì)神經(jīng)元的電活動(dòng)產(chǎn)生影響。
圖6:神經(jīng)元的離子通道和離子泵
等效電路
等效電路模型通過(guò)使用電路元件來(lái)模擬神經(jīng)細(xì)胞膜的電生理性質(zhì),使得復(fù)雜的生物電現(xiàn)象可以在物理和工程的框架內(nèi)得到解釋和分析。等效電路模型,通常包括膜電容、膜電阻、電源這3個(gè)基本元件。
神經(jīng)元的細(xì)胞膜表現(xiàn)出電容性質(zhì),這與細(xì)胞膜的磷脂雙分子層結(jié)構(gòu)有關(guān)。磷脂雙層的疏水核阻止離子自由通過(guò),使得細(xì)胞膜具有很高的電絕緣性。當(dāng)細(xì)胞膜兩側(cè)的離子濃度不同,特別是在在離子泵的調(diào)節(jié)下,細(xì)胞膜兩側(cè)會(huì)形成電荷分離。由于細(xì)胞膜的絕緣性,這種電荷分離在細(xì)胞膜上形成了一個(gè)靜電場(chǎng),使得細(xì)胞膜能儲(chǔ)存電荷。
電容元件被用來(lái)模擬這種儲(chǔ)存電荷的能力,其電容值取決于膜的面積和厚度。膜電阻主要通過(guò)離子通道的開(kāi)閉來(lái)調(diào)控,它直接影響膜電位的變化速度和細(xì)胞對(duì)電流輸入的響應(yīng)。電源代表由離子泵產(chǎn)生的離子跨膜濃度差引起的電化學(xué)勢(shì)差,這是維持靜息電位和驅(qū)動(dòng)動(dòng)作電位變化的驅(qū)動(dòng)力。
圖7:等效電路示意圖
HH模型
基于等效電路的思想,Alan Hodgkin和Andrew Huxley在20世紀(jì)50年代基于他們對(duì)烏賊巨神經(jīng)元的實(shí)驗(yàn)研究提出了HH(Hodgkin-Huxley)模型,模型中包括鈉(Na)、鉀(K)和漏電流(Leak Current)的電導(dǎo),可以表示每種離子通道的開(kāi)啟程度,在模型中離子通道的開(kāi)閉進(jìn)一步通過(guò)門(mén)控變量描述,這些變量(m、h、n)具有電壓依賴(lài)性和時(shí)間依賴(lài)性。HH模型的方程為:
LIF模型
LIF模型,即泄漏整合發(fā)放模型(Leaky Integrate-and-Fire model),是神經(jīng)科學(xué)中一個(gè)常用的簡(jiǎn)化神經(jīng)元?jiǎng)幼麟娢坏臄?shù)學(xué)模型。該模型側(cè)重于描述膜電位[4-5]隨時(shí)間的變化情況,而忽略生物神經(jīng)元內(nèi)部的復(fù)雜離子動(dòng)態(tài)。
科學(xué)家們發(fā)現(xiàn),當(dāng)給神經(jīng)元施加持續(xù)的電流輸入[6-7]時(shí),神經(jīng)元的膜電位會(huì)隨之上升,直到達(dá)到某個(gè)閾值致使動(dòng)作電位發(fā)放,之后膜電位迅速?gòu)?fù)位,并重復(fù)這一過(guò)程。LIF模型雖然沒(méi)有描述具體的離子通道動(dòng)態(tài),但由于其計(jì)算效率高,廣泛應(yīng)用于神經(jīng)網(wǎng)絡(luò)建模和理論神經(jīng)科學(xué)研究。其基本方程如下:
2.1.2. 電信號(hào)在神經(jīng)元突起(樹(shù)突和軸突)中的傳導(dǎo):電纜理論
19世紀(jì)末至20世紀(jì)初,科學(xué)家們開(kāi)始認(rèn)識(shí)到,神經(jīng)元中的電信號(hào)可以通過(guò)軸突、樹(shù)突等細(xì)長(zhǎng)的神經(jīng)纖維進(jìn)行傳播。然而,隨著距離的增加,信號(hào)會(huì)發(fā)生衰減?茖W(xué)家們需要一種理論工具來(lái)解釋電信號(hào)在神經(jīng)纖維中的傳播過(guò)程,特別是在長(zhǎng)距離上傳播時(shí)的電位變化規(guī)律。
1907年,物理學(xué)家赫爾曼(Wilhelm Hermann)提出了一個(gè)簡(jiǎn)單的理論框架,將神經(jīng)纖維比作電纜,以此描述電信號(hào)的擴(kuò)散過(guò)程。這一理論后來(lái)在20世紀(jì)中葉由霍奇金和赫胥黎等人進(jìn)一步發(fā)展,他們通過(guò)對(duì)神經(jīng)元的實(shí)驗(yàn)測(cè)量,確認(rèn)了離子流在信號(hào)傳播中的關(guān)鍵作用,并建立了與電纜理論相關(guān)的數(shù)學(xué)模型。
電纜理論的核心思想是將神經(jīng)纖維視為一段電纜,通過(guò)引入電阻、容等電學(xué)參數(shù),模擬電信號(hào)(通常是動(dòng)作電位)在神經(jīng)纖維中的傳播過(guò)程。神經(jīng)纖維,如軸突和樹(shù)突,被視為一維的電纜,電信號(hào)沿著纖維長(zhǎng)度傳播;膜電活動(dòng)通過(guò)電阻和電容來(lái)描述,電流的傳導(dǎo)則受到纖維內(nèi)部電阻和膜漏電電阻的影響;信號(hào)在纖維中的傳播,隨著距離增加,逐漸衰減。
圖8.電纜理論示意圖
2.1.3. 多區(qū)室模型
在早期的神經(jīng)元建模中,如HH模型和電纜理論模型,神經(jīng)元被簡(jiǎn)化為一個(gè)點(diǎn)狀的“單一區(qū)室”,即只考慮膜電位在時(shí)間上的變化,而忽略了神經(jīng)元各個(gè)部分的空間分布。這些模型適合描述動(dòng)作電位的產(chǎn)生機(jī)制,但無(wú)法充分解釋信號(hào)在神經(jīng)元復(fù)雜的形態(tài)結(jié)構(gòu)(如樹(shù)突、軸突等)中的傳播特性。
隨著神經(jīng)科學(xué)對(duì)神經(jīng)元結(jié)構(gòu)復(fù)雜性的認(rèn)識(shí)不斷加深,科學(xué)家們意識(shí)到:不同部分的電位變化會(huì)有顯著差異,尤其是在具有長(zhǎng)樹(shù)突的神經(jīng)元中。樹(shù)突和軸突中的信號(hào)傳播不僅受到電信號(hào)的空間擴(kuò)散影響,還會(huì)因?yàn)榻Y(jié)構(gòu)復(fù)雜性而出現(xiàn)不同的響應(yīng)。因此,需要一種更精細(xì)的模型來(lái)描述神經(jīng)元中電信號(hào)的空間傳播,這就促使了多區(qū)室模型(Multi-compartmental model)的提出。
多區(qū)室模型的核心思想是將神經(jīng)元的樹(shù)突、軸突和細(xì)胞體分成多個(gè)相互連接的區(qū)室(compartments),每個(gè)區(qū)室使用類(lèi)似于電纜理論的方程來(lái)描述跨膜電位隨時(shí)間和空間的變化,通過(guò)多個(gè)區(qū)室的相互連接,模擬電信號(hào)在神經(jīng)元內(nèi)部的復(fù)雜傳播路徑,并反映不同區(qū)室之間的電位差異。這種處理方式可以精確描述電信號(hào)在神經(jīng)元復(fù)雜形態(tài)中的傳播,特別是樹(shù)突上的電信號(hào)衰減和放大現(xiàn)象。
具體來(lái)說(shuō),神經(jīng)元被分成多個(gè)小區(qū)室,每個(gè)區(qū)室代表神經(jīng)元的一部分(如樹(shù)突、軸突或細(xì)胞體的一段)。每個(gè)區(qū)室用電路模型表示,電阻和電容用以描述膜的電學(xué)特性,跨膜電位由電流注入、擴(kuò)散和漏電等因素決定。鄰近區(qū)室通過(guò)電阻連接,電信號(hào)通過(guò)這些連接在區(qū)室間傳播?缒る娢籚i在第i個(gè)區(qū)室中遵循類(lèi)似于電纜理論的微分方程:
在多區(qū)室模型中,某些區(qū)室(如細(xì)胞體或起始區(qū))可產(chǎn)生動(dòng)作電位,而其他區(qū)室(如樹(shù)突或軸突)則主要負(fù)責(zé)電信號(hào)的傳播和衰減。信號(hào)通過(guò)不同區(qū)室之間的連接傳遞,樹(shù)突區(qū)的輸入信號(hào)最終可以整合到細(xì)胞體并引發(fā)動(dòng)作電位,動(dòng)作電位再沿著軸突傳播。
與單一區(qū)室模型相比,多區(qū)室模型能夠反映神經(jīng)元形態(tài)結(jié)構(gòu)的復(fù)雜性,尤其是在樹(shù)突和軸突等結(jié)構(gòu)中的電信號(hào)傳播過(guò)程。由于涉及多個(gè)區(qū)室之間的耦合微分方程,多區(qū)室模型常需通過(guò)數(shù)值方法(如歐拉法或Runge-Kutta方法)進(jìn)行求解。
2.2. 為什么要進(jìn)行生物神經(jīng)元的復(fù)雜動(dòng)態(tài)模擬?
Beniaguev等人的實(shí)驗(yàn)研究表明,由于大腦不同類(lèi)型神經(jīng)元的復(fù)雜樹(shù)突結(jié)構(gòu)和離子通道,單個(gè)神經(jīng)元具有與5-8層深度學(xué)習(xí)網(wǎng)絡(luò)相媲美的非凡計(jì)算能力[8]。
圖9:包含AMPA和NMDA突觸的L5皮層錐體神經(jīng)元模型,可以通過(guò)包含七個(gè)隱藏層的TCN(時(shí)間卷積網(wǎng)絡(luò))來(lái)精確模擬,每個(gè)隱藏層有128個(gè)特征圖,歷史時(shí)長(zhǎng)為153毫秒。
He等人的工作關(guān)注不同內(nèi)部動(dòng)態(tài)和內(nèi)部復(fù)雜性的神經(jīng)元模型之間的聯(lián)系[9]。他們提出了一種將外部復(fù)雜性轉(zhuǎn)換為內(nèi)部復(fù)雜性的方法,這種內(nèi)部動(dòng)態(tài)更為豐富的模型具有一定的計(jì)算優(yōu)勢(shì)。具體來(lái)說(shuō),他們?cè)?strong>理論上證明了LIF模型和 HH模型存在動(dòng)力學(xué)特性上的等效性,HH神經(jīng)元可以與四個(gè)具有特定連接結(jié)構(gòu)的時(shí)變參數(shù) LIF神經(jīng)元(tv-LIF)動(dòng)力學(xué)特性等效。
圖10:一種從tv-LIF模型轉(zhuǎn)換到HH模型的方法
在此基礎(chǔ)上,他們通過(guò)實(shí)驗(yàn)驗(yàn)證了HH網(wǎng)絡(luò)在處理復(fù)雜任務(wù)時(shí)的有效性和可靠性,并發(fā)現(xiàn)與簡(jiǎn)化的tv-LIF網(wǎng)絡(luò)(s-LIF2HH網(wǎng)絡(luò))相比,HH網(wǎng)絡(luò)的計(jì)算效率顯著更高。這證明了將外部復(fù)雜性轉(zhuǎn)化為內(nèi)部復(fù)雜性,可以提高深度學(xué)習(xí)模型的計(jì)算效率;也提示,受生物神經(jīng)元復(fù)雜動(dòng)態(tài)啟發(fā)的內(nèi)部復(fù)雜性小模型方法,有希望實(shí)現(xiàn)更強(qiáng)大和更高效的AI系統(tǒng)。
圖11:LIF模型、HH模型、s-LIF2HH的計(jì)算資源分析
此外,由于結(jié)構(gòu)和計(jì)算機(jī)制的限制,現(xiàn)有人工神經(jīng)網(wǎng)絡(luò)與真實(shí)大腦差距較大,無(wú)法直接用于理解真實(shí)大腦學(xué)習(xí)以及處理感知任務(wù)的機(jī)理。相比人工神經(jīng)網(wǎng)絡(luò),具有豐富內(nèi)部動(dòng)態(tài)的神經(jīng)元模型,更接近真實(shí)的生物,對(duì)理解真實(shí)大腦的學(xué)習(xí)過(guò)程和人類(lèi)智能的機(jī)制有重要作用。
3. 挑戰(zhàn)性
盡管內(nèi)部復(fù)雜性小模型方法在多個(gè)方面表現(xiàn)出色,但它也面臨著一系列挑戰(zhàn)。神經(jīng)元的電生理活動(dòng)通常通過(guò)復(fù)雜的非線(xiàn)性微分方程來(lái)描述,這使得模型的求解分析極具挑戰(zhàn)。由于神經(jīng)元模型的非線(xiàn)性和不連續(xù)特性,使用傳統(tǒng)的梯度下降方法進(jìn)行學(xué)習(xí)變得復(fù)雜和低效。此外,如HH模型等內(nèi)部復(fù)雜性的增加,減少了硬件并行性,減慢了信息處理速度,因此需要硬件方面相應(yīng)的創(chuàng)新和改進(jìn)。
為了應(yīng)對(duì)這些挑戰(zhàn),研究者們開(kāi)發(fā)了多種改進(jìn)的學(xué)習(xí)算法。例如,使用近似梯度,解決不連續(xù)特性的問(wèn)題;使用二階優(yōu)化算法,更加精確地捕捉損失函數(shù)的曲率信息加速收斂。分布式學(xué)習(xí)和并行計(jì)算的引入,使得復(fù)雜神經(jīng)元網(wǎng)絡(luò)的訓(xùn)練過(guò)程可以在大規(guī)模計(jì)算資源下更高效地進(jìn)行。
此外,生物啟發(fā)式學(xué)習(xí)機(jī)制受到一些學(xué)者的關(guān)注。生物神經(jīng)元的學(xué)習(xí)過(guò)程與目前的深度學(xué)習(xí)方法有很大不同。例如,生物神經(jīng)元依賴(lài)于突觸的可塑性來(lái)實(shí)現(xiàn)學(xué)習(xí),這種機(jī)制包括了突觸強(qiáng)度的增強(qiáng)和減弱,稱(chēng)為長(zhǎng)時(shí)程增強(qiáng)(LTP)和長(zhǎng)時(shí)程抑制(LTD)。這種機(jī)制不僅更加高效,還能夠減少模型對(duì)連續(xù)信號(hào)處理的依賴(lài),從而降低計(jì)算負(fù)擔(dān)。
MJ
03 彌合人工智能和人腦智能的差距
He等人通過(guò)理論驗(yàn)證和模擬證明了更小、內(nèi)部復(fù)雜的網(wǎng)絡(luò)可以復(fù)制更大、更簡(jiǎn)單的網(wǎng)絡(luò)的功能。這種方法不僅可以保持性能,還可以提高計(jì)算效率,將內(nèi)存使用量減少四倍,并將處理速度提高一倍,這也表明提高內(nèi)部復(fù)雜性可能是提高 AI 性能和效率的有效途徑。
Zhu和Eshraghian對(duì)He等人的文章Network model with internal complexity bridges artificial intelligence and neuroscience做出了評(píng)論[5]。他們認(rèn)為,“AI 中內(nèi)部復(fù)雜性和外部復(fù)雜性之間的爭(zhēng)論仍然懸而未決,這兩種方法都可能在未來(lái)的進(jìn)步中發(fā)揮作用。通過(guò)重新審視和加深神經(jīng)科學(xué)和 AI 之間的聯(lián)系,我們可能會(huì)發(fā)現(xiàn)構(gòu)建更高效、更強(qiáng)大、甚至更類(lèi)似大腦的人工智能系統(tǒng)的新方法!
當(dāng)我們站在 AI 發(fā)展的十字路口時(shí),該領(lǐng)域面臨著一個(gè)關(guān)鍵問(wèn)題:我們能否通過(guò)更精準(zhǔn)地模擬生物神經(jīng)元的動(dòng)力學(xué)來(lái)實(shí)現(xiàn) AI 能力的下一次飛躍,還是會(huì)繼續(xù)用更大的模型和更強(qiáng)大的硬件鋪平前進(jìn)的道路?Zhu和Eshraghian認(rèn)為,答案可能在于兩種方法的綜合,這也將隨著我們對(duì)神經(jīng)科學(xué)理解的加深而不斷優(yōu)化改進(jìn)。
盡管生物神經(jīng)元?jiǎng)討B(tài)的引入在一定程度上增強(qiáng)了AI的功能,但目前仍遠(yuǎn)未達(dá)到對(duì)人類(lèi)意識(shí)的模擬的技術(shù)水平。首先,理論的完備性依然不足。我們對(duì)意識(shí)的本質(zhì)缺乏足夠的理解,尚未形成一個(gè)能夠解釋和預(yù)測(cè)意識(shí)現(xiàn)象的完整理論。其次,意識(shí)的模擬可能需要高性能的計(jì)算模擬框架,目前的硬件和算法效率仍無(wú)法支持如此復(fù)雜的模擬。此外,大腦模型的高效訓(xùn)練算法依舊是一個(gè)難題。復(fù)雜神經(jīng)元的非線(xiàn)性行為增加了模型訓(xùn)練的難度,這需要新的優(yōu)化方法來(lái)處理。大腦的許多復(fù)雜功能,例如長(zhǎng)時(shí)間的記憶保持、情感處理和創(chuàng)造力,其具體神經(jīng)機(jī)制和底層分子機(jī)制仍有待深入探索。如何在人工神經(jīng)網(wǎng)絡(luò)中進(jìn)一步模擬這些行為及其分子機(jī)制,依然是開(kāi)放的問(wèn)題。未來(lái)的研究需要在這些問(wèn)題上取得突破,才能真正走向?qū)θ祟?lèi)意識(shí)和智能的模擬。
跨學(xué)科合作,對(duì)于人類(lèi)意識(shí)和智能的模擬至關(guān)重要。數(shù)學(xué)、神經(jīng)科學(xué)、認(rèn)知科學(xué)、哲學(xué)、計(jì)算機(jī)科學(xué)等領(lǐng)域的協(xié)同研究,將有助于更深入地理解和模擬人類(lèi)意識(shí)和人類(lèi)智能。只有通過(guò)不同學(xué)科的合作,才能形成更加全面的理論框架,推動(dòng)這項(xiàng)極具挑戰(zhàn)的任務(wù)向前發(fā)展。
參考文獻(xiàn)
[1] David Beniaguev, Idan Segev and Michael London. "Single cortical neurons as deep artificial neural networks." Neuron. 2021; 109: 2727-2739.e3 doi: https://doi.org/10.1016/j.neuron.2021.07.002
[2] Wei, J., Tay, Y., Bommasani, R., Raffel, C., Zoph, B., Borgeaud, S., Yogatama, D., Bosma, M., Zhou, D., Metzler, D., Chi, E.H., Hashimoto, T., Vinyals, O., Liang, P., Dean, J., & Fedus, W. (2022). Emergent Abilities of Large Language Models. ArXiv, abs/2206.07682.
[3] 王超名, 陳嘯寧, 張秋, 吳思 (2023). 神經(jīng)計(jì)算建模實(shí)戰(zhàn):基于BrainPy. 電子工業(yè)出版社.
[4] He, L., Xu, Y., He, W., Lin, Y., Tian, Y., Wu, Y., Wang, W., Zhang, Z., Han, J., Tian, Y., Xu, B., & Li, G. (2024). Network model with internal complexity bridges artificial intelligence and neuroscience. Nature computational science, 4(8), 584599. https://doi.org/10.1038/s43588-024-00674-9
[5] Zhu, R. J., Gunasekaran, S., & Eshraghian, J. (2024). Bridging the gap between artificial intelligence and natural intelligence. Nature computational science, 4(8), 559560. https://doi.org/10.1038/s43588-024-00677-6
[6] Hindley, N., Sanchez Avila, A., & Henstridge, C.M. (2023). Bringing synapses into focus: Recent advances in synaptic imaging and mass-spectrometry for studying synaptopathy. Frontiers in Synaptic Neuroscience, 15.
[7] Azevedo, F., Carvalho, L., Grinberg, L., Farfel, J., Ferretti, R., Leite, R., et al. (2009). Equal numbers of neuronal and nonneuronal cells make the human brain an isometrically scaled-up primate brain. J. Comp. Neurol. 513, 532541. doi: 10.1002/cne.21974
[8] Obi-Nagata, K., Temma, Y., and Hayashi-Takagi, A. (2019). Synaptic functions and their disruption in schizophrenia: From clinical evidence to synaptic optogenetics in an animal model. Proc. Jpn. Acad. Ser. B Phys. Biol. Sci. 95, 179197. doi: 10.2183/pjab.95.014
更多精彩內(nèi)容,關(guān)注鈦媒體微信號(hào)(ID:taimeiti),或者下載鈦媒體App