（來(lái)源：MIT TR）
被稱為現(xiàn)代人工智能領(lǐng)域的“教父”之一、身為圖靈獎(jiǎng)得主的 Yoshua Bengio，正在全力支持一個(gè)為人工智能系統(tǒng)嵌入安全機(jī)制的項(xiàng)目，該項(xiàng)目由英國(guó)政府出資。
這個(gè)名為“安全守護(hù) AI”（Safeguarded AI）的項(xiàng)目旨在構(gòu)建一個(gè)人工智能系統(tǒng)，能夠檢查在關(guān)鍵領(lǐng)域部署的其他 AI 系統(tǒng)的安全性。Bengio 將作為科學(xué)總監(jiān)加入這一項(xiàng)目，并將提供關(guān)鍵性意見(jiàn)和科學(xué)建議。該項(xiàng)目將在未來(lái)四年獲得 5900 萬(wàn)英鎊的資金，這些資金來(lái)自英國(guó)高級(jí)研究與發(fā)明署（Advanced Research and Invention Agency, ARIA），該機(jī)構(gòu)于去年一月成立，目的是投資具有潛在變革性的科學(xué)研究。
相關(guān)項(xiàng)目（來(lái)源：ARIA）
“安全守護(hù) AI”的目標(biāo)是構(gòu)建能夠提供定量保證的人工智能系統(tǒng)，例如風(fēng)險(xiǎn)評(píng)分，以評(píng)估其對(duì)現(xiàn)實(shí)世界的影響，根據(jù) ARIA 的“安全守護(hù) AI”計(jì)劃負(fù)責(zé)人 David Dalrymple 所說(shuō)，該想法是利用數(shù)學(xué)分析來(lái)補(bǔ)充人工測(cè)試，評(píng)估新系統(tǒng)的潛在危害。
該項(xiàng)目希望通過(guò)結(jié)合本質(zhì)上是世界模擬的科學(xué)模型與數(shù)學(xué)證明相結(jié)合，來(lái)構(gòu)建 AI 安全機(jī)制。這些證明將包括對(duì) AI 工作的解釋，而人類的任務(wù)是驗(yàn)證 AI 模型的安全檢查是否正確。
Bengio 表示，他希望確保未來(lái)的 AI 系統(tǒng)不會(huì)帶來(lái)嚴(yán)重?fù)p害。“我們正沖向一片迷霧，迷霧背后可能就是懸崖，”他說(shuō)，“我們不知道懸崖有多遠(yuǎn)，甚至不確定是否存在這樣的懸崖，這可能是幾年后，也可能是幾十年后的事情，我們也不知道它會(huì)有多么嚴(yán)重……我們需要開(kāi)發(fā)工具來(lái)驅(qū)散這片迷霧，確保我們不會(huì)沖向懸崖。”
“科技公司目前無(wú)法在數(shù)學(xué)上確保 AI 系統(tǒng)會(huì)按照預(yù)定的方式運(yùn)行，”他補(bǔ)充道，“這種不可靠可能會(huì)導(dǎo)致災(zāi)難性的后果。”
Dalrymple 和 Bengio 認(rèn)為，當(dāng)前用來(lái)緩解高級(jí) AI 系統(tǒng)風(fēng)險(xiǎn)的技術(shù)手段（例如紅隊(duì)測(cè)試，即人們探測(cè)人工智能系統(tǒng)是否存在缺陷），存在嚴(yán)重的局限性，不能完全依賴它們來(lái)確保關(guān)鍵系統(tǒng)不偏離軌道。
相反，他們希望該計(jì)劃能提供新的方式來(lái)保障 AI 系統(tǒng)的安全，減少對(duì)人力的依賴，更多地依賴數(shù)學(xué)確定性。他們的愿景是建立一個(gè)“守門(mén)員” AI，負(fù)責(zé)理解和降低其他 AI 代理的安全風(fēng)險(xiǎn)。這個(gè)守門(mén)員 AI 將確保那些在高風(fēng)險(xiǎn)領(lǐng)域運(yùn)作的 AI 代理，如交通或能源系統(tǒng)，能夠按預(yù)期運(yùn)行。Dalrymple 說(shuō)，該計(jì)劃的想法是盡早與企業(yè)合作，了解 AI 安全機(jī)制如何適用于不同的行業(yè)。
Bengio 認(rèn)為高級(jí)系統(tǒng)的復(fù)雜性意味著我們別無(wú)選擇，只能使用 AI 來(lái)保障 AI 的安全。“這是唯一的方法，因?yàn)榈搅四硞�(gè)階段，當(dāng)這些 AI 變得過(guò)于復(fù)雜，即使是現(xiàn)在我們所擁有的 AI，也無(wú)法真正將答案分解成人類可以理解的推理步驟序列。”他說(shuō)。
下一步是實(shí)際構(gòu)建能夠檢查其他 AI 系統(tǒng)的模型，這也是“安全守護(hù) AI”和 ARIA 希望改變 AI 行業(yè)現(xiàn)狀的地方。
ARIA 還向運(yùn)輸、電信、供應(yīng)鏈和醫(yī)學(xué)研究等高風(fēng)險(xiǎn)行業(yè)的個(gè)人或組織提供資金，幫助他們開(kāi)發(fā)可能受益于 AI 安全機(jī)制的應(yīng)用程序。第一年的總資金為 540 萬(wàn)英鎊，之后一年再提供 820 萬(wàn)英鎊，申請(qǐng)截止日期為 10 月 2 日。
該機(jī)構(gòu)也在廣泛尋找有興趣通過(guò)非營(yíng)利組織來(lái)構(gòu)建“安全守護(hù) AI”的安全機(jī)制的人才。ARIA 預(yù)計(jì)將投入高達(dá) 1800 萬(wàn)英鎊設(shè)立這樣一個(gè)組織，并將在明年年初接受資金申請(qǐng)。
Dalrymple 表示，該計(jì)劃正在尋找提案來(lái)啟動(dòng)一個(gè)擁有多元化董事會(huì)的非營(yíng)利組織，該董事會(huì)涵蓋許多不同行業(yè)，以便以可靠和可信的方式開(kāi)展這項(xiàng)工作。這類似于 OpenAI 在改變戰(zhàn)略更加注重產(chǎn)品和利潤(rùn)之前、最初成立的目的。
該組織的董事會(huì)不僅將負(fù)責(zé)監(jiān)督 CEO，還將參與決定是否開(kāi)展某些研究項(xiàng)目，以及是否發(fā)布特定論文和 API，他補(bǔ)充道。
“安全守護(hù) AI”項(xiàng)目是英國(guó)將自己定位為“ AI 安全先驅(qū)”這一使命的一部分。2023 年 11 月，該國(guó)舉辦了首屆 AI 安全峰會(huì)，匯聚了世界領(lǐng)導(dǎo)人和技術(shù)專家討論如何以安全的方式構(gòu)建技術(shù)。
首屆 AI 安全峰會(huì)（來(lái)源：GOV.UK）
雖然資助計(jì)劃傾向于英國(guó)本地申請(qǐng)人，但 ARIA 正在全球范圍內(nèi)尋找有興趣來(lái)到英國(guó)的人才，Dalrymple 說(shuō)。此外，ARIA 還有一個(gè)知識(shí)產(chǎn)權(quán)機(jī)制，用于資助海外營(yíng)利性公司，允許版稅回歸英國(guó)。
Bengio 主導(dǎo)了《國(guó)際高級(jí) AI 安全科學(xué)報(bào)告》，該報(bào)告涉及 30 個(gè)國(guó)家以及歐盟和聯(lián)合國(guó)。他表示，他被該項(xiàng)目吸引是因?yàn)樗龠M(jìn)了國(guó)際間在 AI 安全方面的合作，而作為 AI 安全的積極倡導(dǎo)者，他曾參與了一個(gè)有影響力的游說(shuō)團(tuán)體，警告超級(jí)智能 AI 可能帶來(lái)生存風(fēng)險(xiǎn)。
“我們需要將如何應(yīng)對(duì) AI 風(fēng)險(xiǎn)的討論擴(kuò)大到更廣泛的全球參與者，”Bengio 說(shuō)，“這個(gè)項(xiàng)目讓我們更接近這個(gè)目標(biāo)。”
原文鏈接：
https://www.technologyreview.com/2024/08/07/1095879/ai-godfather-yoshua-bengio-joins-uk-project-to-prevent-ai-catastrophes/
