劃重點(diǎn)
01OpenAI資深研究者M(jìn)iles Brundage因個(gè)人原因離職，撰寫博客分享離職原因和對(duì)AI的看法。
02Brundage表示，他希望在行業(yè)外部影響和推動(dòng)AI的發(fā)展，減少偏見(jiàn)和發(fā)表限制。
03他計(jì)劃創(chuàng)辦非營(yíng)利機(jī)構(gòu)或加入現(xiàn)有非營(yíng)利組織，專注于人工智能政策研究和倡導(dǎo)。
04Brundage對(duì)AI的優(yōu)點(diǎn)和缺點(diǎn)都有深刻認(rèn)識(shí)，認(rèn)為政策制定者需要迅速采取行動(dòng)。
05此外，他還對(duì)AI的經(jīng)濟(jì)影響、有益AI應(yīng)用的加速推進(jìn)等方面表達(dá)了看法。
以上內(nèi)容由騰訊混元大模型生成，僅供參考
OpenAI 的離職潮仍未止息。
這一次離開(kāi)的是 Miles Brundage，他是 OpenAI 一位資深研究者和管理者，于 2018 年加入 OpenAI，離職前擔(dān)任 AGI Readiness 團(tuán)隊(duì)的高級(jí)顧問(wèn)，之前還曾領(lǐng)導(dǎo)過(guò) Policy Research 團(tuán)隊(duì)。更早之前，他曾在牛津大學(xué)人類未來(lái)研究所從事研究工作。
這次離開(kāi) OpenAI，他寫了一篇超過(guò) 5000 詞的博客，回顧了他在 OpenAI 的工作歷程，并分享了自己離職的原因、對(duì) AI 的看法以及未來(lái)計(jì)劃，其中還涉及到 OpenAI 工作方式和企業(yè)文化方面的一些隱秘。
消息發(fā)布后，許多 AI 領(lǐng)域的人士都留言表示祝福，包括仍然還在 OpenAI 的著名研究者 Noam Brown、a16z 合伙人和 Fellow AI 創(chuàng)始人 Marco Mascorro、谷歌 AI Studio 產(chǎn)品負(fù)責(zé)人 Logan Kilpatrick 以及大量 AI 領(lǐng)域的研究者和創(chuàng)業(yè)者。
劍橋大學(xué) AI 治理與政策研究者 Haydn Belfield 甚至認(rèn)為 Miles Brundage 離開(kāi) OpenAI 就相當(dāng)于一個(gè)時(shí)代的終結(jié)。
下面我們來(lái)看看 Miles Brundage 的「長(zhǎng)篇離職公開(kāi)信」里面究竟寫了些什么。
離職公開(kāi)信概覽
2015 年 12 月，OpenAI 作為一個(gè)組織宣布成立；自那以來(lái)，我都一直為它感到興奮。OpenAI 宣布成立之后，我徹夜不眠，寫下了我對(duì)其重要性的看法。甚至在那之前，大約 12 年前，我就決定將自己的一生奉獻(xiàn)給與 OpenAI 的大致使命（確保 AGI 造福全人類）相關(guān)的領(lǐng)域。
所以這幾乎就是我夢(mèng)想中的工作（為 OpenAI 高管和董事會(huì)提供 AGI 達(dá)成進(jìn)度方面的建議），所以離開(kāi)它并不是一個(gè)容易的決定，而且我確信有些人對(duì)此有很多疑問(wèn)。下面我將回答一些問(wèn)題，希望借此引導(dǎo)人們更準(zhǔn)確地討論我的離開(kāi)及各種相關(guān)話題。
太長(zhǎng)不讀版：
我想把更多時(shí)間投入到涉及整個(gè) AI 行業(yè)的問(wèn)題上，擁有更多發(fā)表的自由，更加獨(dú)立；
我將創(chuàng)立一家和 / 或加入一家已有的非營(yíng)利機(jī)構(gòu)，并且將把關(guān)注重心放在 AI 政策研究和倡導(dǎo)上，因?yàn)槲艺J(rèn)為，如果我們不齊心協(xié)力，AI 不太可能盡可能地安全和有益；
我感興趣的一些研究領(lǐng)域包括評(píng)估和預(yù)測(cè) AI 進(jìn)展、前沿 AI 安全的監(jiān)管問(wèn)題、AI 的經(jīng)濟(jì)影響、有益 AI 應(yīng)用的加速推進(jìn)、計(jì)算治理；
我認(rèn)為，對(duì)于許多研究和工作而言，OpenAI 依然是一個(gè)激動(dòng)人心的地方，我很高興看到團(tuán)隊(duì)繼續(xù)加大對(duì)安全文化和過(guò)程的投資。
我是誰(shuí)？我在 OpenAI 做什么？
在本周五結(jié)束之前，我都是 OpenAI 的一位研究員和管理者。我在這里 6 年多了，按照 OpenAI 的標(biāo)準(zhǔn)來(lái)說(shuō)是很長(zhǎng)一段時(shí)間了（過(guò)去 6 年來(lái)它真的成長(zhǎng)了很多�。Ｒ婚_(kāi)始，我是政策團(tuán)隊(duì)的一位研究科學(xué)家，之后變成了政策研究團(tuán)隊(duì)負(fù)責(zé)人，現(xiàn)在則是 AGI Readiness（AGI 達(dá)成進(jìn)度）團(tuán)隊(duì)的高級(jí)顧問(wèn)。在此之前，我在學(xué)術(shù)界 先從亞利桑那州立大學(xué)獲得了科學(xué)與技術(shù)的人文與社會(huì)維度博士學(xué)位，然后在牛津大學(xué)擔(dān)任博士后，并在美國(guó)能源部政府部門工作過(guò)一段時(shí)間。
在我看來(lái)，我領(lǐng)導(dǎo)過(guò)的團(tuán)隊(duì)（政策研究和 AGI 達(dá)成進(jìn)度）做了很多非常重要的工作，這些工作塑造了 OpenAI 的部署實(shí)踐，例如啟動(dòng)我們的外部紅隊(duì)項(xiàng)目并推動(dòng)前幾張 OpenAI 系統(tǒng)卡，并發(fā)表了許多有影響力的著作，主題包括語(yǔ)言模型和 AI 智能體的社會(huì)影響、前沿人工智能監(jiān)管、計(jì)算治理等。
我非常感謝我在 OpenAI 的時(shí)光，也非常感謝我的管理者們多年來(lái)的信任，讓我承擔(dān)越來(lái)越多的責(zé)任，感謝我有幸管理的數(shù)十名員工，我從他們身上學(xué)到了很多東西，感謝我在各個(gè)團(tuán)隊(duì)中共事的無(wú)數(shù)才華橫溢的同事，他們使在 OpenAI 工作成為一次如此迷人和有益的經(jīng)歷。
我為什么離開(kāi)？
我決定從行業(yè)外部而不是行業(yè)內(nèi)部來(lái)影響和推動(dòng) AI 的發(fā)展。這是我基于以下考慮得出的結(jié)論：
機(jī)會(huì)成本已經(jīng)變得非常高：我沒(méi)有時(shí)間研究我認(rèn)為重要的各種研究課題，在某些情況下，我認(rèn)為如果我在行業(yè)之外研究它們，所得成果的影響力會(huì)更大。OpenAI 現(xiàn)在如此引人注目，人們會(huì)從許多不同的角度審視其成果，因此我很難發(fā)表所有文章，但一些主題在我看來(lái)很重要。需要明確的是，雖然我不會(huì)說(shuō)我一直同意 OpenAI 對(duì)發(fā)表審查的立場(chǎng)，但我確實(shí)認(rèn)為行業(yè)中存在一些發(fā)表限制是合理的（我曾幫助編寫過(guò)幾個(gè)版本的 OpenAI 政策），但對(duì)我來(lái)說(shuō)，限制已然太多。
我想減少偏見(jiàn)：當(dāng)你是某個(gè)組織機(jī)構(gòu)的一部分并每天與那里的人密切合作時(shí)，就很難對(duì)該組織保持公正客觀的立場(chǎng)，而且考慮到經(jīng)濟(jì)利益沖突，人們有權(quán)質(zhì)疑來(lái)自行業(yè)的政策想法。我已經(jīng)嘗試過(guò)在分析中做到盡可能公正，但我確信其中存在一些偏見(jiàn)，而且在 OpenAI 工作肯定會(huì)影響人們對(duì)我的言論以及業(yè)內(nèi)其他人的言論的看法。我認(rèn)為在政策對(duì)話中擁有比現(xiàn)在更多的行業(yè)獨(dú)立聲音至關(guān)重要，我計(jì)劃成為其中之一。
我在 OpenAI 已經(jīng)完成了我之前計(jì)劃要做的大部分工作：自從開(kāi)始擔(dān)任 AGI 達(dá)成進(jìn)度高級(jí)顧問(wèn)以來(lái)，我開(kāi)始更明確地思考兩種 AGI 達(dá)成進(jìn)度 OpenAI 是否準(zhǔn)備好管理日益強(qiáng)大的 AI 能力，以及世界是否準(zhǔn)備好有效管理這些能力（包括通過(guò)監(jiān)管 OpenAI 和其他公司）。關(guān)于前者，我已經(jīng)告訴高管和董事會(huì)（我的建議的受眾）我認(rèn)為 OpenAI 需要什么以及還有什么差距，而對(duì)于后者，我認(rèn)為我可以在外部更有效地完成它。
上面哪一點(diǎn)最重要？這很難說(shuō)。它們以各種方式互相關(guān)聯(lián)，但每一個(gè)都在我的決定中發(fā)揮了一定作用。
OpenAI 和世界在迎接 AGI 方面準(zhǔn)備得如何了？
簡(jiǎn)而言之，OpenAI 和任何其它前沿實(shí)驗(yàn)室都沒(méi)有準(zhǔn)備好，世界也沒(méi)有準(zhǔn)備好。
確切地講，我認(rèn)為這個(gè)說(shuō)法在 OpenAI 領(lǐng)導(dǎo)層中沒(méi)有爭(zhēng)議。需要說(shuō)明，這不同于這個(gè)問(wèn)題：該公司和世界是否將在某個(gè)時(shí)間做好準(zhǔn)備？（但我認(rèn)為仍待填補(bǔ)的差距還非常大，足以讓我將余生都投入 AI 政策事業(yè)中）。
該公司和世界是否在向著做好準(zhǔn)備前進(jìn)？這個(gè)問(wèn)題很復(fù)雜，涉及到安全文化隨時(shí)間的變化（最近董事會(huì)的新增成員是朝著正確方向邁出的一步）、監(jiān)管對(duì)組織激勵(lì)的影響、有關(guān) AI 能力和安全難度的各種事實(shí)的影響，以及其他各種因素。
順帶一提，我認(rèn)為 AGI 是一個(gè)含義過(guò)多的短語(yǔ)，它暗示了一種超乎實(shí)際的二元化思維方式。我的團(tuán)隊(duì)最近一直在研究的課題之一是充實(shí)「AI 分級(jí)」框架。我希望 OpenAI 和我能夠很快發(fā)表一篇相關(guān)論文。但現(xiàn)在我只想指出，當(dāng)我說(shuō)「為 AGI 做好準(zhǔn)備」時(shí)，我的意思是：「準(zhǔn)備好安全、可靠且有益地開(kāi)發(fā)、部署和管理日益強(qiáng)大的 AI 系統(tǒng)」。
人們應(yīng)該在 OpenAI 工作嗎？
在 OpenAI 工作是大多數(shù)人希望做的最有影響力的事情之一，所以在很多情況下，這個(gè)問(wèn)題的答案是肯定的。當(dāng)然，人們擁有不同的技能和機(jī)會(huì)，很難做出籠統(tǒng)的陳述，但我認(rèn)為 OpenAI 的每一個(gè)角色及其工作的慎重性都很重要，對(duì) OpenAI 企業(yè)文化的貢獻(xiàn)也很重要。在通往更強(qiáng)大的人工智能的道路上，每一個(gè)產(chǎn)品的部署都通過(guò)影響規(guī)范、人工智能的感知和監(jiān)管方式等而發(fā)揮重要作用。我很遺憾失去了一些我在這里擁有影響力的機(jī)會(huì)，盡管我希望更大程度地影響更大的生態(tài)系統(tǒng)。
我認(rèn)為，在 OpenAI 致力于安全方面的工作尤其具有影響力。
在 OpenAI 工作的任何人都應(yīng)該認(rèn)真對(duì)待一個(gè)事實(shí)：他們的行為和言論有助于企業(yè)文化，并且當(dāng) OpenAI 開(kāi)始管理極其先進(jìn)的能力時(shí)，可能會(huì)產(chǎn)生積極或消極的路徑依賴。文化對(duì)任何機(jī)構(gòu)都很重要，在前沿人工智能的背景下尤其重要，因?yàn)榇蟛糠譀Q策不是由法規(guī)決定，而是由公司員工決定。
正如我上面提到的以及我的決定所表明的那樣，我認(rèn)為某些政策研究最好在外部進(jìn)行。我認(rèn)為政策研究可能比安全和保障工作更常見(jiàn)，OpenAI 內(nèi)部確實(shí)需要一些人推動(dòng)良好的政策立常
AGI Readiness 團(tuán)隊(duì)發(fā)生了什么？
經(jīng)濟(jì)研究團(tuán)隊(duì)直到最近還是由 Pamela Mishkin 領(lǐng)導(dǎo)的 AGI Readiness 子團(tuán)隊(duì)，但現(xiàn)在將由 OpenAI 新任首席經(jīng)濟(jì)學(xué)家 Ronnie Chatterji 領(lǐng)導(dǎo)。AGI Readiness 團(tuán)隊(duì)的其余成員將分布在其他團(tuán)隊(duì)中。
接下來(lái)我要做什么？
我計(jì)劃創(chuàng)辦一個(gè)新的非營(yíng)利組織或加入現(xiàn)有的非營(yíng)利組織，并將從事人工智能政策研究和宣傳工作。我可能會(huì)做一些研究和宣傳的結(jié)合，但細(xì)節(jié)待定，這將取決于未來(lái)幾個(gè)月我與潛在聯(lián)合創(chuàng)始人和合作者的對(duì)話。
我對(duì)人工智能政策有何看法？
AI 的經(jīng)濟(jì)影響
我認(rèn)為，在未來(lái)幾年（而不是幾十年），人工智能很可能會(huì)帶來(lái)足夠的經(jīng)濟(jì)增長(zhǎng)，從而使人們可以輕松地提前退休，過(guò)上高標(biāo)準(zhǔn)的生活（假設(shè)有適當(dāng)?shù)恼邅?lái)確保公平分配這些財(cái)富）。在此之前，可能會(huì)有一段時(shí)期，可以遠(yuǎn)程完成的任務(wù)更容易實(shí)現(xiàn)自動(dòng)化。在短期內(nèi)，我非常擔(dān)心人工智能會(huì)擾亂那些迫切想要工作的人的機(jī)會(huì)，但我同時(shí)認(rèn)為，人類最終應(yīng)該消除為生活而工作的義務(wù)，而這樣做也是構(gòu)建 AI 和 AGI 的最有力論據(jù)之一。從長(zhǎng)遠(yuǎn)來(lái)看，有些人可能會(huì)繼續(xù)工作，但這樣做的動(dòng)力可能會(huì)比以前更弱（這是否正確取決于各種文化和政策因素）。就這件事而言，我們?cè)谡�、文化或其他方面都還沒(méi)有做好準(zhǔn)備，這需要成為政策對(duì)話的一部分。簡(jiǎn)單地轉(zhuǎn)向「后工作世界」有可能導(dǎo)致文明停滯（參見(jiàn)《機(jī)器人總動(dòng)員》），我們需要對(duì)此進(jìn)行更多的思考和討論。
我們還需要對(duì)人工智能的稅收政策影響進(jìn)行創(chuàng)新分析。例如，有人建議征收「機(jī)器人稅」，但這究竟會(huì)產(chǎn)生什么影響？它與計(jì)算稅或 AI 增值稅等相比有何不同？我們是否不應(yīng)該做任何專門針對(duì) AI 的事情，而只需要意識(shí)到 AI 會(huì)讓其他類型的稅收變得更加緊迫（例如，如果資本和勞動(dòng)力的回報(bào)出現(xiàn)巨大差異）？
加速有益的 AI 應(yīng)用
雖然 AI 會(huì)帶來(lái)一些好處，而且這些好處正在「自動(dòng)」出現(xiàn)（通過(guò)許多人的辛勤工作），不需要太多的政府參與或支持，但我認(rèn)為這種情況還沒(méi)有達(dá)到足夠的程度。對(duì)于從事工業(yè)工作的人來(lái)說(shuō)，我們離理想有多遠(yuǎn)是顯而易見(jiàn)的，而受限的 AI 素養(yǎng)和有限的資源又在多大程度上阻礙了 AI 收益的全面普及。
我認(rèn)為，即使對(duì)（幾乎）只專注于降低 AI 風(fēng)險(xiǎn)的人來(lái)說(shuō)，認(rèn)真考慮 AI 的有益應(yīng)用也是有意義的，因?yàn)樗鼈兛赡軙?huì)改變不同競(jìng)爭(zhēng)方對(duì)共同利益的看法，從而影響他們是否傾向于采取捷徑的可能性。而且有益的應(yīng)用也可能在降低風(fēng)險(xiǎn)方面提供更大的容錯(cuò)空間（例如，通過(guò)使社會(huì)對(duì)更高級(jí)別的人工智能部署或?yàn)E用具有更強(qiáng)的適應(yīng)能力）。
此外，在默認(rèn)情況下，免費(fèi)和付費(fèi) AI 功能之間的差距很可能會(huì)越來(lái)越大。曾經(jīng)有一段短暫的時(shí)期，這兩者之間是完全等同的（除了次數(shù)限制），比如有段時(shí)間 4o 是最好的付費(fèi)模型，用戶也可以免費(fèi)使用。但那個(gè)時(shí)代已經(jīng)過(guò)去，很快就會(huì)成為遙遠(yuǎn)的記憶，因?yàn)楦骷夜径荚跔?zhēng)相為愿意支付更多費(fèi)用的用戶提供 test-time 計(jì)算服務(wù)。我并不是說(shuō)不應(yīng)該存在這樣的差異，而是我們應(yīng)該深思熟慮，找到合適的平衡點(diǎn)，以及我們是否可能在不知不覺(jué)中走向一個(gè)知識(shí)擁有者和非擁有者的世界。
在我看來(lái)，「AI for good」的初衷是好的，但目前卻效率低下，這主要是由于民間社會(huì)和政府缺乏足夠的專業(yè)技術(shù)知識(shí)，以及良好的規(guī)范和理論基矗例如，如果能對(duì)以下問(wèn)題進(jìn)行更多分析就好了：哪些問(wèn)題應(yīng)該 / 不應(yīng)該期望市場(chǎng)提供解決方案；對(duì)于特定問(wèn)題，是應(yīng)該構(gòu)建定制的專用 AI 解決方案，還是應(yīng)該提高通用 AI 系統(tǒng)處理這些問(wèn)題的能力；何時(shí)應(yīng)該補(bǔ)貼現(xiàn)有技術(shù)，何時(shí)應(yīng)該創(chuàng)造全新的技術(shù)等。
當(dāng)然，也有一些令人興奮的新想法和新框架被提出來(lái)，但我們也希望看到圍繞這些更大的問(wèn)題進(jìn)行更多的辯論（除了為促進(jìn)特定有益應(yīng)用而采取的一次性舉措之外），我們也希望看到「AI for good」社區(qū)、更注重理論的群體（他們正在思考風(fēng)險(xiǎn)敏感型創(chuàng)新、「d/acc」和社會(huì)對(duì)人工智能影響的適應(yīng)力等想法）以及致力于縮小數(shù)字鴻溝的群體之間進(jìn)行更多的相互交流。
計(jì)算治理
與軟件、數(shù)據(jù)和人才相比，計(jì)算硬件具有獨(dú)特的屬性，使其成為人工智能政策的一個(gè)重要焦點(diǎn)：「它是可檢測(cè)、可排除、可量化的，而且是通過(guò)極其集中的供應(yīng)鏈生產(chǎn)出來(lái)的」。
學(xué)術(shù)文獻(xiàn)對(duì)計(jì)算治理進(jìn)行了認(rèn)真的分析，但一般都遠(yuǎn)遠(yuǎn)落后于產(chǎn)業(yè)界的發(fā)展。例如，對(duì)于那些前沿人工智能公司來(lái)說(shuō)，近年來(lái)有一個(gè)越來(lái)越明顯的趨勢(shì)，即擴(kuò)大推理（而不僅僅是訓(xùn)練）規(guī)�？梢詫�(shí)現(xiàn)更高的性能，但對(duì)其政策影響的公開(kāi)分析直到最近才真正開(kāi)始。更廣泛地分配計(jì)算能力（以及人工智能的相關(guān)優(yōu)勢(shì)）的想法，例如通過(guò)政府為學(xué)術(shù)界提供更多的計(jì)算能力，通常都太少太遲，而且忽視了不斷發(fā)展變化的世界中的特定問(wèn)題。
我將如何保持獨(dú)立性？
我希望這項(xiàng)工作在研究和建議方面是（并且被視為）獨(dú)立的，我也希望自己是這樣被看待的，盡管在實(shí)踐中這樣做并不容易，同時(shí)保持接近人工智能的 SOTA 水平。我將繼續(xù)建設(shè)性地與對(duì)人工智能有不同看法的部門接觸，包括工業(yè)、學(xué)術(shù)界、民間社會(huì)和政府的人。
OpenAI 表示愿意為這項(xiàng)新工作提供資金、API 額度和早期模型訪問(wèn)權(quán)，并向我保證不會(huì)對(duì)這項(xiàng)支持進(jìn)行出版前審查，我對(duì)此表示感謝。不過(guò)，考慮到接受這些提議可能會(huì)損害獨(dú)立性的現(xiàn)實(shí)和 / 或感知，我還沒(méi)有做出任何最終決定。我將與我的同事共同做出決定。
原文鏈接：https://milesbrundage.substack.com/p/why-im-leaving-openai-and-what-im
