劃重點(diǎn)
01OpenAI資深研究者M(jìn)iles Brundage因個人原因離職，撰寫博客分享離職原因和對AI的看法。
02Brundage表示，他希望在行業(yè)外部影響和推動AI的發(fā)展，減少偏見和發(fā)表限制。
03他計(jì)劃創(chuàng)辦非營利機(jī)構(gòu)或加入現(xiàn)有非營利組織，專注于人工智能政策研究和倡導(dǎo)。
04Brundage對AI的優(yōu)點(diǎn)和缺點(diǎn)都有深刻認(rèn)識，認(rèn)為政策制定者需要迅速采取行動。
05此外，他還對AI的經(jīng)濟(jì)影響、有益AI應(yīng)用的加速推進(jìn)等方面表達(dá)了看法。
以上內(nèi)容由騰訊混元大模型生成，僅供參考
OpenAI 的離職潮仍未止息。
這一次離開的是 Miles Brundage，他是 OpenAI 一位資深研究者和管理者，于 2018 年加入 OpenAI，離職前擔(dān)任 AGI Readiness 團(tuán)隊(duì)的高級顧問，之前還曾領(lǐng)導(dǎo)過 Policy Research 團(tuán)隊(duì)。更早之前，他曾在牛津大學(xué)人類未來研究所從事研究工作。
這次離開 OpenAI，他寫了一篇超過 5000 詞的博客，回顧了他在 OpenAI 的工作歷程，并分享了自己離職的原因、對 AI 的看法以及未來計(jì)劃，其中還涉及到 OpenAI 工作方式和企業(yè)文化方面的一些隱秘。
消息發(fā)布后，許多 AI 領(lǐng)域的人士都留言表示祝福，包括仍然還在 OpenAI 的著名研究者 Noam Brown、a16z 合伙人和 Fellow AI 創(chuàng)始人 Marco Mascorro、谷歌 AI Studio 產(chǎn)品負(fù)責(zé)人 Logan Kilpatrick 以及大量 AI 領(lǐng)域的研究者和創(chuàng)業(yè)者。
劍橋大學(xué) AI 治理與政策研究者 Haydn Belfield 甚至認(rèn)為 Miles Brundage 離開 OpenAI 就相當(dāng)于一個時代的終結(jié)。
下面我們來看看 Miles Brundage 的「長篇離職公開信」里面究竟寫了些什么。
離職公開信概覽
2015 年 12 月，OpenAI 作為一個組織宣布成立；自那以來，我都一直為它感到興奮。OpenAI 宣布成立之后，我徹夜不眠，寫下了我對其重要性的看法。甚至在那之前，大約 12 年前，我就決定將自己的一生奉獻(xiàn)給與 OpenAI 的大致使命（確保 AGI 造福全人類）相關(guān)的領(lǐng)域。
所以這幾乎就是我夢想中的工作（為 OpenAI 高管和董事會提供 AGI 達(dá)成進(jìn)度方面的建議），所以離開它并不是一個容易的決定，而且我確信有些人對此有很多疑問。下面我將回答一些問題，希望借此引導(dǎo)人們更準(zhǔn)確地討論我的離開及各種相關(guān)話題。
太長不讀版：
我想把更多時間投入到涉及整個 AI 行業(yè)的問題上，擁有更多發(fā)表的自由，更加獨(dú)立；
我將創(chuàng)立一家和 / 或加入一家已有的非營利機(jī)構(gòu)，并且將把關(guān)注重心放在 AI 政策研究和倡導(dǎo)上，因?yàn)槲艺J(rèn)為，如果我們不齊心協(xié)力，AI 不太可能盡可能地安全和有益；
我感興趣的一些研究領(lǐng)域包括評估和預(yù)測 AI 進(jìn)展、前沿 AI 安全的監(jiān)管問題、AI 的經(jīng)濟(jì)影響、有益 AI 應(yīng)用的加速推進(jìn)、計(jì)算治理；
我認(rèn)為，對于許多研究和工作而言，OpenAI 依然是一個激動人心的地方，我很高興看到團(tuán)隊(duì)繼續(xù)加大對安全文化和過程的投資。
我是誰？我在 OpenAI 做什么？
在本周五結(jié)束之前，我都是 OpenAI 的一位研究員和管理者。我在這里 6 年多了，按照 OpenAI 的標(biāo)準(zhǔn)來說是很長一段時間了（過去 6 年來它真的成長了很多�。�。一開始，我是政策團(tuán)隊(duì)的一位研究科學(xué)家，之后變成了政策研究團(tuán)隊(duì)負(fù)責(zé)人，現(xiàn)在則是 AGI Readiness（AGI 達(dá)成進(jìn)度）團(tuán)隊(duì)的高級顧問。在此之前，我在學(xué)術(shù)界 先從亞利桑那州立大學(xué)獲得了科學(xué)與技術(shù)的人文與社會維度博士學(xué)位，然后在牛津大學(xué)擔(dān)任博士后，并在美國能源部政府部門工作過一段時間。
在我看來，我領(lǐng)導(dǎo)過的團(tuán)隊(duì)（政策研究和 AGI 達(dá)成進(jìn)度）做了很多非常重要的工作，這些工作塑造了 OpenAI 的部署實(shí)踐，例如啟動我們的外部紅隊(duì)項(xiàng)目并推動前幾張 OpenAI 系統(tǒng)卡，并發(fā)表了許多有影響力的著作，主題包括語言模型和 AI 智能體的社會影響、前沿人工智能監(jiān)管、計(jì)算治理等。
我非常感謝我在 OpenAI 的時光，也非常感謝我的管理者們多年來的信任，讓我承擔(dān)越來越多的責(zé)任，感謝我有幸管理的數(shù)十名員工，我從他們身上學(xué)到了很多東西，感謝我在各個團(tuán)隊(duì)中共事的無數(shù)才華橫溢的同事，他們使在 OpenAI 工作成為一次如此迷人和有益的經(jīng)歷。
我為什么離開？
我決定從行業(yè)外部而不是行業(yè)內(nèi)部來影響和推動 AI 的發(fā)展。這是我基于以下考慮得出的結(jié)論：
機(jī)會成本已經(jīng)變得非常高：我沒有時間研究我認(rèn)為重要的各種研究課題，在某些情況下，我認(rèn)為如果我在行業(yè)之外研究它們，所得成果的影響力會更大。OpenAI 現(xiàn)在如此引人注目，人們會從許多不同的角度審視其成果，因此我很難發(fā)表所有文章，但一些主題在我看來很重要。需要明確的是，雖然我不會說我一直同意 OpenAI 對發(fā)表審查的立場，但我確實(shí)認(rèn)為行業(yè)中存在一些發(fā)表限制是合理的（我曾幫助編寫過幾個版本的 OpenAI 政策），但對我來說，限制已然太多。
我想減少偏見：當(dāng)你是某個組織機(jī)構(gòu)的一部分并每天與那里的人密切合作時，就很難對該組織保持公正客觀的立場，而且考慮到經(jīng)濟(jì)利益沖突，人們有權(quán)質(zhì)疑來自行業(yè)的政策想法。我已經(jīng)嘗試過在分析中做到盡可能公正，但我確信其中存在一些偏見，而且在 OpenAI 工作肯定會影響人們對我的言論以及業(yè)內(nèi)其他人的言論的看法。我認(rèn)為在政策對話中擁有比現(xiàn)在更多的行業(yè)獨(dú)立聲音至關(guān)重要，我計(jì)劃成為其中之一。
我在 OpenAI 已經(jīng)完成了我之前計(jì)劃要做的大部分工作：自從開始擔(dān)任 AGI 達(dá)成進(jìn)度高級顧問以來，我開始更明確地思考兩種 AGI 達(dá)成進(jìn)度 OpenAI 是否準(zhǔn)備好管理日益強(qiáng)大的 AI 能力，以及世界是否準(zhǔn)備好有效管理這些能力（包括通過監(jiān)管 OpenAI 和其他公司）。關(guān)于前者，我已經(jīng)告訴高管和董事會（我的建議的受眾）我認(rèn)為 OpenAI 需要什么以及還有什么差距，而對于后者，我認(rèn)為我可以在外部更有效地完成它。
上面哪一點(diǎn)最重要？這很難說。它們以各種方式互相關(guān)聯(lián)，但每一個都在我的決定中發(fā)揮了一定作用。
OpenAI 和世界在迎接 AGI 方面準(zhǔn)備得如何了？
簡而言之，OpenAI 和任何其它前沿實(shí)驗(yàn)室都沒有準(zhǔn)備好，世界也沒有準(zhǔn)備好。
確切地講，我認(rèn)為這個說法在 OpenAI 領(lǐng)導(dǎo)層中沒有爭議。需要說明，這不同于這個問題：該公司和世界是否將在某個時間做好準(zhǔn)備？（但我認(rèn)為仍待填補(bǔ)的差距還非常大，足以讓我將余生都投入 AI 政策事業(yè)中）。
該公司和世界是否在向著做好準(zhǔn)備前進(jìn)？這個問題很復(fù)雜，涉及到安全文化隨時間的變化（最近董事會的新增成員是朝著正確方向邁出的一步）、監(jiān)管對組織激勵的影響、有關(guān) AI 能力和安全難度的各種事實(shí)的影響，以及其他各種因素。
順帶一提，我認(rèn)為 AGI 是一個含義過多的短語，它暗示了一種超乎實(shí)際的二元化思維方式。我的團(tuán)隊(duì)最近一直在研究的課題之一是充實(shí)「AI 分級」框架。我希望 OpenAI 和我能夠很快發(fā)表一篇相關(guān)論文。但現(xiàn)在我只想指出，當(dāng)我說「為 AGI 做好準(zhǔn)備」時，我的意思是：「準(zhǔn)備好安全、可靠且有益地開發(fā)、部署和管理日益強(qiáng)大的 AI 系統(tǒng)」。
人們應(yīng)該在 OpenAI 工作嗎？
在 OpenAI 工作是大多數(shù)人希望做的最有影響力的事情之一，所以在很多情況下，這個問題的答案是肯定的。當(dāng)然，人們擁有不同的技能和機(jī)會，很難做出籠統(tǒng)的陳述，但我認(rèn)為 OpenAI 的每一個角色及其工作的慎重性都很重要，對 OpenAI 企業(yè)文化的貢獻(xiàn)也很重要。在通往更強(qiáng)大的人工智能的道路上，每一個產(chǎn)品的部署都通過影響規(guī)范、人工智能的感知和監(jiān)管方式等而發(fā)揮重要作用。我很遺憾失去了一些我在這里擁有影響力的機(jī)會，盡管我希望更大程度地影響更大的生態(tài)系統(tǒng)。
我認(rèn)為，在 OpenAI 致力于安全方面的工作尤其具有影響力。
在 OpenAI 工作的任何人都應(yīng)該認(rèn)真對待一個事實(shí)：他們的行為和言論有助于企業(yè)文化，并且當(dāng) OpenAI 開始管理極其先進(jìn)的能力時，可能會產(chǎn)生積極或消極的路徑依賴。文化對任何機(jī)構(gòu)都很重要，在前沿人工智能的背景下尤其重要，因?yàn)榇蟛糠譀Q策不是由法規(guī)決定，而是由公司員工決定。
正如我上面提到的以及我的決定所表明的那樣，我認(rèn)為某些政策研究最好在外部進(jìn)行。我認(rèn)為政策研究可能比安全和保障工作更常見，OpenAI 內(nèi)部確實(shí)需要一些人推動良好的政策立常
AGI Readiness 團(tuán)隊(duì)發(fā)生了什么？
經(jīng)濟(jì)研究團(tuán)隊(duì)直到最近還是由 Pamela Mishkin 領(lǐng)導(dǎo)的 AGI Readiness 子團(tuán)隊(duì)，但現(xiàn)在將由 OpenAI 新任首席經(jīng)濟(jì)學(xué)家 Ronnie Chatterji 領(lǐng)導(dǎo)。AGI Readiness 團(tuán)隊(duì)的其余成員將分布在其他團(tuán)隊(duì)中。
接下來我要做什么？
我計(jì)劃創(chuàng)辦一個新的非營利組織或加入現(xiàn)有的非營利組織，并將從事人工智能政策研究和宣傳工作。我可能會做一些研究和宣傳的結(jié)合，但細(xì)節(jié)待定，這將取決于未來幾個月我與潛在聯(lián)合創(chuàng)始人和合作者的對話。
我對人工智能政策有何看法？
AI 的經(jīng)濟(jì)影響
我認(rèn)為，在未來幾年（而不是幾十年），人工智能很可能會帶來足夠的經(jīng)濟(jì)增長，從而使人們可以輕松地提前退休，過上高標(biāo)準(zhǔn)的生活（假設(shè)有適當(dāng)?shù)恼邅泶_保公平分配這些財(cái)富）。在此之前，可能會有一段時期，可以遠(yuǎn)程完成的任務(wù)更容易實(shí)現(xiàn)自動化。在短期內(nèi)，我非常擔(dān)心人工智能會擾亂那些迫切想要工作的人的機(jī)會，但我同時認(rèn)為，人類最終應(yīng)該消除為生活而工作的義務(wù)，而這樣做也是構(gòu)建 AI 和 AGI 的最有力論據(jù)之一。從長遠(yuǎn)來看，有些人可能會繼續(xù)工作，但這樣做的動力可能會比以前更弱（這是否正確取決于各種文化和政策因素）。就這件事而言，我們在政治、文化或其他方面都還沒有做好準(zhǔn)備，這需要成為政策對話的一部分。簡單地轉(zhuǎn)向「后工作世界」有可能導(dǎo)致文明停滯（參見《機(jī)器人總動員》），我們需要對此進(jìn)行更多的思考和討論。
我們還需要對人工智能的稅收政策影響進(jìn)行創(chuàng)新分析。例如，有人建議征收「機(jī)器人稅」，但這究竟會產(chǎn)生什么影響？它與計(jì)算稅或 AI 增值稅等相比有何不同？我們是否不應(yīng)該做任何專門針對 AI 的事情，而只需要意識到 AI 會讓其他類型的稅收變得更加緊迫（例如，如果資本和勞動力的回報出現(xiàn)巨大差異）？
加速有益的 AI 應(yīng)用
雖然 AI 會帶來一些好處，而且這些好處正在「自動」出現(xiàn)（通過許多人的辛勤工作），不需要太多的政府參與或支持，但我認(rèn)為這種情況還沒有達(dá)到足夠的程度。對于從事工業(yè)工作的人來說，我們離理想有多遠(yuǎn)是顯而易見的，而受限的 AI 素養(yǎng)和有限的資源又在多大程度上阻礙了 AI 收益的全面普及。
我認(rèn)為，即使對（幾乎）只專注于降低 AI 風(fēng)險的人來說，認(rèn)真考慮 AI 的有益應(yīng)用也是有意義的，因?yàn)樗鼈兛赡軙淖儾煌偁幏綄餐娴目捶ǎ瑥亩绊懰麄兪欠駜A向于采取捷徑的可能性。而且有益的應(yīng)用也可能在降低風(fēng)險方面提供更大的容錯空間（例如，通過使社會對更高級別的人工智能部署或?yàn)E用具有更強(qiáng)的適應(yīng)能力）。
此外，在默認(rèn)情況下，免費(fèi)和付費(fèi) AI 功能之間的差距很可能會越來越大。曾經(jīng)有一段短暫的時期，這兩者之間是完全等同的（除了次數(shù)限制），比如有段時間 4o 是最好的付費(fèi)模型，用戶也可以免費(fèi)使用。但那個時代已經(jīng)過去，很快就會成為遙遠(yuǎn)的記憶，因?yàn)楦骷夜径荚跔幭酁樵敢庵Ц陡噘M(fèi)用的用戶提供 test-time 計(jì)算服務(wù)。我并不是說不應(yīng)該存在這樣的差異，而是我們應(yīng)該深思熟慮，找到合適的平衡點(diǎn)，以及我們是否可能在不知不覺中走向一個知識擁有者和非擁有者的世界。
在我看來，「AI for good」的初衷是好的，但目前卻效率低下，這主要是由于民間社會和政府缺乏足夠的專業(yè)技術(shù)知識，以及良好的規(guī)范和理論基矗例如，如果能對以下問題進(jìn)行更多分析就好了：哪些問題應(yīng)該 / 不應(yīng)該期望市場提供解決方案；對于特定問題，是應(yīng)該構(gòu)建定制的專用 AI 解決方案，還是應(yīng)該提高通用 AI 系統(tǒng)處理這些問題的能力；何時應(yīng)該補(bǔ)貼現(xiàn)有技術(shù)，何時應(yīng)該創(chuàng)造全新的技術(shù)等。
當(dāng)然，也有一些令人興奮的新想法和新框架被提出來，但我們也希望看到圍繞這些更大的問題進(jìn)行更多的辯論（除了為促進(jìn)特定有益應(yīng)用而采取的一次性舉措之外），我們也希望看到「AI for good」社區(qū)、更注重理論的群體（他們正在思考風(fēng)險敏感型創(chuàng)新、「d/acc」和社會對人工智能影響的適應(yīng)力等想法）以及致力于縮小數(shù)字鴻溝的群體之間進(jìn)行更多的相互交流。
計(jì)算治理
與軟件、數(shù)據(jù)和人才相比，計(jì)算硬件具有獨(dú)特的屬性，使其成為人工智能政策的一個重要焦點(diǎn)：「它是可檢測、可排除、可量化的，而且是通過極其集中的供應(yīng)鏈生產(chǎn)出來的」。
學(xué)術(shù)文獻(xiàn)對計(jì)算治理進(jìn)行了認(rèn)真的分析，但一般都遠(yuǎn)遠(yuǎn)落后于產(chǎn)業(yè)界的發(fā)展。例如，對于那些前沿人工智能公司來說，近年來有一個越來越明顯的趨勢，即擴(kuò)大推理（而不僅僅是訓(xùn)練）規(guī)�？梢詫�(shí)現(xiàn)更高的性能，但對其政策影響的公開分析直到最近才真正開始。更廣泛地分配計(jì)算能力（以及人工智能的相關(guān)優(yōu)勢）的想法，例如通過政府為學(xué)術(shù)界提供更多的計(jì)算能力，通常都太少太遲，而且忽視了不斷發(fā)展變化的世界中的特定問題。
我將如何保持獨(dú)立性？
我希望這項(xiàng)工作在研究和建議方面是（并且被視為）獨(dú)立的，我也希望自己是這樣被看待的，盡管在實(shí)踐中這樣做并不容易，同時保持接近人工智能的 SOTA 水平。我將繼續(xù)建設(shè)性地與對人工智能有不同看法的部門接觸，包括工業(yè)、學(xué)術(shù)界、民間社會和政府的人。
OpenAI 表示愿意為這項(xiàng)新工作提供資金、API 額度和早期模型訪問權(quán)，并向我保證不會對這項(xiàng)支持進(jìn)行出版前審查，我對此表示感謝。不過，考慮到接受這些提議可能會損害獨(dú)立性的現(xiàn)實(shí)和 / 或感知，我還沒有做出任何最終決定。我將與我的同事共同做出決定。
原文鏈接：https://milesbrundage.substack.com/p/why-im-leaving-openai-and-what-im
