機(jī)器之心報(bào)道
編輯：Panda、蛋醬
2024 年 12 月 10-15 日，今年度的 NeurIPS 已在加拿大溫哥華成功舉辦。今年的會(huì)議上，我們看到了 Ilya Sutskever 關(guān)于預(yù)訓(xùn)練即將終結(jié)的預(yù)測(cè)，也看到了引發(fā)廣泛爭(zhēng)議的 MIT 教授 NeurIPS 演講公開(kāi)歧視中國(guó)學(xué)生的事件。
該會(huì)議也展現(xiàn)了人工智能領(lǐng)域的研究盛況 本屆 NeurIPS 共收到 15671 篇有效論文投稿，比去年又增長(zhǎng)了 27%，但最終接收率僅有 25.8%。如此低的接收率就必然意味著許多研究者的失意和挫敗。但這并不是研究者們感到挫敗的唯一原因。
近日，紐約大學(xué)計(jì)算機(jī)科學(xué)和數(shù)據(jù)科學(xué)教授、生物技術(shù)公司 Prescient Design 聯(lián)合創(chuàng)始人兼資深主管 Kyunghyun Cho 一篇題為「我在 NeurIPS’24 上感受到了焦慮和挫敗」的博客文章引發(fā)了廣泛討論。他在文中指出，現(xiàn)在許多博士生和博士后很有挫敗感，因?yàn)樵S學(xué)校培養(yǎng)的本科生就已經(jīng)具備企業(yè)所需的標(biāo)準(zhǔn)化機(jī)器學(xué)習(xí)開(kāi)發(fā)技能，而大量博士生卻因此找不到合適的工作；原因是隨著 AI 相關(guān)技術(shù)的產(chǎn)品化，企業(yè)對(duì)博士技能（研究和創(chuàng)新）的需求已經(jīng)大幅下降，而更多需要支持其產(chǎn)品迭代的工程師。
看完這篇文章后，許多讀者也分享了自己的經(jīng)歷和看法。
有 AI 博士現(xiàn)身說(shuō)法，指出很多博士研究者對(duì)學(xué)術(shù)環(huán)境之外的狀況關(guān)注不足，從而對(duì)未來(lái)的職業(yè)有了過(guò)高的期待。
一些讀者對(duì)文章表示認(rèn)可，表示要在科技行業(yè)工作，光有專業(yè)技能還不夠，還得通過(guò) leetcode / 系統(tǒng)設(shè)計(jì)和領(lǐng)導(dǎo)力準(zhǔn)則考試。
而博士研究者雖然收入高，但行業(yè)需求不足，畢竟一家公司并不需要那么多研究科學(xué)家：
但也有讀者并不認(rèn)可，表示參加 NeurIPS 的人已經(jīng)有頂會(huì)論文傍身，找份工作應(yīng)該不難。
以下是 Kyunghyun Cho 教授的博客全文，也請(qǐng)與我們分享你的經(jīng)歷和看法。
我在 NeurIPS’24 上感受到了焦慮和挫敗
上周在 NeurIPS’24 上，一個(gè)非常突出的現(xiàn)象是：四年級(jí)博士生和博士后表現(xiàn)出了焦慮和挫敗，他們對(duì)就業(yè)市場(chǎng)感到困惑，因?yàn)闊o(wú)論是看起來(lái)還是感覺(jué)上，就業(yè)市場(chǎng)與他們五年前申請(qǐng)博士項(xiàng)目時(shí)的預(yù)期大不相同。并且，其中一些博士生和博士后正是在我自己的指導(dǎo)之下。這讓我反思人工智能研究和開(kāi)發(fā)領(lǐng)域正在發(fā)生的情況。這篇文章更像是一連串的思考，而不是一篇結(jié)構(gòu)良好的文章（不過(guò)我好像也沒(méi)有寫(xiě)過(guò)一篇結(jié)構(gòu)良好、經(jīng)過(guò)深思熟慮、準(zhǔn)備充分的博客文章。）。
對(duì)機(jī)器學(xué)習(xí)領(lǐng)域以及更廣大的人工智能領(lǐng)域而言，過(guò)去十年左右是一段非常有趣的時(shí)間。從 2010 年左右的語(yǔ)音識(shí)別開(kāi)始，深度學(xué)習(xí)已經(jīng)在當(dāng)年的最佳技術(shù)上實(shí)現(xiàn)了大幅提升，并且已經(jīng)可以解決多種多樣的高難度也實(shí)用的問(wèn)題，比如從圖像中識(shí)別物體和機(jī)器翻譯。到 2014 年，很明顯大的要來(lái)了，每一家大公司，無(wú)論是不是科技公司，都想確保自己是這場(chǎng)持續(xù)革命的一部分，并從中獲利。
由于那時(shí)候，深度學(xué)習(xí)很多年來(lái)都未曾成為主流，因此幾乎沒(méi)有本科課程嚴(yán)肅地教授深度學(xué)習(xí)背后的基本思想和技術(shù)。事實(shí)上，當(dāng)然許多機(jī)器學(xué)習(xí)和人工智能課程都只會(huì)簡(jiǎn)單提到人工神經(jīng)網(wǎng)絡(luò)。于是，深度學(xué)習(xí)人才方面出現(xiàn)了巨大的供需不平衡，這就迫使那些比其他公司更早看到這場(chǎng)革命的公司激進(jìn)地從全球少數(shù)實(shí)驗(yàn)室招募博士生。
因?yàn)楫?dāng)時(shí)世界上只有少數(shù)幾個(gè)實(shí)驗(yàn)室在認(rèn)真研究深度學(xué)習(xí)（不像現(xiàn)在這樣），所以公司們都在激烈爭(zhēng)奪這些實(shí)驗(yàn)室的畢業(yè)生甚至教授。這種激烈的爭(zhēng)奪自然導(dǎo)致這些擁有人工神經(jīng)網(wǎng)絡(luò)經(jīng)驗(yàn)和專業(yè)知識(shí)的博士生的薪酬大幅增加。這使得人工智能領(lǐng)域中的學(xué)術(shù)薪酬與行業(yè)薪酬之間的差距還要更大，讓大學(xué)很難招募到此類人才來(lái)教育學(xué)生。事實(shí)上，在 2010 年至 2015 年期間獲得博士學(xué)位并且在攻讀博士學(xué)位期間研究人工神經(jīng)網(wǎng)絡(luò)，并作為終身教職人員加入大學(xué)的人非常少，我就是其中之一。這種現(xiàn)象自然會(huì)導(dǎo)致人才供應(yīng)的增加大大延遲，而需求還在繼續(xù)飆升。
這種激烈的人才爭(zhēng)奪有一個(gè)有趣的副作用：即使這些人才不能為營(yíng)收或利潤(rùn)做出貢獻(xiàn)，公司也會(huì)招募他們。這些公司聘用他們的原因是為不可避免的、迫在眉睫的革命做好準(zhǔn)備 這場(chǎng)革命將改變他們所做的一切。因此，那時(shí)候很多被聘用的博士的任務(wù)就是自由地做研究；也就是說(shuō)，他們可以選擇自己想做的事情，發(fā)表自己想發(fā)表的文章。這就像一個(gè)學(xué)術(shù)研究職位，但薪酬是原來(lái)的 2-5 倍，而且外部可見(jiàn)度更高，沒(méi)有教學(xué)任務(wù)、行政開(kāi)銷，也沒(méi)有不斷撰寫(xiě)資助提案的壓力。真是一個(gè)絕佳的機(jī)會(huì)！
我想，這在當(dāng)時(shí)的學(xué)生看來(lái)是個(gè)不可錯(cuò)過(guò)的機(jī)會(huì)，包括大學(xué)生和高中生（甚至初中生）。有機(jī)會(huì)獲得驚人的金錢回報(bào)、優(yōu)厚的福利，可以自由選擇自己喜歡的研究課題，只要它是在人工智能領(lǐng)域內(nèi)。然而，這個(gè)機(jī)會(huì)看起來(lái)只提供給在人工神經(jīng)網(wǎng)絡(luò)方面發(fā)表過(guò)學(xué)術(shù)論文的博士。這就導(dǎo)致大量的博士申請(qǐng)者申請(qǐng)成為（現(xiàn)在所謂的）人工智能博士生（AI PhD students）。
申請(qǐng)者的大量涌入并不一定意味著我們最終會(huì)有大量博士生，因?yàn)橄拗撇┦可鷶?shù)量的并不是申請(qǐng)者的數(shù)量，而是導(dǎo)師的數(shù)量。雖然 15 年前那會(huì)兒，研究人工智能的實(shí)驗(yàn)室并不多，但到 2016 年時(shí)，許多教授已經(jīng)將他們的實(shí)驗(yàn)室轉(zhuǎn)型為深度學(xué)習(xí)實(shí)驗(yàn)室，并通過(guò)招收大量博士生來(lái)積極擴(kuò)大實(shí)驗(yàn)室規(guī)模。
因此，我們似乎已經(jīng)造出了一個(gè)非常好的 AI 人才訓(xùn)練管道。很多優(yōu)秀的學(xué)生申請(qǐng)攻讀博士學(xué)位。大量研究 AI 的教授錄取并培養(yǎng)這些優(yōu)秀的學(xué)生成為下一代博士。少數(shù)大型科技公司和其他公司用難以想象的優(yōu)厚薪酬和研究自由來(lái)聘用他們。
然而，事后看來(lái)，這顯然是不可持續(xù)的。要繼續(xù)下去，唯一的辦法就是讓深度學(xué)習(xí)繼續(xù)成為能夠在五年內(nèi)徹底改變行業(yè)（甚至整個(gè)社會(huì)）的東西，而且每年都必須是五年。如前所述，公司正在招募這些人才，并投資建設(shè)給他們進(jìn)行研究的環(huán)境，以應(yīng)對(duì)未來(lái)不可避免的變化。換句話說(shuō)，他們必須為未來(lái)做準(zhǔn)備，才能讓這條管道繼續(xù)下去。
第一代幸運(yùn)的博士（包括我�。┦且�?yàn)檫\(yùn)氣好（或不好）進(jìn)入了這個(gè)領(lǐng)域，而不是因?yàn)槁殬I(yè)前景；之后，我們開(kāi)始有一系列更聰明、更有目標(biāo)的博士從事深度學(xué)習(xí)工作。因?yàn)檫@些人非常有動(dòng)力，他們不是靠運(yùn)氣而是靠他們的優(yōu)點(diǎn)和熱情被選中。他們開(kāi)始取得更快、更明顯的進(jìn)步。不久之后，這些進(jìn)步開(kāi)始以實(shí)際產(chǎn)品的形式出現(xiàn)。尤其是以大規(guī)模對(duì)話語(yǔ)言模型為代表的大規(guī)模模型開(kāi)始展現(xiàn)出：這些產(chǎn)品是真正革命性的產(chǎn)品，既可以改變未來(lái)，又可以在當(dāng)下產(chǎn)生經(jīng)濟(jì)價(jià)值。換句話說(shuō)，通過(guò)將深度學(xué)習(xí)變成大規(guī)模對(duì)話語(yǔ)言模型及其變體形式的產(chǎn)品，這些新一代的優(yōu)秀博士們成功地將未來(lái)帶入了當(dāng)下。
產(chǎn)品化意味著很多事情，但本文尤其關(guān)注兩個(gè)方面。
第一，產(chǎn)品化需要在開(kāi)發(fā)和部署過(guò)程中實(shí)現(xiàn)某種標(biāo)準(zhǔn)化。然而，這種流程標(biāo)準(zhǔn)化與科學(xué)研究背道而馳。我們不需要持續(xù)不斷的創(chuàng)造性和顛覆性創(chuàng)新，而需要基于標(biāo)準(zhǔn)化流程的漸進(jìn)式和穩(wěn)定的改進(jìn)。博士們不擅長(zhǎng)這方面，因?yàn)檫@恰恰與博士項(xiàng)目的培養(yǎng)目標(biāo)背道而馳。博士生的目標(biāo)是提出創(chuàng)新的想法（是的，雖然每個(gè)想法都能否算是創(chuàng)新想法這一點(diǎn)值得商榷，但往往至少有大量噪聲才算是創(chuàng)新），從理論或?qū)嵶C角度驗(yàn)證這些想法，通過(guò)撰寫(xiě)論文向社區(qū)報(bào)告研究結(jié)果，然后繼續(xù)前進(jìn)。一旦某樣?xùn)|西變成了真正的產(chǎn)品（或產(chǎn)品類別），我們就不能簡(jiǎn)單地創(chuàng)新然后繼續(xù)前進(jìn)，而需要堅(jiān)持下去，不斷為它提供支持。有了完善的流程體系，博士學(xué)位的必要性就會(huì)迅速消失。
第二，產(chǎn)品化創(chuàng)造了一條通往收入的明顯而具體的路徑。這對(duì)那些投資招募這些杰出人才并提供資源讓他們?cè)诮M織內(nèi)部而不是其他地方進(jìn)行創(chuàng)新的公司來(lái)說(shuō)是件好事。不幸的是，一旦有了一條通往收入（最終是利潤(rùn)）的具體路徑，研究人員就越來(lái)越難以繼續(xù)要求充分的研究自由。許多人將被要求直接為產(chǎn)品（或產(chǎn)品類別）做出貢獻(xiàn)，并證明他們的報(bào)酬以及整體就業(yè)情況的合理性，只有少數(shù)人將被允許繼續(xù)享有研究自由。這是很自然的事情，也可能是大多數(shù)組織（包括營(yíng)利組織、非營(yíng)利組織、政府組織等）的研究團(tuán)隊(duì)往往比產(chǎn)品團(tuán)隊(duì)小得多、獲得的資源也少得多的原因。
此外，在過(guò)去幾年中，大學(xué)在一定程度上跟上了需求，開(kāi)始對(duì)本科生和碩士生進(jìn)行這些新技術(shù)背后的基礎(chǔ)知識(shí)和實(shí)用理念方面的教育、培訓(xùn)和培養(yǎng)。他們知道如何訓(xùn)練這些模型、測(cè)試這些模型和部署這些模型，以及這些模型背后的理論理念。更好的是，他們大概率沒(méi)有博士那么「自我」，而且通常思想更加開(kāi)放。
這些因素加在一起，徹底打破了之前概述的人工智能人才梯隊(duì)。公司不再需要那么多博士，因?yàn)樗麄兛梢哉衅副究粕虼T士生，這些學(xué)生可以按照標(biāo)準(zhǔn)化流程立即直接為人工智能產(chǎn)品做出貢獻(xiàn)。學(xué)生們不需要進(jìn)入博士課程學(xué)習(xí)必要的技能，因?yàn)榇髮W(xué)可以將其作為本科課程的一部分進(jìn)行培訓(xùn)。目前的博士生們，即使是因?yàn)榛谶@一人工智能人才梯隊(duì)的積極職業(yè)前景而加入博士課程，也會(huì)被排除在人工智能人才梯隊(duì)的這次大重組之外。
在這一點(diǎn)上，這些即將結(jié)束博士學(xué)業(yè)的學(xué)生焦慮和挫敗的程度大大增加也許并不奇怪。他們仰慕我這一代人（雖然還相對(duì)年輕、資歷較淺，但在這個(gè)領(lǐng)域可能算是資歷較深的人），認(rèn)為只要他們的博士學(xué)位與機(jī)器學(xué)習(xí)及鄰近領(lǐng)域有一定關(guān)聯(lián)，他們就能享有類似的職業(yè)前景 成為大科技公司的高薪研究科學(xué)家，享有極大的研究自由。
但從他們的角度來(lái)看，就業(yè)市場(chǎng)突然要求他們?cè)诖笠?guī)模語(yǔ)言模型及其變體這個(gè)狹窄得多的領(lǐng)域展示自己的創(chuàng)新能力，并直接為這些建立在大規(guī)模模型之上的產(chǎn)品做出貢獻(xiàn)。
話雖如此，但我必須強(qiáng)調(diào)，這絕不意味著這些大模型之外的人工智能研究課題不重要或不受追捧。
例如，在 Prescient Design 公司，我們一直在不斷招聘博士級(jí)研究科學(xué)家，他們專門從事不確定性量化、因果機(jī)器學(xué)習(xí)、幾何深度學(xué)習(xí)、計(jì)算機(jī)視覺(jué)等方面的研究，因?yàn)檫@些領(lǐng)域的研究和開(kāi)發(fā)與我們的工作（即 lab-in-the-loop）直接相關(guān)。
大模型只是近年來(lái)備受關(guān)注的人工智能的一個(gè)特殊子領(lǐng)域。我對(duì)這些大模型的進(jìn)展和進(jìn)步感到無(wú)比興奮，但它們并不是唯一值得關(guān)注和投資的領(lǐng)域。然而，對(duì)大語(yǔ)言模型及其變體的關(guān)注程度高得離譜，這很容易蒙蔽我們的眼睛，尤其是那些還是學(xué)生的人，甚至是所謂精英大學(xué)的教師。學(xué)生們?nèi)绻麤](méi)有或正在撰寫(xiě)關(guān)于大模型的論文，自然會(huì)感到焦慮，因?yàn)樗麄兛赡艿貌坏竭@些機(jī)會(huì)。
在這一點(diǎn)上，我覺(jué)得上周在 NeurIPS 大會(huì)上與高年級(jí)博士生和博士后的交談和聆聽(tīng)中感受到的高度焦慮和挫敗感是事出有因的。他們中的一些人可能感到被背叛了，因?yàn)樗麄冎暗玫降某兄Z與現(xiàn)在看到的差距正在迅速拉大。他們中的一些人可能感到無(wú)助，因?yàn)樗麄冞x擇的研究課題和他們?cè)谶@些課題上的工作似乎不太受這些公司的歡迎。他們中的一些人可能感到挫敗，因?yàn)?strong>本科生或碩士生似乎更擅長(zhǎng)訓(xùn)練和部署這些大模型，而且看起來(lái)比他們更有價(jià)值。
遺憾的是，我只能努力理解這些才華橫溢的學(xué)生感受到的焦慮和挫敗感，卻想不出什么辦法來(lái)幫助他們減輕這種挫敗感！
參考鏈接：
https://kyunghyuncho.me/i-sensed-anxiety-and-frustration-at-neurips24/
https://www.reddit.com/r/MachineLearning/comments/1hjp5gc/d_i_sensed_anxiety_and_frustration_at_neurips24/
