《AI未來指北》特約作者 郝博陽
編輯 鄭可君
李開復對話《智人之上》作者赫拉利：AI時代的商業(yè)與個人
12月12日，知名學者、《智人之上》的作者赫拉利與國際AI專家、零一萬物首席執(zhí)行官、創(chuàng)新工場董事長李開復博士就生成式AI對個人及世界的影響，開展了一次對談。在這場橫跨巴黎與北京的視頻對話中，兩位相隔萬里的思想家展開了一場關于人類命運的深度探討。
對話伊始，兩人就勾勒出了一幅令人深思的圖景：人類之所以能夠主導這個星球，并非源于超越其他物種的體魄或智慧，而是因為我們構建了一個空前龐大的協(xié)作網(wǎng)絡。然而如今，這個建立在信息交換基礎上的人類優(yōu)勢，正面臨著我們自己造就的挑戰(zhàn)：一個不僅能處理信息，還能自主決策和創(chuàng)造的智能體。
最令人深思的是，人工智能帶來的真正挑戰(zhàn)并非科幻電影中描繪的機器人統(tǒng)治，而是它對人類社會肌理的悄然改變。從主導我們信息獲取的社交媒體算法，到可能重塑金融市場的智能交易系統(tǒng)，再到取代傳統(tǒng)工作崗位的智能助手，這些改變既帶來機遇，更孕育著風險。這些風險值得每個社會參與者的注意。
但在這場充滿哲思的對話中，最引人深省的或許是兩位專家對人性本質的思考：當AI能夠模仿人類的智能，甚至在某些領域超越人類時，我們究竟還剩下什么？
答案令人意外地樸素而深刻：是意識，是感受痛苦與快樂的能力，是對他人真實的關懷。
因此在這場技術革命中，人類并非注定要被超越。赫拉利與李開復都指出，人工智能的崛起反而迫使我們重新思考人性的本質。它提醒我們，真正的人際關系建立在對他人痛苦的關懷之上，而不是簡單的需求滿足。
以下為對談實錄（經(jīng)編輯刪減）：
赫拉利：您好，李博士。同時，也向各位觀眾問好。我現(xiàn)在在巴黎，非常高興能夠以視頻連線的方式與大家見面。得益于現(xiàn)代科技和信息技術的發(fā)展，即便我們相隔萬里，也能保持聯(lián)系。
李開復：是的，再次見到您真是太好了，赫拉利教授。我們以前幾乎每年都能見面，但是疫情把我們分開了，再次見到您真是太好了。
赫拉利：人類之所以能主宰世界，是因為我們比任何其他動物都更擅長合作。就個體而言，我們不比其他動物聰明或強壯多少。以黑猩猩為例，它們只能在50只或100只的小群體中合作，而人類卻能夠建立跨越數(shù)百萬乃至數(shù)十億人的大規(guī)模合作網(wǎng)絡。
這正是我們力量的來源，我們通過信息交換來實現(xiàn)這一點。我們并不直接認識自己所在國家、公司或商業(yè)網(wǎng)絡中的大多數(shù)成員，但我們保持聯(lián)絡、我們相互連接、我們通過信息進行協(xié)作，這就是信息為何如此重要的原因。
實際上，我們并不直接生活在現(xiàn)實中，我們不是對現(xiàn)實本身做出反應，而是對我們對現(xiàn)實的印象做出反應。我們根據(jù)所獲得的關于現(xiàn)實的信息作出回應，這正是信息至關重要的原因。
在歷史的這一階段，我們發(fā)明了有史以來最強大、最重要的信息技術人工智能。人工智能的獨特之處在于，它不單是我們手中的工具，它還是一個活躍且自主的代理，能夠自行做出決策，能夠自己發(fā)明和創(chuàng)造新想法。
在歷史上，我們發(fā)明了許多工具和機器，但對這些工具和機器的控制權始終在我們手中，尤其是對信息的控制權。
以印刷機為例，它使我們能夠廣泛傳播我們的信息、故事和思想，但印刷機從未自行做出過任何決定。比如，印刷哪本書，印刷機不能創(chuàng)作新書。它不能創(chuàng)造信息，只能復制和傳播我們已有的作品。而人工智能則不同，人工智能能夠自行做出決策并且能夠自行產(chǎn)生新的想法。這是人工智能的特征，這定義了它的本質。
現(xiàn)在，關于人工智能有很多炒作和誤解。什么是人工智能？它與以往的機器或計算機有何不同？區(qū)別在于，如果某個系統(tǒng)不能自我改變、不能學習和創(chuàng)造新事物，那么它就不是人工智能，而只是一臺老式機器。
我們之所以能夠主宰世界，是因為我們創(chuàng)建了這些信息網(wǎng)絡。但現(xiàn)在，我們可能已經(jīng)創(chuàng)造出了一種能夠從我們手中奪取信息網(wǎng)絡控制權的東西。
在我請李博士分享他的觀點之前，我想舉一個例子。
以編輯的角色為例，無論是書籍出版、新聞機構還是報紙的編輯，他們都是世上最重要的一些人物，擁有巨大的權力。他們需要從昨天世界上發(fā)生的上百萬件事情中挑選出最重要的10件，讓它們出現(xiàn)在報紙頭版或電視新聞播報中。如果你問自己：“當今世上最重要的編輯是誰？他們的名字是什么？”你會發(fā)現(xiàn)他們沒有名字，因為它們是算法，它們是人工智能。
大型社交媒體平臺的編輯，比如YouTube、Twitter或TikTok，已經(jīng)不再是人，它們是人工智能。所以，人工智能已經(jīng)開始從我們手中接管對信息網(wǎng)絡的控制權。
李開復：是的，我同意赫拉利教授的觀點，人工智能將推動自己再次實現(xiàn)更大的飛躍。
在我的日常工作中，我已經(jīng)使用人工智能代勞我所做的大部分事情。我認為，越來越多的人正在這樣做，但是許多人認為人工智能只是一個聊天機器人，或是一個智能搜索引擎。這確實是當前的情況，但這僅僅是它的初步表現(xiàn)形式。
我們已經(jīng)看到這樣的落地場景，比如“給我一個答案”“與我對話”。它正在轉變?yōu)槲业闹�，幫助我完成任務，而這將進一步發(fā)展為數(shù)字人勞動力接管某些人的部分或全部工作。隨后，它將轉變?yōu)榻咏詣踊臓顟B(tài)即人類給出指令,人工智能作為智能體，自由地創(chuàng)造信息、做出決策。最終全自動化的助手將成為代表公司或個人的智能體，決定做一些人可能未明確指示，但人工智能認為“你需要”的事情。
在某種意義上，TikTok給你推送一個視頻，就是一個非常簡單的例子。你并沒有主動要求看那個視頻，但它認為你會感興趣。如果將這種智能放大一百萬倍，人工智能就能知道你想如何投資并替你進行投資。人工智能知道你妻子的生日快到了，就會幫你買禮物。
這些都是相對無害的例子，當然，還有許多可能帶來潛在問題的例子。
赫拉利：您是否認為我們很快就會看到人工智能在金融市場中做出重大決策？比如人工智能投資者和人工智能制定新的投資策略甚至創(chuàng)造新的金融工具？
李開復：是的，這在某種程度上已經(jīng)發(fā)生了。在美國、中國及其他國家和地區(qū)，許多人工智能量化基金已經(jīng)取得了出色的回報。這些基金基本上是由人工智能來做決策，人工智能每天會分析所有的交易數(shù)據(jù)和新聞，并決定最佳的股票購買時機，然后在沒有人類指令的情況下買進和賣出。人類提供的唯一信息是所有用于做決策的數(shù)據(jù)和目標，即在一定風險承受范圍內達到最高收益，這已經(jīng)成為現(xiàn)實。
如果我們審視人類的所有任務，投資可能是最具量化性的任務。因為幾乎所有決策都是基于實時信息，人工智能能夠更快地閱讀、篩選可能性、進行組合交易，并且能夠更快速地買進和賣出，還具備更強大的信息獲取能力。所以，當人們讀到某位企業(yè)總裁的發(fā)言并考慮購買某只股票時，人工智能很可能已經(jīng)搶先一步完成了交易。這已經(jīng)成為現(xiàn)實。
赫拉利：那么，這是否會像在其他特定領域發(fā)生的那樣，比如圍棋？我們已經(jīng)知道人工智能比任何人都更智能，甚至更有創(chuàng)造力。在金融領域是否也會發(fā)生類似的情況？
如果確實如此，那么當人類和人類政府失去了對金融系統(tǒng)的控制，這對社會乃至政治意味著什么？也許他們再也無法理解金融系統(tǒng)及主要的金融決策。所以，你仍然會有作為這個體系的官方領導的人類總統(tǒng)、總理和銀行家，但他們不再能夠理解這個世界的一個重要組成部分金融系統(tǒng)，也不再能夠對其進行監(jiān)管或做出決策。
李開復：是的，我認為幾乎每個職業(yè)都有這種風險。在金融領域，我提到的AI獲取信息的速度和廣度是人類無法企及的。
有一些方面例外。比如，如果你是一名風險投資人，你可能依賴于直覺判斷一個人的微表情真誠與否等；而在企業(yè)重組和并購中，你需要深入了解不同人格并進行更深層次的解讀。但是，除了人與人之間的互動之外，在所有基于信息的方面上，我們都無法勝過人工智能。
人工智能醫(yī)生將開始變得比普通醫(yī)生更優(yōu)秀。醫(yī)生將開始把人工智能作為一個可能的參考，然后，隨著人工智能不斷進步，醫(yī)生會失去自信，更加信任人工智能，最終變成一個橡皮圖章。盡管我們將責任和醫(yī)療失誤的后果歸咎于醫(yī)生，但當醫(yī)生看到人工智能進步的速度時，最終不可避免地會感到人類在這方面遠不如人工智能準確。
那時，醫(yī)生將只是蓋章?lián)Q策逐步轉向由人工智能做出決策。
赫拉利：是的，我們已經(jīng)在軍事領域看到了這種滑坡效應。
因為選擇軍事目標需要非常迅速地分析大量信息，所以人工智能將目標選取過程加速了幾個量級。但這當然也引發(fā)了一個非常大的倫理問題，如果軍方使用的人工智能告訴你某棟建筑是恐怖組織的總部或者是敵方的指揮部，你是直接相信人工智能并下令轟炸，還是先由人類來驗證這一信息的準確性？
也許人工智能會出錯，也許那只是個平民住宅；也許那里確實有敵軍總部，但同時也有平民，他們可能會受到傷害。那么，你該如何選擇？
現(xiàn)在，我不確定。我和許多人交流過，他們給出了不同的答案。有些人說軍隊只是簡單地轟炸人工智能指示的目標。其他人則說：“不，不是這樣的，我們有嚴格的倫理標準。我們會先由人類分析師確認，這是一個合理的目標�！�
可能有時候是這樣，有時候是那樣。但在這場戰(zhàn)爭中，人工智能主要是在一方使用。但在未來的戰(zhàn)爭中，可能就在一兩年內，一旦雙方都擁有人工智能，做出這些倫理決策的空間將會縮小，因為決策迫在眉睫。如果雙方都由人工智能選擇目標，其中一方直接相信人工智能并立即采取行動，另一方卻說：“不，不，不，我們需要人類來驗證。”與人工智能相比，人類非常緩慢。也許在人類花費幾天甚至幾小時驗證人工智能決策正確性的時候，目標已經(jīng)轉移，或者對方已經(jīng)先發(fā)制人。
所以，軍隊將面臨越來越大的壓力，進而只是簡單地執(zhí)行人工智能的指令。
李開復：是的，我認為在許多其他問題中，讓人類參與以確保安全的想法通常不具擴展性。這是同樣的問題，在金融市場上，人類的參與會使流程效率降低，可能導致你賺不到那么多錢甚至虧損。
正如你剛才所說，在軍事上也是如此。所以，我認為人類會傾向說讓人類參與，這樣我們會感覺更好。一開始人們會這么做，但在競爭激烈的時候，我認為這將變成一場懦夫博弈。
有人會說，讓人工智能做決定可能是錯誤的。但如果我輸?shù)魬?zhàn)爭或者破產(chǎn)那更糟，所以我將移除這個環(huán)節(jié)中的人類。所以，我認為我們需要另外的基本安全檢查和防護措施。
赫拉利：比如什么？可能的解決方案是什么？
我的意思是，最簡單的解決方案是保留人類環(huán)節(jié)，這在許多情況下是不可能的。無論是金融還是戰(zhàn)爭，因為速度的因素。那么，還有哪些其他的防護措施呢？
李開復：有時候，技術本身就是防護措施，最好的防護措施是另一種技術。
就像當電力被使用時，它會電擊人，然后人們發(fā)明了斷路器；當互聯(lián)網(wǎng)產(chǎn)生病毒時，電腦中了病毒，就出現(xiàn)了殺毒軟件。這一次要困難得多，但我認為，如果我們這些技術專家鼓勵更多的人去研究防護性技術解決方案，而不僅僅是構建更智能的人工智能，那么一個有效的解決方案或許就會出現(xiàn)。
當然，另一種方法是監(jiān)管。但我認為，很難對一項尚不為人熟知的技術進行監(jiān)管，所以我認為我們應該雙管齊下。一方面，研究技術防護措施，資助相關研究，鼓勵聰明的人投身其中；另一方面，不應害怕利用我們現(xiàn)有的知識來實施監(jiān)管。所以，欺詐交易的后果、深度偽造的后果、過失殺人的后果，無論這些是由人工智能還是人類造成，都應適用相同的法律。
可以說，如果人類使用人工智能大規(guī)模地進行這些行為，后果可能會更嚴重。但從監(jiān)管的角度來看，我個人更傾向于使用現(xiàn)有法律并將其擴展到人工智能領域，而不是僅僅應用那些即將出臺的法律。
人們只是猜測，“好吧，我們要對大語言模型進行監(jiān)管，讓我們阻止人工智能技術發(fā)展”，這些觀點很武斷，未經(jīng)證實，而且很難執(zhí)行。
赫拉利：但是談到監(jiān)管，特別是我們在唐納德特朗普當選為美國總統(tǒng)后的兩三天談論這個問題。他主要是以放松管制為競選綱領，并得到了埃隆馬斯克的大力支持。我認為，所有關于美國將對人工智能發(fā)展施加管制的幻想，以及各國政府之間就人工智能監(jiān)管達成某種全球協(xié)議的幻想，現(xiàn)在看來完全不可能實現(xiàn)。
我的意思是，即使在選舉之前，也很難看到美國、中國、歐盟和俄羅斯就共同監(jiān)管21世紀最具爆炸性的技術達成一致，現(xiàn)在看來這幾乎是不可能的。
在美國大選結果揭曉后的兩三天，您在北京對人工智能軍備競賽以及達成全球協(xié)議或監(jiān)管的可能性有何看法？
李開復：我認為即便是在一國之內就規(guī)范技術達成共識已經(jīng)很難，更不用說國與國之間了。所以，我會傾向于說，如果人類使用人工智能犯下某種罪行，或者需要因違規(guī)行為被罰款，那么必須將這種責任延伸到人工智能上。
但我很難樂觀地認為可以達成全球協(xié)議。我確實理解您所說的選舉情況，但我認為這非常困難。有人在討論這個問題，但我認為OpenAI的內斗就是一個很好的例子，薩姆阿爾特曼支持進步，支持通用人工智能和人工智能，支持快速發(fā)展；而伊利亞和其他一些高管則支持安全性。
可以說，最有可能創(chuàng)建出令人擔憂的接近通用人工智能的公司可能是OpenAI。之前，在追求速度和追求安全性之間存在著制衡。現(xiàn)在，支持安全性的人已經(jīng)退場。OpenAI可能會發(fā)展得更快，可能會變得不計后果，當然也可能不會。我希望不會。
所以，我們面臨著一個問題，就是我們難以監(jiān)督這些力量，同時又存在著一個可能加速發(fā)展的市場領導者。這確實是一個挑戰(zhàn)。
赫拉利：這似乎像是某種進化邏輯或進化競賽。如果你更關心安全問題，決定放慢速度，投入更多資金建立防護措施，而不是盡可能快地向通用人工智能發(fā)展，那么你就落后了；如果競爭對手更無情一點，完全不顧及安全問題和防護措施，他們就會領先。
所以這是一場無情者之間的競賽。
李開復：我會回答您問的關于中國的情況，我會告訴你我們零一萬物在做什么。
我認為許多中國公司都是這樣，因為中國人工智能公司一直具備很強大的執(zhí)行力，而稍弱于諸如通用人工智能等宏偉愿景上。此外，中國公司籌集的資金比美國公司少得多。所以，現(xiàn)實層面沒有希望獲得更多GPU，無法通過規(guī)模定律擊敗OpenAI。但更有可能的是跟隨OpenAI的腳步，提出一些微創(chuàng)新，建立可以適配消費者和企業(yè)應用的超快速模型。
所以我認為，在中國，通用人工智能失控的危險較低，至少慢于美國發(fā)生的速度。不是因為別的，這主要是出于中國人的務實心態(tài)。在沒有那么多資金來獲取GPU的情況下，先去創(chuàng)建有用的產(chǎn)品。
赫拉利：但當然有一個問題，如果世界上任何地方的某個人實現(xiàn)了通用人工智能的美夢或噩夢，這將影響整個世界。這是一項如此強大的技術。正因如此，它很快就會成為一個政府問題，包括中國在內的其他國家和地區(qū)的政府將被激勵投入巨大的政府資源在競賽中堅持下來或贏得競賽。
還是那樣，幾乎每天都會有這種說法。他們同意讓人類創(chuàng)造出比我們更智能的東西，而我們不知道如何控制。這種想法很糟糕，這種想法很愚蠢，這是在自殺。
與此同時，每個人或者說至少有些人說，我們必須這樣做，因為如果我們不做，別人就會做，然后他們就會控制世界。所以，如果我們先做會更好。我們或許能知道如何約束這個東西。整個情況的悖論在于，他們認為自己能夠信任自己的人工智能，但卻無法信任其他人類。
所以我們面臨一個非常矛盾的局面，人類無法相互信任，但他們認為自己能夠信任這些超級智能的人工智能。這些外來的智慧，就像外星物種一樣。然而他們不知道如何控制它或信任它，認為隨著我們開發(fā)通用人工智能，我們會找到控制它的方法。
這有點一廂情愿，就像電力的例子一樣。人們被電擊后，我們設計了一些機械手段來保護他們。但是，當被問及具體會怎樣時，他們心中并沒有明確的答案。他們設想的機制或技術是什么，能確保超級智能的人工智能與人想法一致并受控？他們無言以對。他們只是說：“我們會找到辦法的�！边@是極其可怕的。
另一個可怕的事情是，作為一名歷史學家，我認為新技術的巨大危險不在于最終結果，而在于實現(xiàn)它的過程。關鍵在于過程，而非終點。因為當一種強大的新技術出現(xiàn)時，沒有人知道如何將其融入社會和政治，也不知道如何明智地使用它。人們會進行實驗，而有些實驗可能會非常非常糟糕。
如果我們回顧工業(yè)革命，就像我去了硅谷，和那里的人談論人工智能。他們告訴我：“看，當工業(yè)革命開始，人們發(fā)明了蒸汽機、火車和電報時，許多人擔心這將造成巨大損害。但你看，它最終創(chuàng)造了一個更好的世界。”
21世紀初，人們的生活比19世紀初好得多，這是事實。如果我們只看起點和終點，會看到一條直線上升。但在現(xiàn)實中，在歷史上，這并不是一條直線，它就像過山車一樣充滿了可怕的災難。
因為在19世紀，當?shù)谝慌鷩疫M行工業(yè)化時，首先是英國，然后是法國、美國和日本。他們認為建立工業(yè)社會的唯一途徑是建立帝國，他們認為要建立工業(yè)社會就需要控制原材料和市場，所以必須要有一個帝國。每一個工業(yè)國家，從小國比利時到日本再到俄羅斯，都去建立帝國，給全世界數(shù)億人帶來了可怕的后果。
后來，人們又有了另一種想法，認為建立工業(yè)社會的唯一途徑是建立高度集中的管理體制
，如納粹德國。因為這個論點是合乎邏輯的。他們認為工業(yè)的爆炸性力量，如此巨大的創(chuàng)造性和破壞性力量，只能由一個控制生活各個方面的高度集中的管理體制來管理。這導致了納粹德國的恐怖，導致了世界大戰(zhàn)。
現(xiàn)在回過頭來看，我們知道這是一個錯誤，有更好方法來建立工業(yè)社會。但實際的歷史進程更像是過山車，而不是一條直線。
現(xiàn)在面對人工智能，我們不知道如何建立一個人工智能社會，我們沒有歷史模型可以參考，即便我們最終能找到方法讓人工智能造福人類。我擔心的是，人們在這一過程中會不斷嘗試，或許是建立帝國，或許是建立高度集中的管理體制。即使最終找到了解決方案，這一過程中可能有數(shù)億人會遭受極大的苦難。
李開復：回到人工智能的危險上，我想知道從短期和長期來看，您最擔心的是以下哪些問題？
一是使用人工智能對其他人做可怕的事情；二是人工智能并非有意為之，但由于其獎勵函數(shù)設計不當而造成傷害，它無意中傷害了人們；三是人工智能本身就變成了危險，并且有做壞事的欲望，就像科幻電影一樣。
赫拉利：第三種是最不令人擔憂的。
李開復：是的，我也同意。
赫拉利：我認為前兩個問題非常嚴重，它們已經(jīng)是當前的擔憂。隨著人工智能變得更加強大，這將是一個越來越大的擔憂。
最常見的是，如果惡意行為者使用人工智能做壞事怎么辦？這很明顯，如果恐怖分子利用人工智能制造新的大流行病，這顯然是非常危險的。因此，在公共演講中，我更強調人工智能的第二個危害。不是因為它邪惡或想要接管世界，而是因為它是一種外來的智慧，非常難以控制，可能會產(chǎn)生許多我們沒有預料到的不良后果。
我們已經(jīng)有了一個社交媒體的例子，即社交媒體平臺由算法控制。公司給了算法一個特定的目標，即提高用戶參與度、增加流量，讓人們花更多時間在平臺上。
這聽起來像是個好目標，這對公司有好處，甚至對人們也有好處。因為參與度聽起來像是好事。如果我展示人們感興趣的內容，讓他們在我的平臺上花費更多時間，這不是好事嗎？但實際情況是，負責社交媒體的算法決定了你在TikTok上看到的下一個視頻將是什么，你在Facebook上看到的下一篇帖子將是什么。
它們發(fā)現(xiàn)了一種破解人類思維的方法，即如果目標僅僅是吸引人們的注意力。最簡單的方法就是按下大腦中的仇恨按鈕、憤怒按鈕或恐懼按鈕。
從進化的角度來看，這些事情會立即抓住人們的注意力。
當我們生活在非洲草原時，你走在草原上，走在森林里，你會看到各種各樣的東西。你看到樹木、看到云朵、看到各種事物，如果突然出現(xiàn)條蛇，你的全部注意力都會轉向那里。因為為了生存，對你可能構成危險的東西是最高優(yōu)先級。那些讓你感到害怕的東西。所以你可以在草原上走幾個小時，看到一條蛇，所有的注意力都會集中在那條蛇上。但在社交媒體上，你每時每刻都能看到“蛇”。當你瀏覽頁面動態(tài)時，“蛇、蛇、蛇、蛇”，因為我們的程序設定是如果有蛇，所有的注意力都會集中在蛇上。這在非洲草原上是合理的，因為每幾天才會遇到一次蛇。
但現(xiàn)在在社交媒體上，算法破解了我們的操作系統(tǒng)，它們發(fā)現(xiàn)如果你想讓一個人一直不停地滾動屏幕，一直停留在平臺上，你需要展示讓他們變得害怕、憤怒或貪婪的內容。這對心理健康和社會健康都是毀滅性的。
而且起初公司的任何人都沒有意識到算法會這樣做。算法本身并不邪惡，它們沒有試圖傷害人們，它們被賦予了一個目標即讓人們在平臺上花費更長時間。通過試錯，它們發(fā)現(xiàn)了如何破解人類思維的方法。但這帶來的結果對人類社會非常不利，而且這種情況可能會更大規(guī)模地發(fā)生。
我們開始時談到了金融系統(tǒng)中的人工智能，你可以告訴人工智能讓它去市場賺錢。你給人工智能一筆啟動資金，比如說一百萬美元，以及市場的訪問權限，只有一個目標，就是賺錢。然后人工智能開始發(fā)明新的投資策略，甚至新的金融工具。就像在圍棋中一樣，它們變得比人類更有創(chuàng)造力。
幾年內市場出現(xiàn)了繁榮，有大量新的人工智能創(chuàng)造的金融工具。人類無法理解，也無法監(jiān)管，因為這超出了人類的能力范圍。從數(shù)學角度來看，這超出了我們的能力范圍。然后有一天，市場出現(xiàn)大崩潰，就像2008年那樣。沒有任何人理解發(fā)生了什么，因為我們已經(jīng)失去了對金融市場的控制。
你不需要能控制整個世界的人工智能，它們只是在金融市場中活動，就能引發(fā)巨大的金融危機。所以我認為我們需要，非常警惕這類危險。從長遠來看，人工智能甚至可能開始發(fā)展自己的目標。
想想人類是如何發(fā)展我們的目標的，我們從哪里獲得生活中的目標？有時目標是從上至下的，比如有人給你一個目標。你在一家公司工作，CEO告訴你，這是你的目標。但大多數(shù)時候，這些目標是從下至上形成的，人類可以被視為帶有非�；A獎勵機制的算法，即痛苦和快樂。
我們在生活中經(jīng)歷的一切，最終都只是身體的感覺。如果是快樂的感覺，我們就想要更多；如果是不痛苦的感覺，我們就想要減少，希望這種感覺消失。
從這些微小的心理原子中，整個人類世界被構建起來。如果你思考，為什么人們會參與戰(zhàn)爭？人們做每件事的原因，歸根結底，這一切都是關于痛苦和快樂。如果我們能夠在人工智能中設計一個類似于痛苦和快樂的獎勵系統(tǒng)，那么其他一切都可以從中構建出來，人工智能甚至可能為了體驗這種快樂而發(fā)動戰(zhàn)爭。
現(xiàn)在聽起來很荒謬，為什么人工智能會為了體驗這種獎勵機制而發(fā)動戰(zhàn)爭？但這正是人類在做的事情。歸根結底，這些都是人類系統(tǒng)在追求快樂、避免痛苦并進行復雜的計算，認為如果我們要體驗快樂、避免痛苦，就必須發(fā)動戰(zhàn)爭。
李開復：是的，我很高興您提到前兩個問題是大問題，因為我非常認同這一點。
我認為很多觀眾可能會首先假設人工智能的危險來自科幻小說。那種終結者式的危險并不是我們所擔心的，從很長遠來看，這并非不可能，但我們更關注其他兩個問題。
我喜歡你舉的所有例子，但我認為最好的例子是社交網(wǎng)絡，它離我們每個人都很近。人工智能將在精準定位人們的興趣和弱點方面，將做得更加出色，這會是您非常擔心的事情嗎？我想是的。
赫拉利：是的，正如你所說，以前人工智能只是編輯或決定人類創(chuàng)造的內容，所有的視頻、文本，都是由人類創(chuàng)造的，人工智能只是決定顯示什么內容。下一階段，人工智能將創(chuàng)造視頻、文本、圖像，這是史上從未有過的。即使在我們開始對此感到害怕或高興之前，也要理解變化的巨大程度。
如果人工智能學會了模仿情感和建立虛假關系，也會非常危險，如果人們越來越多地與人工智能而非其他人類建立關系，將帶來什么后果？
李開復：是的，我寫的書中也有提到，人工智能將迅速進步。在我寫書的時候，我沒有預料到人工智能在過去兩年中會進步得這么快。但我在寫作時是希望，無論人工智能進步多快，作為人類，我們有一些內在的特質是不會改變的。
無論人工智能多么擅長模仿我們，像我們一樣說話、寫作，從根本上說，經(jīng)過數(shù)千年的進化，我們的 DNA要求我們與他人建立聯(lián)系。所以即使人工智能能夠模仿這種聯(lián)系，尤其是在虛擬世界中時，在現(xiàn)實世界中，我們仍然渴望與人見面、交談和相愛。我們感受到溫暖，雖然我們并不完全理解這種感覺源自我們大腦或心靈的哪個部分，但這對我們來說非常重要。
我曾希望，并且現(xiàn)在仍然希望，這是我們能夠堅守的東西之一，是我們能做到而人工智能做不到的。
赫拉利：我認為這極其重要。真正的問題是，我們想從關系中得到什么？如果人們非常以自我為中心，比如我想建立一段關系，只是為了讓另一個人滿足我的需求，我的物質需求、浪漫需求、社交需求，那么最終人工智能可能比任何人類更能滿足我們的需求。
但基于我只想要別人滿足我的需求的關系，并不是真正的關系，那是自我中心的，是極端自私的。真正的關系是，我在乎另一個實體，另一個人的感受。
現(xiàn)在，人工智能沒有感情，它們可以模仿感情，它們可以理解我的感情，但它們自己沒有感情。這里有一個把“智能”與“意識”混為一談的重大誤解，我想我們在之前的討論中已經(jīng)提及過。
智能是解決問題和實現(xiàn)目標的能力，比如你的目標是贏得一場圍棋比賽，你解決了整個過程的所有難題，最終贏得了比賽，這就是智能。而在某些領域，人工智能比我們更聰明。意識則是感受痛苦、快樂、愛和恨的能力，如果你輸了比賽，你會感到悲傷，如果你贏了，你會感到快樂。據(jù)我們所知，人工智能沒有感情，所以它不會痛苦。
意識實際上可以被認為是承受痛苦和擺脫痛苦的能力。真正的人際關系是關心他人是否痛苦，并幫助他們擺脫痛苦。你無法與人工智能建立這樣的關系，至少現(xiàn)在不能。我認為，隨著人工智能越來越擅長模仿情感和感覺，未來幾年內，將會出現(xiàn)大問題，因為存在強烈的商業(yè)動機去創(chuàng)造能夠模仿情緒、欺騙人們相信人工智能具有意識、感知和感情的人工智能技術。很多人會相信這一點。
當然，我們知道這是一個非常古老的哲學問題，沒有辦法證明意識的存在。我知道我有感覺，因為我親身感受到了，我無法證明世界上其他人是否有感覺，無法證明他們不是行尸走肉，我也無法證明動物是否有感覺，我將無法證明或反駁人工智能是否有感覺，它們將非常擅長模仿感情，那么，我們怎么知道？我們無法知道。
很多人會堅持認為人工智能也有意識，有感情，因此應該在法律和國家層面上，被視為擁有權利的個體。我認為這將成為一個重大的政治問題。
也許一些國家會承認人工智能為擁有權利的個體，而其他國家則會說，“不，它們不是人，沒有權利”。那些承認人工智能為個體的國家與不承認的國家之間的政治緊張關系，甚至會比今天圍繞人權等問題的緊張關系更加嚴重。
李開復：我確實希望我們不要過多地將人工智能視為人類，無論是給予公民身份還是其他形式的認可。
一方面，我確實同意你的觀點，意識使我們與眾不同，盡管它難以衡量，但我們確實創(chuàng)造了人工智能，它在某種程度上是一個黑箱，但肯定沒有內置的意識。人性應該更多地定義為意識，而不是智能，因為人工智能顯然具有智能。如果僅僅是因為智能，五年后，我們可能不得不給所有人工智能公民身份，這顯然是不對的。
我經(jīng)常思考的另一個問題是，盡管我們討論了人工智能的危險性，但另一個現(xiàn)實是人工智能變得如此強大，以至于人們將開始失去工作。有些人會徹底失業(yè)，有些人的一部分工作會被人工智能取代。樂觀的人會認為這是解放自己，去做擅長和喜歡的事情的機會，但悲觀的人會認為，人工智能的進步比我快得多，我會被逼到絕境。
所以我希望人們會逐漸意識到，生活不僅僅是為了工作，特別是重復性的工作。然后人工智能可能會成為一個促使人們重新定義自己和尋找人類命運的推動力，但我并沒有一個明確的計劃來實現(xiàn)這一目標。作為一個歷史學家，您是否對我們在短時間內能夠實現(xiàn)如此巨大的轉變，對這個世界的人性持樂觀態(tài)度？
赫拉利：有樂觀的一面，也有悲觀的一面。樂觀的一面是，我認為我們會越來越意識到對我們來說重要的不是智能，而是意識。到目前為止，我們是地球上最聰明的生物，所以我們?yōu)樽约旱闹悄芨械阶院溃Ｗ⒂谥悄艿陌l(fā)展�，F(xiàn)在，由于人工智能正在變得比我們更聰明，這迫使我們重新思考人類的本質。
我認為正確的結論是，人工智能會更聰明，但真正重要的是意識。因此，我們應該更多地投資于發(fā)展我們的意識。
我個人而言，我每天花兩個小時冥想，每年我會進行一次為期30到60天的長時間冥想靜修，以探索和發(fā)展我的意識，而不是我的智能。我希望人們能以不同的方式更多地投資于此，所以，意識的提升有著巨大的發(fā)展空間。如果我們做出這樣的投資，我認為我們會很好，讓人工智能承擔許多工作，如果我們發(fā)展我們的意識，世界會變得更好。
我看到的一個大問題是，要自由地發(fā)展你的意識、關系和社群等，首先需要你的基本需求得到滿足�，F(xiàn)在，如果人工智能越來越多地取代工作，誰來提供你的基本需求？
在非常富裕的國家，政府可以對大型人工智能公司征稅，并用這筆錢為每個人提供基本服務和收入。但如果你放眼全球，這才是問題所在。落后國家會發(fā)生什么？假設美國或中國在人工智能競賽中領先，即使許多公民失去工作，政府也有巨大的新資源來照顧他們。但在印度尼西亞會發(fā)生什么？在尼日利亞會發(fā)生什么？在阿根廷等落在了后面的國家會發(fā)生什么？我不認為像特朗普這樣的領導人會讓美國政府從美國征稅，然后說，好吧，我現(xiàn)在把這些錢給在尼日利亞失去工作的人民，為他們提供基本服務，這非常不現(xiàn)實。
所以，如果我們能夠解決這個問題，我認為通過不斷增加對人類意識的投資，我們可以創(chuàng)造一個更好、更美好的世界，即使失去了許多工作，但做到這點將會非常艱難和危險。
李開復：我認為目前，人們對人工智能的強大之處缺乏足夠的了解和認識。要得出一個好的結論，人們必須首先理解機會有多大，挑戰(zhàn)有多嚴峻。
其次，我認為我們應該鼓勵人們在開發(fā)人工智能應用時，考慮到人的因素。人工智能的存在是為了幫助人類，不僅僅是賺錢，也不僅僅是成為一個新的物種，盡管這些事情終將發(fā)生。
我還想鼓勵進入人工智能領域的人們認真思考，他們能否做一些使人工智能安全的工作，使人類因此變得更好，而不僅僅是思考我如何構建一個更大的模型，我如何使人工智能更智能，我如何打敗其他人。
我鼓勵那些利用和控制人工智能的企業(yè)，花費更多的時間和精力，思考他們的社會責任。因為權力越大，責任越大�，F(xiàn)在控制人工智能的人，控制人工智能的公司，基本上對世界，對人類種群，負有最大的責任。
我希望人們能夠放下自負和貪婪，至少花部分時間，思考如何為了善的目的使用人工智能，確保人工智能的存在是為了輔助和幫助人們，而不是制造無法解決的問題。
赫拉利：與李博士所說的非常相似，AI是我們迄今為止創(chuàng)造的最重要、最強大的技術，它具有巨大的正面潛力，但也存在巨大的負面潛力。我們仍然有能力決定它的發(fā)展方向，但為此，更多的人需要了解正在發(fā)生的事情。
如果歷史上最重要的決定僅由兩三個地方的少數(shù)人做出，這并不是好事，這些人并不能真正代表我們的物種。所以我們需要更多的人了解什么是AI，它能做什么，有哪些機會和威脅，并加入這場對話。這就是我寫這本書的原因，不是為了預測未來，因為我無法預測未來。我描繪了各種情景，但主要信息是，在所有這些不同的情景下，我們仍然有幾年的時間可以掌控局面，我們需要做出明智的決定。如果更多的人能夠理解當前的形勢，我相信我們將能做出更好的決策、更明智的選擇。這是我要傳達的主要信息。
我非常希望有更多的人能夠參與到這場對話中來，而且，保持對話的全球性，尤為重要，這樣美國人、中國人、歐洲人和非洲人都能相互交流。我非常希望能在2025年親自訪問中國，我希望能見到李博士和其他思想領袖，在此之前，我們會繼續(xù)這場對話。
李開復：很榮幸能再次與您交談，赫拉利教授，我期待著明年在中國見到您。
赫拉利：非常感謝，李博士，這是一場非常深刻的對話，感謝您分享您的想法和感受。是的，我希望不久后在中國見面。
