劃重點(diǎn)
01微軟AI主管Mustafa Suleyman認(rèn)為，未來幾年AI模型將呈現(xiàn)大小模型“齊頭并進(jìn)”的趨勢，大型模型競賽將持續(xù)，同時小型模型技術(shù)如蒸餾將興起。
02Suleyman表示，知識將被濃縮到更小、更便宜的模型中，嵌入各種設(shè)備，實(shí)現(xiàn)真正的環(huán)境感知革命。
03他強(qiáng)調(diào)，創(chuàng)業(yè)者需要理解并利用提示工程，通過提供高質(zhì)量的指令集，引導(dǎo)預(yù)訓(xùn)練模型，打造獨(dú)特產(chǎn)品。
04此外，小型模型蘊(yùn)藏著巨大機(jī)會，創(chuàng)業(yè)者可以利用其低成本和高效性，開發(fā)針對特定用例的應(yīng)用。
05最后，Suleyman提到數(shù)據(jù)整合的重要性，合成數(shù)據(jù)將成為訓(xùn)練模型的關(guān)鍵，但如何獲取、整合這些數(shù)據(jù)仍需深入探討。
以上內(nèi)容由大模型生成，僅供參考
在近日的一次訪談中，微軟AI主管Mustafa Suleyman深入探討了人工智能領(lǐng)域的最新趨勢。他認(rèn)為，未來幾年AI模型將呈現(xiàn)大小模型“齊頭并進(jìn)”的趨勢。
一方面，大型模型的規(guī)�；傎惾詫⒊掷m(xù)，并融入更多模態(tài)的數(shù)據(jù)，例如視頻、圖像等。另一方面，利用大型模型訓(xùn)練小型模型的技術(shù)（如蒸餾）興起，高效的小型模型將在特定場景中發(fā)揮巨大作用。Suleyman補(bǔ)充稱，未來，知識將被濃縮到更小、更便宜的模型中，嵌入各種設(shè)備，實(shí)現(xiàn)真正的環(huán)境感知革命。
對于創(chuàng)業(yè)者而言，Suleyman認(rèn)為，理解并利用提示工程至關(guān)重要。通過提供高質(zhì)量的指令集，創(chuàng)業(yè)者可以引導(dǎo)預(yù)訓(xùn)練模型，使其符合自身品牌價值觀，打造獨(dú)特產(chǎn)品。此外，小型模型蘊(yùn)藏著巨大機(jī)會，創(chuàng)業(yè)者可以利用其低成本和高效性，開發(fā)針對特定用例的應(yīng)用。
采訪中，Suleyman還強(qiáng)調(diào)了數(shù)據(jù)整合的重要性。合成數(shù)據(jù)將成為訓(xùn)練模型的關(guān)鍵，但如何獲取、整合這些數(shù)據(jù)仍需深入探討。
此外，這位微軟AI主管還談到了新模式的加入，例如視頻和圖像的整合，以及跨復(fù)雜數(shù)字界面的動作軌跡的理解和數(shù)據(jù)收集。他認(rèn)為，這將帶來許多令人印象深刻的結(jié)果。對于企業(yè)家來說，如何利用這些新趨勢和技術(shù)進(jìn)行創(chuàng)新，將是未來成功的關(guān)鍵。
以下為全文內(nèi)容，大家enjoy~ （為增加可讀性，我們對原文進(jìn)行了簡要編輯）
Q：未來幾年，在不斷發(fā)展的模型 (models) 格局中，有哪些事情值得關(guān)注？
A：模型的規(guī)模既在變大，也在變小，這種趨勢幾乎肯定會繼續(xù)下去。
去年開始流行一種新方法，稱為蒸餾。這類方法利用大型、高成本模型來訓(xùn)練小型模型。這種監(jiān)督效果相當(dāng)不錯，目前已有充分的證據(jù)支持這一點(diǎn)。
因此，規(guī)模仍然是這場競爭中的關(guān)鍵因素，未來還有很大的發(fā)展空間，數(shù)據(jù)也將持續(xù)增長。
至少在接下來的兩三年內(nèi)，“規(guī)模法則”在提供超預(yù)期表現(xiàn)方面的進(jìn)度不會有任何放緩。
Q: 還有哪些新的模式可以加入？
A: 人們也在考慮將視頻、圖像以及跨復(fù)雜數(shù)字界面的動作軌跡等新的模態(tài)融入模型中。
但我們真正感興趣的是跨復(fù)雜數(shù)字界面的動作軌跡，比如從瀏覽器跳到桌面，再轉(zhuǎn)移到手機(jī)，從不同的生態(tài)系統(tǒng)中切換，無論是在封閉的花園還是開放的網(wǎng)絡(luò)中。
我們試圖理解這些軌跡，收集大量數(shù)據(jù)，使用監(jiān)督學(xué)習(xí)和微調(diào)等方法。我認(rèn)為這將帶來許多令人印象深刻的結(jié)果。
Q: 在數(shù)據(jù)方面，人們在哪些方面思考得不夠多？
A: 數(shù)據(jù)的討論角度很多，經(jīng)典的問題是哪些數(shù)據(jù)可以使用及其質(zhì)量。我認(rèn)為網(wǎng)上已經(jīng)有大量討論。
但人們沒有花足夠時間思考新數(shù)據(jù)的來源，以及如何整合這些數(shù)據(jù)。
例如，合成數(shù)據(jù)是一個有趣的領(lǐng)域，如果我們有這樣的數(shù)據(jù)，可以訓(xùn)練出更好的小模型和大模型。如何獲取這些數(shù)據(jù)并確保其整合是一個關(guān)鍵問題。但是如何獲取這些數(shù)據(jù)并確保它們被整合起來，這一點(diǎn)還沒有得到足夠的討論。
Q：在處理模型時，提示 (prompt) 和問題 (question) 之間有什么區(qū)別？
A：提示不僅僅是你問聊天機(jī)器人的問題。當(dāng)你問聊天機(jī)器人一個問題，那是一個問題；當(dāng)你寫一個三頁的風(fēng)格指南并附上模仿的例子，那是一個提示。
提示是你的高質(zhì)量指令集，指導(dǎo)預(yù)訓(xùn)練模型以特定方式行為。令人驚訝的是，模型只需幾頁指令就能表現(xiàn)得非常不同。
為了讓模型表現(xiàn)出細(xì)微、精準(zhǔn)和符合品牌價值的行為，你需要展示成千上萬個良好行為的例子，并將這些例子微調(diào)到模型中。這是預(yù)訓(xùn)練過程的延續(xù)，使用高質(zhì)量且準(zhǔn)確的數(shù)據(jù)。
好消息是，成千上萬個例子對許多細(xì)分領(lǐng)域或特定垂直領(lǐng)域來說是非常容易獲得的。這是一個優(yōu)勢，初創(chuàng)公司在高質(zhì)量微調(diào)預(yù)訓(xùn)練模型方面有很大的空間。
Q：小模型會帶來哪些機(jī)會？創(chuàng)業(yè)者如何利用它們做一些有趣且獨(dú)特的事情？
A：小模型無疑代表著未來。
大型模型在處理查詢時會激活數(shù)十億個不相關(guān)的神經(jīng)表示，盡管它們非常高效地進(jìn)行搜索和引用數(shù)億個節(jié)點(diǎn)，但并不總是必要的。
我們將把知識濃縮到更小、更便宜的模型中，這些模型可以駐留在各種設(shè)備上，如耳塞、可穿戴設(shè)備、耳環(huán)、植物或傳感器。
這場環(huán)境感知革命長期以來一直被人們所期待，它將帶來功能性設(shè)備，例如一個冰箱磁鐵，冰箱磁鐵是我能想到的最小的數(shù)字設(shè)備。它可以在早上迎接你，告訴你天氣情況，告訴你冰箱里可能有什么或沒有什么，并提醒你查看日歷。
它可以在早上歡迎你，告訴你天氣，告訴你冰箱里可能有什么或沒有什么，并提醒你查看日歷。
這種模型可能只有幾千萬個參數(shù)。雖然目前還沒有人真正推動這一點(diǎn)，但任何兩人團(tuán)隊(duì)都可以探索這一領(lǐng)域。
Q：人們在接下來的兩天里應(yīng)該思考什么問題？
A：問題是，技術(shù)人員需要為設(shè)計(jì)一個更加人性化的未來做些什么。
這包括思考技術(shù)如何進(jìn)化人類，以及我們的情感、激情和同情心如何通過我們與技術(shù)不斷變化的關(guān)系來表達(dá)。
Q：為什么說這是一個轉(zhuǎn)型時刻？
A：我們有足夠的證據(jù)表明，過去五十年的大技術(shù)轉(zhuǎn)型重塑了事物的結(jié)構(gòu)。
我認(rèn)為這是一個創(chuàng)辦公司、擴(kuò)展公司、甚至轉(zhuǎn)變職業(yè)的時刻。即使你不是企業(yè)家，無論你是活動家、組織者還是學(xué)者，現(xiàn)在是關(guān)注的時刻。
到2050年，列車將離站，情況會大不相同。我們現(xiàn)在有機(jī)會共同塑造和影響未來，沒有什么是預(yù)定的。我們非常幸運(yùn)能在這個時刻活著，這既是巨大的責(zé)任，也是令人振奮的機(jī)會。
