劃重點(diǎn)
01OpenAI在倫敦開發(fā)者日上展示了o1-mini，通過圖像理解控制無人機(jī)飛行，引發(fā)觀眾驚嘆。
02產(chǎn)品部負(fù)責(zé)人Olivier Godement透露，o1新功能包括功能調(diào)用、開發(fā)者消息、流媒體、結(jié)構(gòu)化輸出和圖像理解五個(gè)方面。
03奧特曼表示，推理模型對(duì)OpenAI尤為重要，有望解鎖許多新科學(xué)領(lǐng)域的貢獻(xiàn)和復(fù)雜代碼編寫。
04除此之外，OpenAI還開源了一個(gè)評(píng)估語言模型回答簡(jiǎn)短、事實(shí)性問題能力的新基準(zhǔn)，名為SimpleQA。
05奧特曼認(rèn)為，大模型的大多數(shù)缺點(diǎn)將在未來幾代中逐步消失，應(yīng)構(gòu)建能利用未來優(yōu)勢(shì)的模型。
以上內(nèi)容由大模型生成，僅供參考
西風(fēng) 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
OpenAI在Cursor里用o1-mini現(xiàn)場(chǎng)捏應(yīng)用，兩分鐘，直接控制無人機(jī)飛行。
引得臺(tái)下觀眾傳來陣陣驚呼：
如此操作，剛剛發(fā)生在OpenAI倫敦開發(fā)者日活動(dòng)上。作為OpenAI的“科技春晚”，真是好不熱鬧，現(xiàn)場(chǎng)擠滿了人從眾。
OpenAI產(chǎn)品部負(fù)責(zé)人Olivier Godement還劇透了一波o1新功能
包含功能調(diào)用、開發(fā)者消息、流媒體、結(jié)構(gòu)化輸出、圖像理解5個(gè)方面。
奧特曼在之后的問答環(huán)節(jié)表示不想劇透，但透露“圖像模型將很快迎來顯著提升”。他提到，復(fù)制現(xiàn)有模型并不難，而讓他為OpenAI感到自豪的是，他們始終在創(chuàng)造新的突破。
網(wǎng)友們聽到這里更興奮了：
不確定他指的是圖像生成還是圖像分析，還是兩者都有。但想象一下用圖像token進(jìn)行推理。如果你面臨一個(gè)視覺問題，或許可以逐步地把問題可視化。我目前還沒有在其它模型中真正看到過類似的功能。
OpenAI要在圖像方面發(fā)力其實(shí)也早有跡可循。
不久前，兩位清華校友路橙、宋就在OpenAI發(fā)布最新圖像生成研究。
他們簡(jiǎn)化了一致性模型，僅用兩步采樣，就能使生成質(zhì)量與擴(kuò)散模型相媲美，速度是擴(kuò)散模型的50倍。
此外，對(duì)于OpenAI所說的圖像模型，還有人猜測(cè)不會(huì)是前幾天登頂文生圖競(jìng)技場(chǎng)的爆火神秘小熊貓（red_panda）吧？
但這種說法很快就被否定了。
小熊貓背后團(tuán)隊(duì)Recraft AI已發(fā)推文認(rèn)領(lǐng)，這是他們的新模型recraft-v3。
總之，o1這次算是吊足了大伙兒的胃口，網(wǎng)友喊話趕緊發(fā)4.5o和5-preview：
雖然很棒，但現(xiàn)在仍沒有一款編碼能打Sonnet的模型。
奧特曼還說了啥在現(xiàn)場(chǎng)，奧特曼還被問到OpenAI的發(fā)展方向是更像o1這樣的模型，還是會(huì)有更大規(guī)模的模型？
他表示想在各方面都變得更好，但推理模型的發(fā)展對(duì)OpenAI尤其重要。
我認(rèn)為推理能力將解鎖我們多年來期望實(shí)現(xiàn)的許多事情，比如在新科學(xué)領(lǐng)域做出貢獻(xiàn)，或幫助編寫非常復(fù)雜的代碼，這些都會(huì)帶來顯著的推動(dòng)。所以，大家應(yīng)該期待o系列模型會(huì)快速改進(jìn)，這對(duì)我們來說具有重要的戰(zhàn)略意義。
在談?wù)摰健笆裁词茿gent”、“它們可以做什么”，奧特曼表示Agent是一個(gè)可以接受長期執(zhí)行任務(wù)，并在執(zhí)行過程中只需很少監(jiān)督的東西。
奧特曼認(rèn)為大家最常舉的一個(gè)例子是可以讓Agent幫忙預(yù)訂餐廳，它可以用在線餐廳預(yù)訂平臺(tái)OpenTable或者是直接打電話到餐廳。
這確實(shí)能為人們減少一些工作，但更有趣的事是能創(chuàng)造一個(gè)世界，在那里可以做一些人類無法或不愿做的事。
比如與其讓Agent打電話給餐廳預(yù)訂座位，不如讓Agent打給300家，找到最好吃或是最有特色的那一家，它可以并行處理大量任務(wù)。
Agent成為一個(gè)非常聰明的高級(jí)同事，你可以和它在項(xiàng)目上協(xié)作，也可以讓它獨(dú)立去做兩天甚至兩周的任務(wù)，做好后帶著成果回來與你交流。
接下來，奧特曼還被問到最敬重的競(jìng)爭(zhēng)對(duì)手是哪個(gè)，他提到的第一個(gè)就是Cursor AI，但隨后又補(bǔ)充道：
我的意思是，我現(xiàn)在有點(diǎn)尊敬這個(gè)領(lǐng)域里的每個(gè)人。我認(rèn)為整個(gè)領(lǐng)域正在涌現(xiàn)出非常了不起的工作，而且有許多才華橫溢、非常努力的人。我不是想回避問題，而是想說我可以指出很多非常厲害的人在做非常出色的工作。
要知道，昨天微軟剛剛宣布了GitHub Copilot接入Claude和Gemini。
奧特曼轉(zhuǎn)頭給了微軟競(jìng)爭(zhēng)對(duì)手Cursor AI一個(gè)點(diǎn)贊……
此外，奧特曼還被問到最令人興奮的AI應(yīng)用場(chǎng)景是什么，他再次Q到Agent：
大家關(guān)注的點(diǎn)各不相同，有很多不同的方式可以解決這個(gè)問題，但我希望能有一種AI能夠理解你整個(gè)人生。它不一定需要擁有無限的上下文，但能夠有一個(gè)AI Agent，某種程度上知道關(guān)于你的一切，能夠訪問你所有的數(shù)據(jù)之類的東西。
奧特曼還認(rèn)為大模型的大多數(shù)缺點(diǎn)將在未來幾代中逐步消失。
不要構(gòu)建一個(gè)填補(bǔ)漏洞或繞過模型缺陷的工具，而是構(gòu)建一個(gè)能利用未來優(yōu)勢(shì)的模型。
One More Thing除了預(yù)告，OpenAI還有最新動(dòng)作
開源了一個(gè)評(píng)估語言模型回答簡(jiǎn)短、事實(shí)性問題能力的新基準(zhǔn)，名為SimpleQA。
論文共同一作是去年在X上約戰(zhàn)提示詞決斗引得大伙兒紛紛圍觀的Jason Wei（思維鏈開山論文一作）和Karina Nguyen（提示詞決斗那會(huì)兒還在Anthropic，現(xiàn)已是OpenAI工程師）。
有意思的是，o1-mini和o1-preview在此基準(zhǔn)上都不及格，而且兩者相差還很大：
參考鏈接：[1]https://twitter.com/idonotwritecode/status/1851565982889713962[2]https://twitter.com/stevenheidel/status/1851574257819562195[3]https://x.com/kimmonismus/status/1851708364503552312[4]https://twitter.com/OpenAI/status/1851680760539025639[5]https://twitter.com/AymericRoucher/status/1851657127410151461[6]https://www.youtube.com/watch?v=VTeRZqUHi4E[7]https://x.com/caromcc_/status/1851570587287601237
