就在剛剛，OpenAI 年底的 AI 春晚迎來了第二彈。如果說昨天的 ChatGPT Pro 訂閱計劃震撼了普通用戶的錢包，那么今天推出的產(chǎn)品則轉(zhuǎn)向了不同的目標客戶群體企業(yè)機構(gòu)和開發(fā)者。早在直播活動開始前，負責模型微調(diào)的 OpenAI 研究員 Steven Heidel 就表示，雖然今天發(fā)布的產(chǎn)品可能不適用于所有人，但對于一部分人來說，它將具有重大意義。
OpenAI CEO Sam Altman 則在 X 平臺發(fā)文稱：這種效果非常好；它成為了我 2024 年最大的驚喜之一。我非常期待看到人們會創(chuàng)造出什么！
X 網(wǎng)友已經(jīng)給我們敲好黑板，劃重點了：強化微調(diào)（RFT）將于明年推出，專門針對 o1 模型。通過利用強化微調(diào)（RFT）優(yōu)化 o1 模型在專業(yè)領(lǐng)域的推理能力。強化微調(diào)（RFT）通過僅需少量示例即可高效適應(yīng)，優(yōu)于傳統(tǒng)的微調(diào)方法。具體而言，OpenAI 今天推出了一個強化微調(diào)（Reinforcement Fine-Tuning）研究計劃。該計劃允許開發(fā)人員利用大量的高質(zhì)量任務(wù)（從數(shù)十到數(shù)千個）來訓練模型，并依據(jù)提供的標準答案來評估模型的回答。這種方法不僅可以增強模型在處理相似問題時的邏輯推理能力，還能顯著提升模型在特定領(lǐng)域任務(wù)中的精確度。直播過程中，OpenAI 還特地邀請了一位來自勞倫斯伯克利國家實驗室的研究員 Justin Reese，他也向我們展示了這項技術(shù)成果目前在實際應(yīng)用過程中的作用。
作為計算生物學家，Justin 的主要研究領(lǐng)域是罕見遺傳疾病。據(jù)他介紹，全球大約有 3 億人患有罕見疾病，但問題是，評估罕見疾病比較困難，因為這通常需要具備兩方面的知識：一是必須具備醫(yī)學領(lǐng)域的專家級知識，二是必須對生物醫(yī)學數(shù)據(jù)進行系統(tǒng)性的推理。通過與德國 Charite 醫(yī)院等機構(gòu)合作，Justin Reese 研究團隊從數(shù)百篇罕見疾病病例報告中提取關(guān)鍵信息，然后使用 OpenAI 微調(diào)模型來更有效地推理出疾病的成因。
在直播過程中，OpenAI 研究人員也向我們使用強化微調(diào)優(yōu)化模型的完整流程。團隊會使用經(jīng)過精心準備的數(shù)據(jù)集對模型進行強化微調(diào)。數(shù)據(jù)集中每個樣例包含病例報告、觀察到的和缺失的癥狀列表，以及模型需預(yù)測的目標基因。模型需要根據(jù)給定的癥狀信息對潛在致病基因進行優(yōu)先級排序，預(yù)測結(jié)果中正確基因的排名越靠前，得分就越高。微調(diào)過程還會通過一個 graders（評分器）來衡量模型表現(xiàn)。評分器通過將模型輸出與標準答案進行對比，給出 0 到 1 之間的評分，用于量化模型在驗證集上的表現(xiàn)。
經(jīng)過微調(diào)的模型在該復(fù)雜遺傳疾病相關(guān)基因預(yù)測任務(wù)上的表現(xiàn)大幅提高，證明了強化微調(diào)在生物信息和基因疾病診斷領(lǐng)域的潛力。另外，OpenAI 也宣布強化微調(diào) API 的 Alpha 的訪問權(quán)限明年將開放給更多組織使用，尤其是那些解決復(fù)雜任務(wù)的研究組織，比如法律、保險、醫(yī)療和金融等領(lǐng)域。附上申請地址：https://openai.com/form/rft-research-program/與昨日相呼應(yīng)，本次直播依然以一個充滿圣誕節(jié)日氣氛的笑話收尾：你們知道，我們住在舊金山。自動駕駛車輛非常流行。事實上，圣誕老人也在嘗試這個。他想制造一輛自動駕駛的雪橇，但不知道為什么，他的模型總是不能識別樹木，導(dǎo)致雪橇左撞右撞，樹木撞得一塌糊涂。你們有猜到為什么嗎？因為他沒有為模型提供 Pi。
關(guān)注 AI 第一新媒體，率先獲取 AI 前沿資訊和洞察值得注意的是，最近風投公司 Menlo Ventures 最近深入調(diào)研了 600 名美國企業(yè) IT 決策者，深入披露了目前 AI 產(chǎn)業(yè)的最新趨勢。在這份被視為業(yè)界風向標的報告中，有一組數(shù)據(jù)格外引人注目。報道顯示，OpenAI 的企業(yè)市場份額從 50% 跌至 34%，大批企業(yè)棄用 GPT-4 轉(zhuǎn)投 Claude 3.5 Sonnet�；诖耍珹nthropic 則趁勢崛起，市場占有率從 12% 暴漲至 24%�？梢哉f，市場份額是企業(yè)對 AI 技術(shù)最誠實的評分。但回合制較量的故事尚未結(jié)束，今天祭出的強化微調(diào) API 有望再次點燃市場對 OpenAI 的關(guān)注度。
而就在 OpenAI 發(fā)布會召開前，Google 推出的新模型 gemini-exp-1206 在大模型競技場 LMSYS Chatboat Arena 中再次登頂，力壓 OpenAI 的 GPT-4o-1120。與此同時，Meta 凌晨推出的 Llama 3.3 70B 模型也以成本更低的方式，實現(xiàn)了媲美 Llama 3.1 405B 的性能。就這幾天發(fā)布的新品而言，網(wǎng)絡(luò)上褒貶不一。有人說失望，有人說驚喜，但無論如何，AI 的價值不在于模型有多復(fù)雜，而在于能解決什么實際問題。最好的評判標準永遠是親自上手體驗。
