當(dāng)?shù)貢r(shí)間12月6日,OpenAI公布第二日活動(dòng)主題:推出了強(qiáng)化微調(diào)(Reinforcement Fine-Tuning),幫助開發(fā)者和機(jī)器學(xué)習(xí)工程師打造針對(duì)特定復(fù)雜領(lǐng)域任務(wù)的專家模型。OpenAI CEO Sam Altman在X發(fā)帖稱,強(qiáng)化微調(diào)的效果非常棒,是他今年最大的驚喜之一,期待看到大家利用這種功能的創(chuàng)造。
該項(xiàng)目通過全新的模型定制技術(shù),讓開發(fā)者可以使用高質(zhì)量任務(wù)集對(duì)模型進(jìn)行微調(diào),并利用參考答案評(píng)估模型的響應(yīng),從而提升模型在特定領(lǐng)域任務(wù)中的推理能力和準(zhǔn)確性。
OpenAI的研究員稱,強(qiáng)化微調(diào)并不是只教模型模型輸出,它的運(yùn)作方式是,當(dāng)模型發(fā)現(xiàn)一個(gè)問題的時(shí)候,研究者給模型空間區(qū)仔細(xì)思考這個(gè)問題,然后評(píng)估模型給出的最終解答,運(yùn)用強(qiáng)化學(xué)習(xí),研究者可以強(qiáng)化產(chǎn)生正確答案的思路,抑制產(chǎn)生錯(cuò)誤答案的思路,只需要“幾十個(gè)例子”甚至12個(gè)例子,模型就能以有效的新方式學(xué)習(xí)特定領(lǐng)域的推理。
OpenAI研究員演示,強(qiáng)化微調(diào)后的o1 mini測(cè)試通過率甚至比正式版o1高24%,比未強(qiáng)化微調(diào)的o1 mini提高了82%。
(本文來自第一財(cái)經(jīng))