劃重點(diǎn)
01華人學(xué)者Tianhao Wu及其團(tuán)隊(duì)提出了一種名為思考偏好優(yōu)化（Thought Preference Optimization）的方法，使模型能根據(jù)任務(wù)復(fù)雜度進(jìn)行不同時(shí)間的思考。
02該方法將思維鏈?zhǔn)教崾?推理融入訓(xùn)練中，通過(guò)迭代優(yōu)化提升思考質(zhì)量，無(wú)需額外人工標(biāo)注數(shù)據(jù)。
03實(shí)驗(yàn)結(jié)果顯示，TPO模型在AlpacaEval、Arena-Hard基準(zhǔn)測(cè)試中性能比基線(xiàn)提升約4%。
04此外，TPO在推理、數(shù)學(xué)、營(yíng)銷(xiāo)、健康、一般知識(shí)等非推理任務(wù)上也表現(xiàn)出優(yōu)勢(shì)。
05該研究由Meta FAIR、加州大學(xué)伯克利分校、紐約大學(xué)的研究人員共同提出，論文已發(fā)表在arXiv.org上。
以上內(nèi)容由騰訊混元大模型生成，僅供參考
西風(fēng) 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
OpenAI-o1替代品來(lái)了，大模型能根據(jù)任務(wù)復(fù)雜度進(jìn)行不同時(shí)間的思考。
不限于推理性的邏輯或數(shù)學(xué)任務(wù)，一般問(wèn)答也能思考的那種。
最近暢銷(xiāo)書(shū)《Python機(jī)器學(xué)習(xí)》作者Sebastian Raschka推薦了一項(xiàng)新研究，被網(wǎng)友們齊刷刷碼住了。
論文一作為華人學(xué)者Tianhao Wu，導(dǎo)師之一是2011年清華特獎(jiǎng)得主焦劍濤。
團(tuán)隊(duì)提出了一種稱(chēng)作思考偏好優(yōu)化（Thought Preference Optimization）的方法，能讓模型像OpenAI-o1一樣，通過(guò)內(nèi)部“思考”輸出更好答案，最終只顯示結(jié)果，不展示思考過(guò)程。
TPO將思維鏈?zhǔn)教崾?推理融入訓(xùn)練中：
在回答之前，用思維鏈式方法進(jìn)行思考；使用一個(gè)LLM評(píng)判來(lái)評(píng)估響應(yīng)（不包括由LLM生成的想法）；根據(jù)被拒絕和優(yōu)選的響應(yīng)形成偏好對(duì)進(jìn)行DPO（包括這些響應(yīng)中的想法）。
基于Llama 3 8B Instruct的結(jié)果表明，TPO效果相當(dāng)好。
有意思的是，如果添加了思維提示，但Llama 3 8B Instruct基礎(chǔ)模型沒(méi)有在偏好對(duì)上經(jīng)歷DPO微調(diào)，那么這個(gè)基礎(chǔ)模型的性能會(huì)比沒(méi)有思維提示時(shí)差得多。
在指令數(shù)據(jù)（直接響應(yīng)基線(xiàn)）上對(duì)模型進(jìn)行微調(diào)（無(wú)需思考提示）就能顯著提升基模型的性能。
進(jìn)一步加入TPO，在AlpacaEval、Arena-Hard基準(zhǔn)測(cè)試中，性能比基線(xiàn)再提升約4%。
網(wǎng)友紛紛表示這項(xiàng)研究很有意思，簡(jiǎn)單而又實(shí)用。
如果你已經(jīng)在進(jìn)行DPO，那么采用這種方法幾乎就是不二之選了。
所以，TPO到底長(zhǎng)啥樣？
兩種思考提示模板，無(wú)需額外人工標(biāo)注數(shù)據(jù)TPO的基本思路就是讓模型在給出最終回答前先生成“思考”過(guò)程，且思考過(guò)程對(duì)用戶(hù)不可見(jiàn)，僅作為模型內(nèi)部計(jì)算過(guò)程，然后通過(guò)迭代優(yōu)化來(lái)提升思考的質(zhì)量，無(wú)需額外的人工標(biāo)注數(shù)據(jù)。
具體來(lái)說(shuō)，它的實(shí)現(xiàn)過(guò)程始于一個(gè)經(jīng)過(guò)指令微調(diào)的基礎(chǔ)語(yǔ)言模型，首先通過(guò)提示詞引導(dǎo)模型生成包含思考過(guò)程和最終回答兩個(gè)部分的輸出。
這個(gè)提示詞可以是通用型的，簡(jiǎn)單要求模型寫(xiě)下思考過(guò)程；也可以是具體型的，明確要求模型先寫(xiě)出草稿回答并進(jìn)行評(píng)估。
對(duì)于每個(gè)用戶(hù)指令，模型會(huì)生成多個(gè)不同版本的輸出，每個(gè)都包含思考和回答部分。
且思考過(guò)程采用自然語(yǔ)言形式，便于解釋和利用預(yù)訓(xùn)練知識(shí)。
然后系統(tǒng)會(huì)將這些輸出中的回答部分（不含思考過(guò)程）提供給一個(gè)評(píng)判模型來(lái)打分。
評(píng)判模型可以是像ArmoRM這樣直接對(duì)單個(gè)回答評(píng)分的模型，也可以是像Self-Taught Evaluator這樣通過(guò)比較兩個(gè)回答來(lái)選出更好者的模型。
基于評(píng)判結(jié)果，系統(tǒng)會(huì)選出得分最高和最低的回答，連同它們對(duì)應(yīng)的思考過(guò)程一起構(gòu)成偏好對(duì)。
這些偏好對(duì)隨后被用于直接偏好優(yōu)化（DPO）訓(xùn)練，通過(guò)這種方式，模型能夠逐步學(xué)習(xí)到哪些思考方式能帶來(lái)更好的回答。
整個(gè)過(guò)程是迭代進(jìn)行的，每輪訓(xùn)練后得到的新模型會(huì)被用于下一輪的思考和回答生成。
為了防止回答變得過(guò)于冗長(zhǎng)，TPO還引入了長(zhǎng)度控制機(jī)制，通過(guò)在評(píng)分中加入長(zhǎng)度懲罰項(xiàng)來(lái)平衡回答的質(zhì)量和簡(jiǎn)潔性。
值得注意的是，在實(shí)際使用時(shí)，模型生成的思考過(guò)程會(huì)被隱藏，只向用戶(hù)展示最終的回答部分。
更多細(xì)節(jié)，感興趣的童鞋可自行查看原論文。
通過(guò)這種訓(xùn)練方法，即使是像Llama-3-8B-Instruct這樣相對(duì)較小的模型也能在AlpacaEval等基準(zhǔn)測(cè)試中取得接近甚至超過(guò)一些更大模型的性能。
在AlpacaEval基準(zhǔn)測(cè)試中，TPO模型獲得52.5%的勝率，比基線(xiàn)提升4.1%；在Arena-Hard測(cè)試上，TPO模型獲得37.3%的勝率，比基線(xiàn)提升4.3%。
研究發(fā)現(xiàn)，雖然在訓(xùn)練初期，帶思考的模型表現(xiàn)不如直接回答的基線(xiàn)模型，但經(jīng)過(guò)多輪迭代訓(xùn)練后，TPO模型的表現(xiàn)明顯超過(guò)基線(xiàn)。
更細(xì)致的分析顯示，思考不僅對(duì)推理和數(shù)學(xué)等傳統(tǒng)認(rèn)為需要思考的任務(wù)有幫助，在營(yíng)銷(xiāo)、健康、一般知識(shí)等非推理任務(wù)上也表現(xiàn)出優(yōu)勢(shì)，模型會(huì)隨著訓(xùn)練逐漸學(xué)會(huì)更高效的思考（思考長(zhǎng)度縮短）。
華人一作這項(xiàng)研究由來(lái)自Meta FAIR、加州大學(xué)伯克利分校、紐約大學(xué)的研究人員共同提出。
論文一作為華人學(xué)者Tianhao Wu。
Tianhao Wu目前是加州大學(xué)伯克利分校博士生，導(dǎo)師是焦劍濤（Jiantao Jiao）和Kannan Ramchandran。
本科主修數(shù)學(xué)，合作導(dǎo)師是北大教授、清華交叉信息學(xué)院兼職教授王立威（Liwei Wang）。
他的研究重點(diǎn)是通過(guò)強(qiáng)化學(xué)習(xí)改善大語(yǔ)言模型的指令遵循和推理能力，目標(biāo)是構(gòu)建可以解決需要多步驟推理的復(fù)雜任務(wù)的大規(guī)模模型。
此外他還在開(kāi)發(fā)由Agent組成的AI社會(huì)，這些Agent可以以模塊化的方式連接起來(lái)，形成更強(qiáng)大的集體智能。
論文鏈接：https://arxiv.org/abs/2410.10630
參考鏈接：[1]https://x.com/rasbt/status/1850177459930497118[2]https://thwu1.github.io/tianhaowu/
