AIxiv專欄是機(jī)器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過去數(shù)年，機(jī)器之心AIxiv專欄接收報道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級實驗室，有效促進(jìn)了學(xué)術(shù)交流與傳播。如果您有優(yōu)秀的工作想要分享，歡迎投稿或者聯(lián)系報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com
該技術(shù)報告的主要作者 Lu Wang, Fangkai Yang, Chaoyun Zhang, Shilin He, Pu Zhao, Si Qin 等均來自 Data, Knowledge, and Intelligence (DKI) 團(tuán)隊，為微軟 TaskWeaver, WizardLLM, Windows GUI Agent UFO 的核心開發(fā)者。
近年來，大語言模型（Large Language Models, LLMs）的迅猛發(fā)展推動了自然語言處理（NLP）領(lǐng)域的技術(shù)進(jìn)步。這些模型在對話生成、文本翻譯、知識問答和代碼生成等任務(wù)中展現(xiàn)出卓越的性能。
然而，盡管 LLMs 可以通過語言生成為用戶提供信息支持，其功能仍局限于文本層面，無法主動與物理或數(shù)字環(huán)境交互，或因缺乏領(lǐng)域知識和數(shù)據(jù)而導(dǎo)致生成的「動作」效果不佳。這種「語言 - 行動斷層」阻礙了人工智能（AI）在許多實際場景中的廣泛應(yīng)用。
為解決這一核心問題，微軟團(tuán)隊首次提出了一種完整的方法體系，詳盡描述了在無直接可用數(shù)據(jù)的情況下如何從零開始訓(xùn)練一個大行動模型（Large Action Model, LAM），并將其逐步構(gòu)建為可在真實環(huán)境中完成任務(wù)的智能體。
這一工作為LAM 模型訓(xùn)練的奠定了基礎(chǔ)，還為 AI 從被動語言生成向主動行動生成的轉(zhuǎn)變提供了新思路。
技術(shù)報告鏈接：Large Action Models: From Inception to Implementation
數(shù)據(jù)處理代碼鏈接：https://github.com/microsoft/UFO/tree/main/dataflow
完整的技術(shù)文檔鏈接：https://microsoft.github.io/UFO/dataflow/overview/
從語言到行動的必要演化
LLMs 的局限性
傳統(tǒng) LLMs，如 OpenAI 的 GPT 系列和 Mistral-7B，能夠生成富有邏輯性和創(chuàng)意的文本內(nèi)容，廣泛應(yīng)用于問答系統(tǒng)、代碼補(bǔ)全、文案生成等任務(wù)中。然而，當(dāng)用戶的需求超越語言生成層面，例如操作軟件、完成復(fù)雜的工作流程或直接操控物理設(shè)備時，這些模型便暴露出明顯的不足。
這一局限性源于 LLMs 的設(shè)計初衷：它們被優(yōu)化用于生成語言內(nèi)容，而非執(zhí)行行動。雖然 LLMs 在任務(wù)規(guī)劃和意圖理解方面表現(xiàn)出色，但它們?nèi)狈π袆由伤璧娜蝿?wù)分解、環(huán)境交互和多步執(zhí)行能力。
LAM（大行動模型）具備三大特性：
用戶意圖理解，能從多種輸入（語言、語音、圖像等）中準(zhǔn)確解析意圖并轉(zhuǎn)化為具體可執(zhí)行計劃；
行動生成能力，可根據(jù)環(huán)境將用戶需求轉(zhuǎn)化為 GUI 操作、API 調(diào)用、物理動作等多種形式的具體步驟；
動態(tài)規(guī)劃與適應(yīng)，能夠分解復(fù)雜任務(wù)，靈活應(yīng)對環(huán)境變化，實時調(diào)整計劃以完成目標(biāo)。這些特性使 LAM 在復(fù)雜任務(wù)執(zhí)行中表現(xiàn)出色。
圖 1：從 LLM 到 LAM 的演化
從 LLMs 到 LAMs 的挑戰(zhàn)
如圖 1 所示，構(gòu)建 LAMs 的核心挑戰(zhàn)在于如何將模型從一個被動的文本生成器轉(zhuǎn)變?yōu)槟軌蛟谡鎸嵀h(huán)境中執(zhí)行復(fù)雜任務(wù)的主動行動生成器。這一轉(zhuǎn)變不僅需要重新定義模型能力，還涉及從數(shù)據(jù)、訓(xùn)練方法到評估方式的全面革新：
數(shù)據(jù)積累的難題
數(shù)據(jù)獲取是訓(xùn)練 LAM 的最大挑戰(zhàn)。LAM 需要大量任務(wù) - 行動對數(shù)據(jù)來學(xué)習(xí)如何在不同環(huán)境中執(zhí)行操作。然而，這類數(shù)據(jù)在實際應(yīng)用中往往難以獲取或批量收集。
模型訓(xùn)練的重大轉(zhuǎn)化
LAM 的開發(fā)需要從僅生成文本的 LLMs 轉(zhuǎn)化為具備任務(wù)規(guī)劃、動態(tài)執(zhí)行和調(diào)整能力的模型。這不僅需要對模型架構(gòu)進(jìn)行深度改造，還需要采用全新的訓(xùn)練方法，以賦予模型行動生成與環(huán)境適配的能力。
離線評估的局限性
在靜態(tài)、受控環(huán)境中測試 LAM 的性能是必要的一步，用以驗證其基礎(chǔ)能力。然而，僅止步于離線評估無法真實反映模型在實際復(fù)雜場景中的表現(xiàn)。
環(huán)境適配與線上評估的復(fù)雜性
LAM 需要實時與復(fù)雜、多樣的數(shù)字或物理環(huán)境交互。這要求模型具備動態(tài)適應(yīng)性，能夠根據(jù)實時反饋調(diào)整行動。此外，在真實環(huán)境中進(jìn)行線上評估，測試 LAM 的準(zhǔn)確性、效率和任務(wù)完成效果，是驗證其實際性能的關(guān)鍵環(huán)節(jié)。
針對上述挑戰(zhàn)，微軟團(tuán)隊首次提出并實現(xiàn)了一套完整的從 0 到 1 訓(xùn)練 LAM 模型的流程，涵蓋了從數(shù)據(jù)積累、模型訓(xùn)練到實際部署的所有步驟。
該團(tuán)隊的方法不僅解決了「無數(shù)據(jù)」的初始瓶頸，還通過逐步迭代的方式，讓模型從簡單的任務(wù)規(guī)劃能力成長為具備復(fù)雜行動生成能力的智能體。這一研究填補(bǔ)了現(xiàn)有領(lǐng)域的空白，為 LAMs 的開發(fā)提供了首個實踐范例。
數(shù)據(jù)積累
從無到有構(gòu)建 LAM 的第一步
在訓(xùn)練 LAM（大行動模型）時，數(shù)據(jù)積累是關(guān)鍵。與 LLMs（大語言模型）訓(xùn)練需要大量文本數(shù)據(jù)類似，LAM 的開發(fā)依賴高質(zhì)量的任務(wù) - 行動數(shù)據(jù)。
然而，這類數(shù)據(jù)在實際應(yīng)用中非常稀缺，特別是領(lǐng)域?qū)俸涂蓤?zhí)行的數(shù)據(jù)。為了克服這一瓶頸，該團(tuán)隊設(shè)計了一套從無到有的數(shù)據(jù)收集與處理流程，分為兩大階段：任務(wù) - 計劃數(shù)據(jù)收集和任務(wù) - 行動數(shù)據(jù)收集。
圖 2：任務(wù) - 計劃數(shù)據(jù)的收集過程
階段一：任務(wù) - 計劃數(shù)據(jù)收集
如圖 2 所示，任務(wù) - 計劃數(shù)據(jù)以用戶請求為起點，生成任務(wù)描述及其對應(yīng)的詳細(xì)操作步驟。該團(tuán)隊從多種開源資源中收集任務(wù) - 計劃對，包括應(yīng)用幫助文檔（如 Microsoft Word 的幫助頁面）、WikiHow 任務(wù)教程，以及用戶的搜索查詢記錄。
通過這些來源，該團(tuán)隊構(gòu)建了包含 76,672 對任務(wù)與計劃的初始數(shù)據(jù)集，其中 29,182 對是直接獲取的，47,490 對通過數(shù)據(jù)擴(kuò)展技術(shù)生成。
此外，他們采用數(shù)據(jù)增強(qiáng)技術(shù)生成更多任務(wù) - 計劃對。通過 GPT-4o 演化原始任務(wù)，增加復(fù)雜性和約束條件，同時生成相應(yīng)的計劃，擴(kuò)展數(shù)據(jù)集規(guī)模至原來的 150%。例如，「在 Excel 中創(chuàng)建下拉菜單」被演化為「創(chuàng)建依賴下拉菜單，并根據(jù)第一列選擇過濾第二列內(nèi)容」，從而提高模型對復(fù)雜任務(wù)的適應(yīng)能力。
圖 3：任務(wù) - 行動數(shù)據(jù)收集過程
階段二：任務(wù) - 行動數(shù)據(jù)收集
任務(wù) - 計劃數(shù)據(jù)雖然用于高層次規(guī)劃，但不能直接執(zhí)行。如圖 3 所示，為填補(bǔ)從規(guī)劃到執(zhí)行的差距，該團(tuán)隊通過以下步驟生成任務(wù) - 行動數(shù)據(jù)：
2. 執(zhí)行驗證：在真實環(huán)境中執(zhí)行實例化的任務(wù)，捕獲執(zhí)行軌跡和環(huán)境反饋，確保行動序列的可操作性和正確性。
3. 評估與后處理：使用 GPT-4o 對執(zhí)行結(jié)果進(jìn)行驗證，僅保留與任務(wù)目標(biāo)一致的成功軌跡，并記錄詳細(xì)元數(shù)據(jù)（如環(huán)境狀態(tài)和執(zhí)行時間），最終生成結(jié)構(gòu)化的任務(wù) - 行動對。
這一流程最終生成了覆蓋廣泛操作場景的任務(wù) - 行動數(shù)據(jù)集，為 LAM 訓(xùn)練提供了精確的行動模板，顯著提升了模型在真實環(huán)境中的任務(wù)執(zhí)行能力。
通過兩階段的逐步積累，成功地從「無數(shù)據(jù)」?fàn)顟B(tài)出發(fā)，構(gòu)建了 LAM 訓(xùn)練所需的高質(zhì)量任務(wù) - 行動數(shù)據(jù)。這一方法不僅解決了數(shù)據(jù)稀缺問題，還通過引入真實環(huán)境交互和動態(tài)驗證，確保數(shù)據(jù)的高效性和適用性，為從 LLMs 到 LAMs 的轉(zhuǎn)變提供了堅實基礎(chǔ)。
方法：從 0 到 1，逐步構(gòu)建 LAM
如圖 4 所示，構(gòu)建 LAM 的過程分為四個階段，涵蓋了從數(shù)據(jù)積累到模型訓(xùn)練的完整工作流。
圖 4：LAM 的訓(xùn)練過程
第一階段：任務(wù)計劃預(yù)訓(xùn)練
為了讓模型具備基本的任務(wù)規(guī)劃能力，首先訓(xùn)練模型生成任務(wù)分解計劃。數(shù)據(jù)來源為任務(wù) - 計劃數(shù)據(jù)。模型的目標(biāo)是根據(jù)輸入任務(wù)生成正確的任務(wù)分解計劃。例如，「在 Word 中插入表格」被分解為「點擊插入菜單」、「選擇表格選項」、「輸入表格行列數(shù)」等步驟。這一階段讓模型掌握了任務(wù)分解的基本能力，為后續(xù)的行動生成打下了基礎(chǔ)。
第二階段：專家知識學(xué)習(xí)
盡管第一階段的模型可以生成任務(wù)計劃，但仍缺乏執(zhí)行這些計劃的能力。為此，需要利用收集到的任務(wù) - 行動數(shù)據(jù)，并通過模仿學(xué)習(xí)訓(xùn)練模型執(zhí)行具體操作。經(jīng)過訓(xùn)練，模型從一個被動的計劃生成器轉(zhuǎn)變?yōu)槟軌驁?zhí)行計劃的主動行動生成器。
第三階段：自我探索提升
專家數(shù)據(jù)的覆蓋范圍有限，無法囊括所有可能的任務(wù)場景。為此，該團(tuán)隊設(shè)計了自我探索機(jī)制，將 LAM 部署在 UFO 中，UFO 是一個開源 GUI Agent 框架，能夠通過交互 Windows 操作系統(tǒng)中的圖形用戶界面（GUI）元素來完成任務(wù)。讓 LAM 嘗試完成之前失敗的任務(wù)，并從中積累新的成功經(jīng)驗。
1. 任務(wù)挑戰(zhàn)：模型嘗試完成 2,284 個由 GPT-4 未解決的任務(wù)，通過動態(tài)探索生成可能的成功軌跡。
2. 數(shù)據(jù)擴(kuò)展：在自我探索中，模型生成了 496 條新成功軌跡，將其與之前的專家數(shù)據(jù)合并形成擴(kuò)展數(shù)據(jù)集。
3. 模型迭代：通過再次微調(diào)，模型進(jìn)一步提升了處理復(fù)雜任務(wù)的能力，增強(qiáng)了對未知環(huán)境的適應(yīng)性。
這一階段實現(xiàn)了從無數(shù)據(jù)到新數(shù)據(jù)的自動生成與積累，擴(kuò)展了訓(xùn)練數(shù)據(jù)的覆蓋范圍。
第四階段：獎勵模型優(yōu)化
為了進(jìn)一步提升模型的行動質(zhì)量，在此引入了獎勵模型（Reward Model, RM），同時利用正負(fù)反饋，通過強(qiáng)化學(xué)習(xí)優(yōu)化 LAM 的決策能力。
實驗結(jié)果
離線實驗結(jié)果
表格 1：不同 LAM 訓(xùn)練階段的離線實驗結(jié)果
為了驗證訓(xùn)練方法的有效性，該團(tuán)隊在 435 個任務(wù)上對不同階段的 LAM 模型進(jìn)行了離線測試。如表格 1 的實驗結(jié)果顯示，LAM 的各階段的訓(xùn)練都帶來了模型性能提升。
環(huán)境適配
圖 5：LAM 智能體架構(gòu)
如圖 5 所示，經(jīng)過訓(xùn)練的 LAM 模型被集成到 GUI 智能體 UFO 的 AppAgent 中作為推理引擎，后者充當(dāng)橋梁，將 LAM 預(yù)測的動作「著地」為可執(zhí)行的實際操作。
線上實驗結(jié)果
表格 2：LAM 的線上實驗結(jié)果
如表格 2 所示，LAM 在線上實驗任務(wù)中成功率（TSR）方面表現(xiàn)優(yōu)異，達(dá)到 71.0%，在文本輸入模式下超越了基線模型（GPT-4o 和 GPT-4o Mini）。
效率對比
LAM 在任務(wù)完成時間和平均步時延上展現(xiàn)了顯著優(yōu)勢：
1. 任務(wù)完成時間：LAM 完成單個任務(wù)平均耗時僅 30.42 秒，相比之下，無視覺輸入的 GPT-4o 耗時 86.42 秒，約為 LAM 的 2.84 倍，而帶視覺輸入的 GPT-4o 耗時更長，為 96.48 秒。
2. 平均步時延：LAM 的每步時延為 5.41 秒，顯著優(yōu)于無視覺輸入的 GPT-4o（12.84 秒）和帶視覺輸入的 GPT-4o（19.36 秒）。
