AIxiv專(zhuān)欄是機(jī)器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過(guò)去數(shù)年，機(jī)器之心AIxiv專(zhuān)欄接收?qǐng)?bào)道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級(jí)實(shí)驗(yàn)室，有效促進(jìn)了學(xué)術(shù)交流與傳播。如果您有優(yōu)秀的工作想要分享，歡迎投稿或者聯(lián)系報(bào)道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com
近幾年在生成式 AI 技術(shù)和商業(yè)創(chuàng)新飛速發(fā)展的背景下，創(chuàng)建高質(zhì)量且低成本的生成式 AI 應(yīng)用在業(yè)界仍有相當(dāng)難度，主要原因在于缺乏系統(tǒng)化的調(diào)試和優(yōu)化方法。
近日，UCSD 張怡穎教授的 GenseeAI 團(tuán)隊(duì)推出了首款可自動(dòng)提升 AI 工作流生成質(zhì)量并降低生成成本的工具 Cognify。Cognify 可以自動(dòng)優(yōu)化 AI 工作流，支持 LangChain、DSPy、Python 等語(yǔ)言框架。Cognify 的核心思路是一種創(chuàng)新的分層工作流級(jí)優(yōu)化方法。Cognify 可將生成式 AI 應(yīng)用的生成質(zhì)量提高多達(dá) 48%，并將執(zhí)行成本降低多達(dá) 90%。Cognify 現(xiàn)已開(kāi)源。
開(kāi)源地址：https://github.com/GenseeAI/cognify生成式 AI 工作流當(dāng)前的生成式 AI 產(chǎn)品通常都是以生成式 AI 工作流的形式構(gòu)建和部署。AI 工作流內(nèi)部可以調(diào)用各類(lèi) AI 模型、工具、數(shù)據(jù)源及其他類(lèi)型的系統(tǒng)。典型的 AI 工作流包括 Agent 工作流和 LLM+RAG 等。與單次調(diào)用 AI 模型相比，AI 工作流提供了更強(qiáng)大、可定制和集成化的解決方案。當(dāng)前業(yè)界的 AI 工作流通常由工程師編寫(xiě)。在部署之前，工程師需要手動(dòng)調(diào)整 AI 工作流的結(jié)構(gòu)和提示詞（prompt），并為工作流中的各個(gè)步驟選擇合適的模型。然而，由于缺乏系統(tǒng)化的調(diào)優(yōu)方法，AI 工作流的部署經(jīng)常非常耗時(shí)，已部署的工作流也可能面臨質(zhì)量不佳、不穩(wěn)定或成本太高等問(wèn)題。雖然有許多生成式 AI 工作流的開(kāi)發(fā)框架，比如 Coze，Dify，LangChain，DSPy 和 Claude MCP，但是并沒(méi)有可以幫助開(kāi)發(fā)者系統(tǒng)調(diào)試和優(yōu)化工具。Cognify 優(yōu)化器Cognify 是一款全面、多目標(biāo)的開(kāi)源 AI 工作流優(yōu)化器。Cognify 的優(yōu)化過(guò)程基于自動(dòng)選擇 AI 模型、改進(jìn)工作流結(jié)構(gòu)和增強(qiáng)提示詞。Cognify 實(shí)現(xiàn)了工作流的多目標(biāo)優(yōu)化，包括提高生成質(zhì)量和低生成成本。對(duì)于不同的應(yīng)用場(chǎng)景，Cognify 都用相同或更小的模型達(dá)到了更高的生成質(zhì)量，推動(dòng)了質(zhì)量 - 成本 Pareto 邊界，并且允許用戶選擇不同的質(zhì)量 - 成本組合（結(jié)果如下圖所示）。在此過(guò)程中，Cognify 的優(yōu)化實(shí)現(xiàn)了「一鍵」全自動(dòng)化。同時(shí)，Cognify 也允許用戶自定義優(yōu)化方法 Cogs（Cognify 把各種優(yōu)化統(tǒng)稱(chēng) Cog），備選模型種類(lèi)，以及最多優(yōu)化次數(shù)。Cognify 目前支持 LangChain、LangGraph、DSPy 和基于 Python 開(kāi)發(fā)的工作流。
Cognify 核心技術(shù)全局級(jí)別的工作流超參數(shù)調(diào)優(yōu)Cognify 的核心理念是對(duì)整個(gè)工作流進(jìn)行優(yōu)化，而不是在每個(gè)單獨(dú)的工作流組件中進(jìn)行優(yōu)化。由于上游組件的生成結(jié)果對(duì)下游組件的性能有重大影響，孤立的優(yōu)化各個(gè)組件可能導(dǎo)致最終生成質(zhì)量不佳，而且整體運(yùn)行成本增加。Cognify 通過(guò)實(shí)驗(yàn)各種 Cog 組合，并通過(guò)最終生成的質(zhì)量評(píng)估這些組合的效果，從而優(yōu)化整個(gè)工作流。
在整體工作流優(yōu)化中，一個(gè)關(guān)鍵挑戰(zhàn)是優(yōu)化成本，包括模型運(yùn)行成本和耗時(shí)。一個(gè)簡(jiǎn)單的做法是對(duì)每個(gè)可能的 cog 組合進(jìn)行網(wǎng)格搜索，但這會(huì)導(dǎo)致指數(shù)級(jí)增長(zhǎng)的優(yōu)化成本。為了解決這個(gè)問(wèn)題，Cognify 采用了兩種策略。首先，Cognify 將工作流視為一個(gè)優(yōu)化對(duì)象，并將所有可能的 Cog 視為其超參數(shù) (hyperparameter)。Cognify 為工作流超參數(shù)設(shè)計(jì)了一套新的貝葉斯優(yōu)化器（Bayesian Optimizer），用于調(diào)優(yōu)這些工作流超參數(shù)。特制的優(yōu)化器能夠有效探索 cog 組合空間。其次，Cognify 將 cog 分為兩層：外循環(huán)包含更改工作流結(jié)構(gòu)的 cog（例如添加或移除組件或重新排列它們的順序），內(nèi)循環(huán)包含不影響工作流結(jié)構(gòu)的 cog（例如提示詞調(diào)優(yōu)和模型選擇）。這種雙層方法減少了貝葉斯優(yōu)化器需要探索的整體搜索空間。
CogHub：AI 工作流優(yōu)化器集合與 Cognify 同時(shí)推出的是 CogHub一個(gè)開(kāi)源 cog 集合。就像 HuggingFace 集合了開(kāi)源的模型，CogHub 集合了開(kāi)源的 AI 工作流優(yōu)化方法。CogHub 在被 Cognify 內(nèi)部調(diào)用的同時(shí)也面向程序員或未來(lái)的生成式 AI 工具。CogHub 現(xiàn)支持以下五種 cogs：
任務(wù)分解 (Task Decomposition)（外循環(huán)）：將一個(gè)任務(wù)（一次 LLM 調(diào)用）分解為多個(gè)細(xì)分的子任務(wù)（多次 LLM 調(diào)用）。
任務(wù)集成 (Task Ensemble)（外循環(huán)）：構(gòu)建并結(jié)合多個(gè)模塊來(lái)完成任務(wù)。
多步推理 (Multi-step Reasoning)（內(nèi)循環(huán)）：要求 LLM 逐步推理。
少樣本學(xué)習(xí) (Few-shot Learning)（內(nèi)循環(huán)）：從輸入樣本中添加一些高質(zhì)量的示例演示。
模型選擇 (Model SelectioN)（內(nèi)循環(huán)）：評(píng)估不同的模型。
優(yōu)化案例以下是一個(gè)數(shù)據(jù)可視化任務(wù)的例子。任務(wù)目標(biāo)是由手機(jī)銷(xiāo)售數(shù)據(jù)生成針對(duì)每個(gè)廠商每個(gè)季度的銷(xiāo)量的箱型圖，并計(jì)算每個(gè)手機(jī)商的銷(xiāo)售平均值，最終用平均值線表示。下圖展示了幾個(gè)生成圖的對(duì)比， 1) 人工畫(huà)的基準(zhǔn)圖，2) 直接詢問(wèn) OpenAI o1，3) 直接運(yùn)行 MatPlotAgent 工作流，4) DSPy 優(yōu)化過(guò)的工作流，以及 5) 由 Cognify 優(yōu)化過(guò)的工作流。Cognify 優(yōu)化過(guò)的工作流返回的結(jié)果幾乎與基準(zhǔn)圖吻合，質(zhì)量顯著優(yōu)于其他方案。與此同時(shí)，Cognify 優(yōu)化過(guò)的工作流的運(yùn)行成本僅有 o1-preview 的 4%。
圖 A：人工畫(huà)的基準(zhǔn)
圖 B：GPT o1-preview 的生成圖
圖 C：原生成式 AI 工作流的生成圖
圖 D：DSPy 優(yōu)化過(guò)的生成式 AI 工作流生成圖
圖 E：Cognify 優(yōu)化過(guò)的生成式 AI 工作流生成圖
GenseeAI 簡(jiǎn)介GenseeAI（gensee.ai）是由 UCSD 張怡穎教授帶領(lǐng)的初創(chuàng)公司。GenseeAI 致力于生成式 AI 工作流優(yōu)化、部署、推理和基礎(chǔ)平臺(tái)創(chuàng)建，目前已在多家世界 500 強(qiáng)公司推廣初期產(chǎn)品。張怡穎教授師從圖領(lǐng)獎(jiǎng)得主 David Patterson 學(xué)門(mén)，是計(jì)算機(jī)系統(tǒng)領(lǐng)域的國(guó)際頂尖專(zhuān)家，獲得業(yè)界和學(xué)術(shù)界多項(xiàng)大獎(jiǎng)和廣泛認(rèn)可。GenseeAI 的其他核心團(tuán)隊(duì)來(lái)自于美國(guó)谷歌和 Snap 等高科技公司，具有開(kāi)發(fā)和運(yùn)營(yíng)日活躍用戶上億級(jí)別的 AI 產(chǎn)品的經(jīng)驗(yàn)。
