文 | 烏鴉智能說(shuō)
上世紀(jì)80年代，如今的Meta AI首席科學(xué)家楊立昆還在讀大學(xué)。
那時(shí)候，深度學(xué)習(xí)是一個(gè)“已被證偽”的技術(shù)路線，只有一小撮人在死磕，這其中就包括了一批日本科學(xué)家。
楊立昆發(fā)現(xiàn)，當(dāng)時(shí)大部分的深度學(xué)習(xí)論文，都是日本研究人員用英文寫的，這些論文給了當(dāng)時(shí)楊立昆很大的啟發(fā)。
有趣的是，當(dāng)2024年有人都在發(fā)力大模型，日本卻在這場(chǎng)浪潮中幾乎銷聲匿跡。
直到前幾天，一家要做日語(yǔ)專用生成式AI的本土獨(dú)角獸才沖了出來(lái)。據(jù)《朝日新聞》上周六報(bào)道，日本生成式AI初創(chuàng)公司SakanaAI即將獲得一筆新的重大投資，本月底之前籌集約200億日元資金（約1.27億美元），這將使該公司估值達(dá)到1800億日元（約11.42億美元）。
這是日本獨(dú)角獸中增長(zhǎng)最快的，至此它成立還不到一年。
那么，日本這家人工智能公司是什么來(lái)頭？日語(yǔ)專用生成式AI的誕生對(duì)大模型的發(fā)展有什么啟示？
“黑魔法”模型合并，日語(yǔ)理解融合語(yǔ)言/數(shù)學(xué)/視覺
“ChatGPT之父”阿爾特曼（Sam Altman）在5月末預(yù)測(cè)，中國(guó)會(huì)誕生有自身特色的大模型。這讓我們思考更多的民族擁有文化專屬大模型的必要性。
Sakana AI注意到要讓AI生成物的文化屬性與藝術(shù)質(zhì)感貼近日本文化和用戶價(jià)值觀。“sakana”本身是日語(yǔ)音，寫作さかな，讀作薩嘎那，意思為魚。而Sakana AI的logo是魚形的，官網(wǎng)網(wǎng)站里隨處可見各種生成式AI繪制的魚。
3月，Sakana AI在Hugging Face和GitHub上開源了模仿生物進(jìn)化機(jī)制、結(jié)合多個(gè)AI來(lái)生成高級(jí)AI的技術(shù)，包括視覺語(yǔ)言模型EvoVLM-JP。4月22日，Sakana AI宣布推出面向教育與日語(yǔ)兼容的高速圖像生成模型，用日語(yǔ)解決數(shù)學(xué)問題的EvoLLM-JP，生成并理解日語(yǔ)圖像和文本的模型EvoSDXL-JP。至此，該公司已經(jīng)推出3個(gè)日語(yǔ)專用的生成式AI。
▲EvoSDXL-JP生成的圖像示例。提示詞：可愛的編織象、拉面和浮世繪、葛飾北齋、折紙便當(dāng)、下町火箭、浮世繪等。（圖源：SakanaAI官網(wǎng)）
SakanaAI在社交平臺(tái)X的賬號(hào)@hardmaru，我還發(fā)現(xiàn)模型不局限于日本風(fēng)格，包括可以生成多種電影風(fēng)格，效果也十分不錯(cuò)。比如輸入“馬斯克”和“扎克伯格”等相關(guān)提示詞，生成圖片立馬幻視成《搏擊俱樂博》的杰克和泰勒在對(duì)壘；學(xué)友的經(jīng)典表情包被擴(kuò)展成“和貓咪共進(jìn)晚餐”的場(chǎng)景，害我笑了一下。
▲在SDXL版本使用“電影效果”模式生成圖片，馬斯克和扎克伯格
▲SDXL對(duì)于香港電視場(chǎng)景擴(kuò)展產(chǎn)生了一些有趣的結(jié)果
具體來(lái)看， Sakana AI三個(gè)模型精通日語(yǔ)，他們?cè)诶斫鈴?fù)雜的問題，還可以用日本關(guān)西方言開玩笑。視覺語(yǔ)言模型EvoVLM-JP了解日本文化的細(xì)微差別，例如知道在日本通行燈實(shí)際上是藍(lán)色；而EvoSDXL-JP模型注重速度和精度，并能生成符合日本美學(xué)的作品。
Sakana AI提出一種進(jìn)化算法混合和匹配人工智能模型的方法，對(duì)生成文本和圖像的AI基本模型進(jìn)行研究，他們將現(xiàn)有模型相互交叉組合。（進(jìn)化算法借鑒了自然進(jìn)化的概念，使人工智能能夠隨著時(shí)間的推移而進(jìn)化、適應(yīng)和改進(jìn)。）
有意思的是，Sakana AI將模型合并比作為一種“黑魔法”，并在技術(shù)博客里放上了中國(guó)AI初創(chuàng)公司零一萬(wàn)物“套殼Llama”爭(zhēng)議的“黑圖”。
從Sakana AI的產(chǎn)品歷程來(lái)看，今年早些，他們開始利用進(jìn)化算法來(lái)開發(fā)更好的方法來(lái)訓(xùn)練LLM等基礎(chǔ)模型。最近，他們使用LLM作為更好的進(jìn)化算法，讓“LLM發(fā)明更好的辦法來(lái)培訓(xùn)LLM”。
Sakana AI探索了模型合并的兩條主要途徑，一是修改模型的數(shù)據(jù)流可以將其視為基于個(gè)性的匹配；二是則側(cè)重于混合其他模型的參數(shù)，例如將兩個(gè)模型的最佳特征結(jié)合起來(lái)，創(chuàng)造出一個(gè)更加出色的模型。
進(jìn)化算法與文化差異的融合是Sakana AI重點(diǎn)關(guān)注的方面，他們致力于用日本本土文化敘事提供了AI可能的影響和錯(cuò)誤的基本背景解釋，在文化細(xì)微差別和社會(huì)動(dòng)態(tài)的情況下進(jìn)行AI決策的研究，改善此前缺乏AI可解釋性的狀況。
日系生成式AI獨(dú)苗，外資話語(yǔ)權(quán)高
在計(jì)算資源似乎非常豐富的時(shí)代，人們對(duì)擴(kuò)大機(jī)器學(xué)習(xí)規(guī)模并在更大的數(shù)據(jù)集上訓(xùn)練越來(lái)越大的模型感到非常興奮。
在大模型領(lǐng)域的激烈角逐中，日本AI模型的身影缺席，無(wú)論是基礎(chǔ)大模型還是應(yīng)用層模型。在Sakana AI之前，Open Calm、Rinna等“日系”前沿模型在評(píng)測(cè)中的表現(xiàn)要遠(yuǎn)遜于GPT-3.5。
難道人工智能的未來(lái)是就是由一個(gè)耗費(fèi)大量能源進(jìn)行訓(xùn)練、運(yùn)行和維護(hù)，并且龐大、單一、無(wú)所不知的系統(tǒng)組成嗎？日本東京大學(xué)哲學(xué)博士、谷歌知名研究者David Ha并不認(rèn)為，他在博客中寫到“智慧生命的出現(xiàn)并非源于豐富的資源，而是源于資源的匱乏……人工智能的發(fā)展將遵循集體發(fā)展路徑”。
在上述理念的指引下，David Ha和另一位谷歌研究者Llion Jones，以及日本二手交易平臺(tái)Mercari執(zhí)行董事的伊藤，三人在去年7月共同在日本東京港區(qū)創(chuàng)立Sakana AI。
▲Llion Jones（左）和David Ha（右）
生成AI是風(fēng)險(xiǎn)投資公司等的資金集中的方向，這支技術(shù)背景強(qiáng)大、價(jià)值觀特別的日本初創(chuàng)AI很快吸引了眾多資本的目光。
1月，Sakana AI宣布從Khosla Ventures等公司、NTT集團(tuán)以及索尼集團(tuán)共計(jì)籌集約45億日元。2月，Sakana AI被日本政府列入七家獲得贈(zèng)款的公司和實(shí)驗(yàn)室之一，以獲得使用配備最新圖形處理單元的超級(jí)計(jì)算集群的權(quán)限。
就在上周，SakanaAI被推動(dòng)到?jīng)_刺獨(dú)角獸的位置。該公司在本月底之前將籌集約200億日元資金（約1.27億美元，9.23億元人民幣），由美國(guó)知名風(fēng)投New Enterprise Associates(NEA)和現(xiàn)有投資者Lux Capital及Khosla Ventures共同主導(dǎo)，這將使該公司估值達(dá)到1800億日元（約11.42億美元，83億元人民幣）。
雖然融資形勢(shì)是鮮花著錦、烈火烹油，但看看身下是AI產(chǎn)業(yè)羸弱的日本，Sakana AI有它不得不面臨的管理結(jié)構(gòu)和人才問題。
首先是日系資本話語(yǔ)權(quán)的問題。從投資股東看，上一輪和這一輪領(lǐng)投的機(jī)構(gòu)都是美國(guó)風(fēng)投，盡管這些美國(guó)風(fēng)投持股比例尚不清楚，但可以確定的是，美國(guó)風(fēng)投的話語(yǔ)權(quán)應(yīng)該不低。
另外，Sakana AI成立在港區(qū)，這里以聚集諸多外國(guó)大使館、國(guó)際氣氛濃厚著稱。
聯(lián)合創(chuàng)始人Ha表示，他們?cè)跒硡^(qū)創(chuàng)立公司是戰(zhàn)略錯(cuò)誤，因?yàn)檫@很難有差異化。不過(guò)，美資在日本開設(shè)辦事處并投資日本初創(chuàng)，這也許是最好的局面，部分原因是美資的信托責(zé)任致所有非日本基金支持者。
另外是本土人才有限的問題。現(xiàn)在日本的AI研究非常依賴“老外”。
RIKEN（理化學(xué)研究所）是日本唯一的國(guó)家級(jí)科研機(jī)構(gòu)，頂級(jí)頭腦聚集地。湯川秀樹等日本諾獎(jiǎng)得主，都曾在這兒搞過(guò)研究。RIKEN革新智慧綜合研究中心負(fù)責(zé)人杉山將，曾做過(guò)一筆統(tǒng)計(jì)：
那些被AI頂會(huì)收錄的RIKEN論文，近一半的作者都隸屬于外國(guó)大學(xué)，其中約一半的人來(lái)自中國(guó)。
最新消息顯示，Sakana AI已收到近1000份工作申請(qǐng)，但只有1/3 來(lái)自日本，2/3 來(lái)自海外。
結(jié)語(yǔ)：“日本”會(huì)誕生有自身特色的大模型
AIGC的主導(dǎo)征地根植于歐美視角，在非歐美文化的情景中的適用性有限，Sakana AI這只日本AI獨(dú)角獸的誕生標(biāo)志著人工智能大模型向具備全球能力且適應(yīng)當(dāng)?shù)匚幕姆较蜻~出一步。
日本的AI，晚開的花，日本是世界第三大經(jīng)濟(jì)體，有體量、有錢、有AI發(fā)展空間。Khosla Ventures合伙人Jon Chu表示，如果Sakana AI能成為日本的OpenAI，那么它的價(jià)值雖然不如美國(guó)那個(gè)，但它仍然非常有價(jià)值。
或許可以仿寫一下阿爾特曼的話，“日本”會(huì)誕生有自身特色的大模型。
參考鏈接：
[1] https://twitter.com/deedydas/status/1801690724116926941[2] https://hub.baai.ac.cn/view/37482[3] https://otoro.net/ml/[4] https://huggingface.co/spaces/SakanaAI/EvoSDXL-JP
