7月5日,在2024世界人工智能大會“可信大模型論壇”上,支付寶公布了其AI技術(shù)在醫(yī)療領(lǐng)域布局的最新進展:發(fā)布多模態(tài)醫(yī)療大模型,同時,全新推出包括醫(yī)療可信一體機、可信云等多款數(shù)智化解決方案,F(xiàn)場,支付寶還與人民衛(wèi)生出版社、北京大學醫(yī)學部、浙江省衛(wèi)生健康委等20家機構(gòu),聯(lián)合發(fā)起AI醫(yī)療共建計劃,共同探索AI數(shù)智技術(shù)底座與創(chuàng)新應用服務。
支付寶多模態(tài)醫(yī)療大模型亮相
經(jīng)過半年多測試打磨,支付寶醫(yī)療大模型正式亮相,這也是國內(nèi)首批多模態(tài)醫(yī)療大模型之一。
螞蟻集團大模型應用部總經(jīng)理顧進杰介紹了背后的技術(shù)研發(fā)。螞蟻百靈大模型已具備能“看”會“聽”、能“說”會“畫”的原生多模態(tài)能力,可以直接理解并訓練音頻、視頻、圖、文等多模態(tài)數(shù)據(jù)。支付寶醫(yī)療大模型以此為基座模型,添加了包含報告、影像、藥品等百億級中英文圖文、千億級醫(yī)療文本語料及千萬級高質(zhì)量醫(yī)療知識圖譜,中英文醫(yī)療考試、基準測試達到或超過GPT4水準,醫(yī)療專業(yè)能力在中文醫(yī)療LLM評測榜單promptCBLUE中,位列A榜第一,B榜第二。同時,全棧自研醫(yī)療多模態(tài)結(jié)構(gòu),使得模型識別報告、藥品、毛發(fā)等圖像準確率達90%以上,相關(guān)技術(shù)在行業(yè)頂尖技術(shù)期刊與會議 CVPR、KDD、ECCV等發(fā)表了多項成果。
為了讓回答對話更加可靠,在研發(fā)階段,支付寶還與數(shù)百個專業(yè)醫(yī)學團隊、專家進行合作標注數(shù)據(jù),保障信息權(quán)威可信,同時聯(lián)合上海仁濟醫(yī)院推出首個中文醫(yī)療?茊柎鹜评頂(shù)據(jù)集RJUA-QA。模型測試階段,用戶、患者、醫(yī)生參與問答反饋,在專業(yè)同時,兼顧患者關(guān)懷。
支付寶醫(yī)療大模型發(fā)布現(xiàn)場
目前,該多模態(tài)醫(yī)療大模型不僅提供智能問答、病歷結(jié)構(gòu)化和檢索、輔助診斷,還可識別解讀藥品及上百種復雜的醫(yī)學報告,進行毛發(fā)健康檢測等,這些都能嵌入醫(yī)院等機構(gòu)醫(yī)療環(huán)節(jié)全流程,創(chuàng)新醫(yī)療服務的同時,也助力提升機構(gòu)運營效率。
顧進杰表示,AI的深度應用,不僅對數(shù)據(jù)、算法、算力提出了更高要求,也對可靠、安全、隱私提出更多挑戰(zhàn),醫(yī)療場景下,保障技術(shù)可靠與數(shù)據(jù)隱私安全,至關(guān)重要。為此,支付寶面向行業(yè)推出全新的“醫(yī)療可信一體機+可信云”的解決方案,通過密態(tài)計算與存儲,讓醫(yī)療數(shù)據(jù)可用不可見,機構(gòu)保管更安全。
據(jù)介紹,百靈醫(yī)療可信一體機,核心解決醫(yī)院面臨的算力不足痛點,可實現(xiàn)開箱即用,訓推一體,支持國產(chǎn)算力,軟硬件協(xié)同優(yōu)化加速。醫(yī)療大模型可信云方案,通過公有云與專有云部署密態(tài)推理,聚焦解決數(shù)據(jù)隱私安全和商業(yè)機密保護問題。
AI醫(yī)療創(chuàng)新應用“聯(lián)盟”來了
從去年以來,支付寶就加速了AI技術(shù)在醫(yī)療領(lǐng)域的開放與布局。去年11月,浙江衛(wèi)健委應用支付寶開放的“AI就醫(yī)助理”解決方案,依托大模型、數(shù)字人技術(shù),打造了全國首個數(shù)字健康人“安診兒”,給浙江居民提供云陪診、健康咨詢等服務,上線以來,服務了1000多家醫(yī)療機構(gòu)。上海市第一人民醫(yī)院,應用AI大模型,不僅上線了上海首個可語音交互的“數(shù)字陪診師”,還在業(yè)內(nèi)首創(chuàng)了生成式電子病歷,將繁雜的文書工作從原本的10分鐘縮減到了15秒。
醫(yī)療技術(shù)的創(chuàng)新,需要依托平臺、產(chǎn)業(yè)、學界共同努力。大會現(xiàn)場,支付寶、人民衛(wèi)生出版社、北京大學醫(yī)學部、浙江省衛(wèi)生健康委、廈門市衛(wèi)生健康委員會、浙江省人民醫(yī)院、上海交通大學醫(yī)學院附屬仁濟醫(yī)院、北京大學人民醫(yī)院、復旦大學附屬腫瘤醫(yī)院、上海市第一人民醫(yī)院、首都醫(yī)科大學附屬醫(yī)院等20多家機構(gòu)、企業(yè),聯(lián)合發(fā)起了AI醫(yī)療共建計劃,共同探索大模型應用及各類專科模型創(chuàng)新研發(fā)。
支付寶AI醫(yī)療共建計劃啟動現(xiàn)場
支付寶副總裁、數(shù)字醫(yī)療健康事業(yè)部總經(jīng)理張俊杰表示:“支付寶希望用最頂尖的技術(shù)做最普惠的服務,讓AI像‘掃碼支付’一樣便利每個人的生活。支付寶也會持續(xù)開放AI技術(shù)與行業(yè)解決方案,攜手合作伙伴一起,推動智能醫(yī)療走向普惠、普及!
據(jù)了解,2014年支付寶支持全國第一筆遠程掛號繳費,經(jīng)過十年發(fā)展,平臺已服務超6億看病就醫(yī)人群,是國內(nèi)規(guī)模最大的醫(yī)保第三方在線服務平臺、一站式的醫(yī)療健康服務平臺。目前,全國300多個城市、超3600家醫(yī)院在支付寶上提供一站式數(shù)字醫(yī)療服務。