劃重點
01OpenAI發(fā)布了實時API，旨在構(gòu)建基于GPT-4o的語音到語音的AI應(yīng)用和智能體。
02GPT-4o降低了語音延遲，平均響應(yīng)時間達到320毫秒，使AI與人的對話更接近真實對話。
03為此，OpenAI公布了三家語音API合作者：LiveKit、Twilio和Agora。
04其中，Agora聚焦美國和國際市場，聲網(wǎng)則在中國市場中提供實時音視頻能力。
05第十屆RTE大會將探討AI與實時互動的碰撞，展示最銳利最先鋒的技術(shù)和產(chǎn)品浪潮。
以上內(nèi)容由騰訊混元大模型生成，僅供參考
10 月 2 日，OpenAI 發(fā)布了實時 API 公開測試版，用于構(gòu)建基于 GPT-4o 語音到語音的 AI 應(yīng)用和智能體。這是 GPT-4o 發(fā)布之后，OpenAI 在實時語音交互能力上的最新進展。
GPT-4o 所展現(xiàn)出的實時語音交互能力讓外界印象深刻。而這很大程度上歸功于 GPT-4o 大幅降低的語音延遲，平均 320 毫秒的反應(yīng)時間，讓 AI 與人的對話第一次接近了人類真實對話間的反應(yīng)速率。同時其語氣和情感模擬，也更加深 AI 與人類溝通之間的沉浸感。
而國慶假期間，OpenAI 發(fā)布的實時 API 公開測試版，則瞄準(zhǔn)了 GPT-4o 語音到語音的 AI 應(yīng)用和智能體，這像是給所以 AI 應(yīng)用開發(fā)者的一個信號，大模型發(fā)展近兩年后，基于聲音的實時對話式 AI 場景或許會開始變的矚目起來。
OpenAI 這次也公布了三家語音 API 合作者的身份：LiveKit、Twilio，以及 Agora。值得一提的是，前幾年曾經(jīng)爆火的 ClubHouse，背后的技術(shù)提供方就是 Agora，其兄弟公司聲網(wǎng)則在國內(nèi)更為人所知。Agora 聚焦美國和國際市場，聲網(wǎng)則已經(jīng)儼然是中國市場中 RTC（實時音視頻，Real-time Communications）能力最頭部且主要的提供者。
而當(dāng)下實時對話式 AI 這場還未完全起勢的浪潮背后，發(fā)展多年的 RTC 技術(shù)作為一項基礎(chǔ)能力，已經(jīng)逐漸靠近實時多模態(tài)大模型發(fā)展浪潮的核心。
01 RTC 是實時多模態(tài)大模型的必由之路
無可置疑的，大模型能力的提升直接促進了端到端實時多模態(tài)大模型的崛起。
此前，實時對話中的語音處理是基于傳統(tǒng)的三步驟語音識別、語音轉(zhuǎn)文字、文字轉(zhuǎn)語音（STT-LLM-TTS）方法來進行的�，F(xiàn)在得益于大模型自身能力的進化，端到端實時多模態(tài)模型能夠直接處理語音，這與傳統(tǒng)的三步驟處理方法相比，響應(yīng)速度要提升很多，這也是為什么實時對話式 AI 的前景開始備受期待。
語音處理這個技術(shù)難題被攻下后，大模型領(lǐng)域的頭部玩家們已經(jīng)開始用腳投票了。
今年 6 月，Character AI 推出新的語音功能，用戶可以與 AI 角色進行語音對話。這家人工智能聊天機器人初創(chuàng)公司表示，新的通話功能在推出初期就吸引了來自 300 多萬用戶的 2000 多萬次通話。
Character AI 推出新語音功能幾天后，微軟 AI 負責(zé)人 Mustafa Suleyman 透露微軟將在今年年底為用戶拿出實時的語音界面，允許完全動態(tài)的交互。
而在國內(nèi)的大模型領(lǐng)域，智譜 AI 8 月末在智譜清言中上線了國內(nèi)首個面向 C 端的視頻通話功能，該功能讓用戶能夠通過應(yīng)用程序進行語音和視頻互動，整個體驗類似于與真人對話。用戶不僅可以使用手機的前置或后置攝像頭進行視頻通話，還能進行語音交互。這項功能特別適合在日常生活中的各種場景應(yīng)用，比如協(xié)助學(xué)習(xí)、辨識物品等。
而在智譜清言新功能上線同日，科大訊飛星火極速超擬人交互技術(shù)也正式上線訊飛星火 APP，星火極速超擬人交互在響應(yīng)和打斷速度、情緒感知情感共鳴、語音可控表達、人設(shè)扮演四個方面實現(xiàn)重大突破，讓整體交互體驗更自然、更具情感。
電影《Her》中的場景，似乎真的要成真了。但 GPT-4o 進一步打開實時對話式 AI 的想象力所給人帶來的啟示，或許是我們?nèi)匀坏凸懒恕笇崟r」在交互體驗上的重要性。
實時對話式 AI 中，「實時」與「AI」一樣重要，甚至作為一場與 AI 的對話體驗中最決定性的變量，「實時」實際上的重要性要更勝后者。但要把「實時」拉到極限，端到端實時多模態(tài)模型的崛起只是近來取得技術(shù)突破的一條明線它從思考速度上縮短了語音的交互時間。而另一條更綿長的發(fā)展暗線則是 RTC（實時音視頻，Real-Time Communications）技術(shù)的持續(xù)進步。
更詳細的拆解一下多模態(tài)大模型中實時語音交互的核心路徑，大概就能辨析 RTC 技術(shù)在其中的重要意義：
首先，語音輸入經(jīng)過 RTC 傳輸?shù)椒⻊?wù)器，服務(wù)器端的多模態(tài)大模型接收到語音后開始預(yù)處理，這里的預(yù)處理主要包含了音頻的 3A，例如語音的降噪、增益控制、回聲消除等操作，使得后續(xù)的語音識別更加準(zhǔn)確，讓大模型更能聽懂用戶說的話；
隨后，預(yù)處理的語音數(shù)據(jù)送入模型進行語音識別和理解，系統(tǒng)再通過模型生成回應(yīng)，這其中還需要通過語音合成技術(shù)轉(zhuǎn)換為語音信號；
最后，語音數(shù)據(jù)通過 RTC 傳輸?shù)接脩舳�，完成一次完整的語音交互。
聲網(wǎng)在實踐中發(fā)現(xiàn)，傳統(tǒng)的 AI 語音對話（STT-LLM-TTS）在應(yīng)用 RTC 后，響應(yīng)延時可從 4-5 秒降低到 1-2 秒，而在具備端到端實時多模態(tài)處理能力后，通過 RTC 技術(shù)，大模型實時語音對話的延時可降到幾百毫秒內(nèi)。從體驗上看，RTC 技術(shù)的應(yīng)用讓對話式大模型的交互更智能，更具真實感。
在 GPT-4o 的發(fā)布會上，有一個細節(jié)引人注意：用于演示的手機連接了一根網(wǎng)線。工程師 Mark 解釋說，這樣做是為了確保網(wǎng)絡(luò)的穩(wěn)定性。這也揭示了一個事實，即 GPT-4o 的演示是在固定設(shè)備、固定網(wǎng)絡(luò)和固定物理環(huán)境中進行的，以保證低延遲。
然而在實際應(yīng)用中，用戶的設(shè)備通常不能始終連接網(wǎng)線，最終無論多強的模型能力，都需要依靠 RTC 技術(shù)來真正落到實時對話的場景中。而這其中多模態(tài)大模型在與 RTC 技術(shù)結(jié)合時如何保障低延時、流暢的語音交互體驗，變得尤為關(guān)鍵。
一句話來說，RTC 是將多模態(tài)大模型與實時互動場景連接起來最關(guān)鍵的技術(shù)橋梁。
而隨著 RTC 從最初的一種前沿技術(shù)在近年逐漸變成一項基礎(chǔ)設(shè)施級別的能力并迅速在各個場景中延伸，加入了場景視角的 RTE（實時互動，Real time engagement）概念開始取代 RTC，成為當(dāng)下談?wù)搶崟r互動能力新的技術(shù)名詞。
以聲網(wǎng)創(chuàng)始人兼 CEO 趙斌對 RTE 的概念表述：
「RTC（實時音視頻）從 Communication 的視角，更多是在強調(diào)對語義信息進行高質(zhì)量和高效率的傳遞。而 RTE（實時互動）更聚焦用戶所需要的共享時空，即俗話所說的場景�！箯� RTC 到 RTE，就是從基礎(chǔ)能力向場景化能力的進化。
在這個端到端實時多模態(tài)模型產(chǎn)品化勢頭初現(xiàn)的時期，聲網(wǎng)和 RTE 開發(fā)者社區(qū)聯(lián)合發(fā)起了第十屆 RTE 大會。實時互動與 AI 的結(jié)合在當(dāng)下所能承載的所有想象力，都會在這場大會中現(xiàn)身。
02 AI 濃度拉滿，第十屆 RTE 大會亮點前瞻
首先，不用懷疑的是，這場 RTE 大會上會有非常多足夠有分量的觀點交鋒。
國內(nèi)大模型領(lǐng)域在 ToB 方向上走的最深的智譜 AI，以及國內(nèi)大模型領(lǐng)域在 C 端產(chǎn)品化上最有心得的 MiniMax 將會出現(xiàn)在 RTE 大會上。作為這兩年隨大模型迅速成長的創(chuàng)業(yè)公司，智譜 AI 和 MiniMax 在 RTE 技術(shù)在大模型的 ToB 和 ToC 兩條路線上發(fā)展頗有心得。
而隨著大模型開源生態(tài)的迅速發(fā)展，大量個人開發(fā)者從去年開始加入了這一股大模型浪潮，實時對話式 AI 開始成為一個備受開發(fā)者關(guān)注的產(chǎn)品賽道，通義千問也會帶著國內(nèi)最大開發(fā)者生態(tài)的經(jīng)驗在 RTE 大會中加入討論。
除此之外，此次 RTE 大會也不乏業(yè)內(nèi)備受矚目的創(chuàng)業(yè)者身影。全球最受矚目的 AI 科學(xué)家之一，一年前從阿里巴巴離職躬身入局大模型的賈揚清也會出現(xiàn)在此次 RTE 大會的主論壇上，來分享他在 AI 基礎(chǔ)設(shè)施領(lǐng)域創(chuàng)業(yè) 18 個月后的經(jīng)驗心得，以及他對 RTE 與 AI 結(jié)合的未來趨勢的判斷。
本次 RTE 大會也將通過七場行業(yè)分論壇的形式，展現(xiàn)一幅最具想象力的 AIGC+RTE 行業(yè)場景應(yīng)用圖景，包括 AI+IoT、教育、泛娛樂、出海、數(shù)字化轉(zhuǎn)型等七大行業(yè)。50+行業(yè)大咖將會現(xiàn)身行業(yè)分論壇現(xiàn)場，帶來一線的場景實戰(zhàn)案例以及極具深度的行業(yè)洞察。
場景是技術(shù)迭代所結(jié)的果實，未來對于新場景的想象力也醞釀在當(dāng)下技術(shù)的前沿趨勢中。本次 RTE 大會也在行業(yè)場景應(yīng)用的討論之外，設(shè)置了五場技術(shù)專場，分別聚焦在音頻技術(shù)和 Voice AI、視頻技術(shù)和 AI 生成、RTC+大模型、空間計算和新硬件、云架構(gòu)和 AI 時代的 Infra 這五個技術(shù)方向，30+的技術(shù)大咖和專家學(xué)者將會帶來自己對所在領(lǐng)域最深入的技術(shù)見地。
當(dāng)然，對于參與到 RTE 大會中的開發(fā)者們來說，這里提供的不僅僅是觀點和見地。每年 RTE 大會都會為參會開發(fā)者設(shè)置專屬活動，在今年的 Workshop 中提供了用 TEN 開源框架來現(xiàn)場動手搭建擁有音視頻理解能力的 AI Agent 的機會，這將為開發(fā)者帶來更多 AI 實時互動場景創(chuàng)新靈感。
2024 年，實時對話式 AI 火熱，而 RTE 大會也迎來了十周年。
時間倒回到十年前，2015 年移動互聯(lián)網(wǎng)那時在國內(nèi)還未完全成熟，RTE 大會在十年里見證了直播、在線教育、遠程辦公這些新的技術(shù)場景景一次次以新物種的面目亮相并最終融入了大眾生活。在這個過程中, 實時互動技術(shù)逐漸成為人們在社交和泛娛樂產(chǎn)品中的基礎(chǔ)設(shè)施。而隨著實時互動行業(yè)的發(fā)展，走過十年的 RTE 大會已經(jīng)變得越來越重要，它已經(jīng)是當(dāng)下這個領(lǐng)域在全球范圍內(nèi)規(guī)模最大、議題最全, 最具影響力的行業(yè)大會。
現(xiàn)在，AI 與實時互動的碰撞正涌現(xiàn)出新的技術(shù)和產(chǎn)品浪潮。而無論從前沿技術(shù)的探討深度，還是多場景創(chuàng)新應(yīng)用的豐富性上，今年的第十屆 RTE 大會都像極了這樣一掣風(fēng)口浪尖」上的實時互動領(lǐng)域盛會。
這場大會將會展現(xiàn)出這場變革至今為止最銳利最先鋒的一面。已經(jīng)身處這場變革中的開發(fā)者們，或者對實時互動即將出現(xiàn)的顛覆性變化感到興奮的所有人來說，請及時到常
*頭圖來源：視覺中國
