10月24日,相芯科技在RTE2020上正式發(fā)布新一代AR視頻特效SDK。相芯科技致力于打造XR內(nèi)容的創(chuàng)作和互動(dòng)平臺(tái),此次發(fā)布的新一代AR視頻特效SDK開(kāi)放20余項(xiàng)AR視頻特效能力全面賦能開(kāi)發(fā)者,并依靠這些基礎(chǔ)能力和相互疊加的組合玩法形成一套完整的AR視頻解決方案。涵蓋人臉、人體技術(shù)應(yīng)用方向的全面能力矩陣、整合相芯科技AI+AR的多種能力、更加易用的平臺(tái)工具和完善的售前售后服務(wù)體系,為開(kāi)發(fā)者與行業(yè)合作伙伴提供了高效、低成本的內(nèi)容制作服務(wù),助力合作伙伴實(shí)現(xiàn)業(yè)務(wù)創(chuàng)新并創(chuàng)造巨大的用戶價(jià)值。
AR特效能力覆蓋廣
激發(fā)內(nèi)容創(chuàng)作新玩法
在移動(dòng)互聯(lián)網(wǎng)快速更迭中成長(zhǎng)起來(lái)的年輕用戶來(lái)說(shuō),用視頻創(chuàng)作與交流已經(jīng)是一種生活常態(tài),隨著5G的逐步商用化,基于超高清、低時(shí)延、高互動(dòng)的沉浸式視頻業(yè)務(wù)場(chǎng)景不斷產(chǎn)生和演化,將成為視頻行業(yè)的主力軍。AR視頻特效已經(jīng)成為了視頻創(chuàng)作過(guò)程中體現(xiàn)個(gè)性化的不可缺少的工具之一。
相芯科技自2016年開(kāi)始就不斷為開(kāi)發(fā)者更新迭代AR視頻特效解決方案,到如今已經(jīng)形成一套玩法豐富、性能優(yōu)異的成熟產(chǎn)品線。相芯科技的AR視頻特效SDK提供豐富的特效玩法,如美顏美型、人像濾鏡、美妝美發(fā)、美體瘦身、AR道具貼紙、綠幕摳像、表情和手勢(shì)交互、背景分割、搞笑大頭、虛擬形象面部驅(qū)動(dòng)、虛擬形象全身驅(qū)動(dòng)等,覆蓋行業(yè)的主流AR特效。極大地提高了人像拍攝的美感與藝術(shù)感,提升了視頻拍攝的互動(dòng)感和趣味性。
AI讓你更美
底層算法優(yōu)化帶來(lái)性能大升級(jí)
新一代AR視頻特效SDK,是基于實(shí)時(shí)人臉跟蹤、人體跟蹤、人像分割、手勢(shì)識(shí)別等深度學(xué)習(xí)技術(shù)打造的AR視頻特效解決方案,提供了行業(yè)內(nèi)非常全面的AR特效能力。
其中算法能力包括人臉關(guān)鍵點(diǎn)、人臉表情動(dòng)作檢測(cè)、3D人臉模型重建、2D人體關(guān)鍵點(diǎn)、3D人體骨骼、人像分割、頭部分割、頭發(fā)分割、手勢(shì)識(shí)別等。在人臉特效方面,相芯提供多達(dá)241個(gè)五官稠密點(diǎn),尤其是對(duì)于嘴部和眼部這兩個(gè)最"出戲"的部位,相芯提供了更加精準(zhǔn)的點(diǎn)位,以保障應(yīng)用層可實(shí)現(xiàn)更多的玩法。同時(shí)我們提供56個(gè)人臉表情系數(shù)以及25點(diǎn)全身人體關(guān)鍵點(diǎn),能夠?qū)崿F(xiàn)虛擬形象從面部到全身的實(shí)時(shí)驅(qū)動(dòng),效果靈活逼真有趣。此外,人像分割、頭部分割、頭發(fā)分割等技術(shù)能精確地進(jìn)行輪廓實(shí)時(shí)識(shí)別,且邊緣清晰;15種人體動(dòng)作識(shí)別以及14種手勢(shì)識(shí)別,帶來(lái)更多實(shí)時(shí)交互方式,極大地?cái)U(kuò)大了用戶創(chuàng)作空間。
在性能上,此次新版的AR視頻特效SDK,對(duì)底層算法進(jìn)行全面優(yōu)化,性能顯著升級(jí)SDK穩(wěn)定性更好。美顏性能升級(jí),美顏功能集成到第三方后,即使使用4年前的低配機(jī)型,在長(zhǎng)時(shí)間運(yùn)行的情況下,能夠依然保證流暢;優(yōu)化手勢(shì)識(shí)別性能,Android端的CPU占有率下降了30%以上,iOS端下降50%以上;優(yōu)化SDK包增量,其中人臉特效版SDK的iOS包增量約3.2M,Android約4.4M;同時(shí)PC端的底層性能也進(jìn)一步優(yōu)化,多項(xiàng)功能性能提升,比如美顏美妝性能提升10%,美體、綠幕摳像性能提升30%。
相芯科技對(duì)SDK整體性能進(jìn)行大幅度優(yōu)化,好看的不僅僅是數(shù)據(jù),這背后意味著開(kāi)發(fā)者在使用SDK時(shí)能夠觸及更多用戶群體,滿足更廣泛的用戶使用場(chǎng)景。
專業(yè)技術(shù)服務(wù)+創(chuàng)意工具
打造完備的售前售后服務(wù)
相芯科技的SDK支持iOS、Android、PC、Mac、 Unity等主流平臺(tái),能靈活適用于各類業(yè)務(wù)場(chǎng)景,相芯還提供行業(yè)內(nèi)數(shù)十家音視頻廠商集成示例,對(duì)接上手快且成功率高。同時(shí)相芯科技擁有一支專業(yè)的技術(shù)支持團(tuán)隊(duì),提供全天候的服務(wù),快速響應(yīng),輔助對(duì)接,完善的售前售后服務(wù)在行業(yè)內(nèi)有口皆碑。
此外,針對(duì)不同需求的視頻制作者,相芯科技開(kāi)放FU Creator編輯器,讓具有創(chuàng)意即使能力的平臺(tái)開(kāi)發(fā)者可以應(yīng)用工具進(jìn)行AR特效的定制化生產(chǎn)、打包、實(shí)時(shí)調(diào)試,輕松創(chuàng)作自己特有的AR特效。FU Creator支持2D/3D貼紙、Animoji、AR面具、美妝、背景分割等十余種特效的自定義,同時(shí)可使用微笑、眨眼、比心、點(diǎn)贊等15種表情和15種手勢(shì)來(lái)設(shè)置特效觸發(fā)方式,設(shè)置個(gè)性化的特效故事線,確保開(kāi)發(fā)者可以自主高效地進(jìn)行能力和玩法擴(kuò)展。
豐富業(yè)務(wù)場(chǎng)景,助力行業(yè)前行
相芯科技是全球智能圖形領(lǐng)域的創(chuàng)新追求者。我們深耕于計(jì)算機(jī)圖形和人工智能核心技術(shù)的融合與創(chuàng)新,為客戶提供XR內(nèi)容生產(chǎn)與互動(dòng)的解決方案。目前,相芯科技的AR視頻特效SDK已服務(wù)于上千家B端客戶,廣泛應(yīng)用于智能手機(jī)、直播短視頻、虛擬社交、在線教育、新零售等眾多場(chǎng)景。
AR視頻特效作為XR領(lǐng)域的內(nèi)容創(chuàng)作形式之一,正在得到全民化的普及。憑借高超的全棧圖形技術(shù),并依托與浙江大學(xué)合作成立的"浙江大學(xué)-相芯科技智能圖形計(jì)算聯(lián)合實(shí)驗(yàn)室",相芯科技正加速推動(dòng)智能圖形技術(shù)在XR領(lǐng)域的普及應(yīng)用,打破XR內(nèi)容生產(chǎn)桎梏,重塑XR內(nèi)容互動(dòng)體驗(yàn)。不斷豐富XR內(nèi)容的業(yè)務(wù)場(chǎng)景,助力行業(yè)前行。