人類通過“五感”,即視覺、聽覺、觸覺、嗅覺和味覺,來感知周圍的世界,并基于此與外界進行信息交互。
在這些感官中,觸覺扮演著傳遞信息和情感的重要角色,它能夠使人們感知力覺、滑覺、溫濕度、柔軟度、紋理等多種信息。
觸覺技術(shù)有望在多個領(lǐng)域應(yīng)用,例如元宇宙、機器人、可穿戴設(shè)備、沉浸式游戲、模擬手術(shù)、教育培訓(xùn)、遠(yuǎn)程操作等。這也意味著,觸覺反饋設(shè)備(例如觸覺手套、觸覺可穿戴設(shè)備、觸覺外骨骼等)在市場具有良好的發(fā)展前景。
國際技術(shù)研究和市場咨詢公司 IDTechEx 在《觸覺 2025-2035:技術(shù)、市場、參與者》報告中預(yù)測,到 2035 年,觸覺技術(shù)市場規(guī)模將達(dá)到 71 億美元,2024 年至 2035 年的復(fù)合年增長率為 4.4%[1]。
圖丨全球觸覺技術(shù)市場(來源:IDTechEx)
實際上,盡管計算平臺經(jīng)過了 30 多年的發(fā)展,交互方式的演變主要還集中在視覺和聽覺信息上,觸覺反饋技術(shù)的應(yīng)用仍然處于起步階段。
不過,近年來,全球的科研團隊已經(jīng)開始積極地探索觸覺反饋技術(shù)領(lǐng)域。例如,北京航空航天大學(xué)王黨校教授團隊在 npj Flex Electron 中,提出了一種“主動電子皮膚”(AE-Skin,Active Electronic Skin)的概念 [2]。
該技術(shù)的核心在于模擬人類皮膚的感覺能力,通過在物理表面上部署這種“皮膚”,可以實現(xiàn)動態(tài)多模式的觸覺顯示和觸覺傳感。
研究人員根據(jù)不同的互動場景需求,選擇合適的觸覺模態(tài)和傳感信號,并采用相應(yīng)的材料和制造方法來制備相應(yīng)的執(zhí)行器或傳感器。這些技術(shù)的結(jié)合使用,為用戶提供了沉浸式的互動體驗。
圖丨AE-Skin 的潛在應(yīng)用場景(來源:npj Flex Electron)
根據(jù)論文,在實際應(yīng)用中,AE-Skin 技術(shù)在物理世界和數(shù)字世界展現(xiàn)出巨大的潛力。例如,在智能家居環(huán)境中,通過在墻面上部署 AE-Skin,可以模擬出不同的材質(zhì)紋理,如硅藻土、石材和陶瓷,為用戶提供豐富的觸覺體驗。
在智能汽車中,集成了 AE-Skin 的方向盤能夠監(jiān)測駕駛員的生理和行為參數(shù),如握持壓力和握持位置,在駕駛疲勞或不合規(guī)駕駛時發(fā)出振動警告。
在智能博物館中,AE-Skin 能夠通過動態(tài)圖案和溫度反饋增強展品的生動性和真實性,為參觀者提供沉浸式的互動體驗。
研究人員對 AE-Skin 提出了四個潛在的發(fā)展方向,包括:
首先,計劃深入研究皮膚交互的力學(xué)原理、感知生理學(xué)以及觸幻覺效應(yīng)等基礎(chǔ)理論,這將為 AE-Skin 的設(shè)計和性能評估提供堅實的理論支撐。
其次,致力于研究觸覺呈現(xiàn)系統(tǒng)的能源供應(yīng)和低能耗技術(shù),同時探索如何將多種觸覺模態(tài)融合,以實現(xiàn)更精準(zhǔn)的空間、時間和語義配準(zhǔn),從而提升交互體驗的沉浸感和真實性。
再次,探索驅(qū)動器和傳感器的空間配準(zhǔn)方法,以及功能適配和數(shù)據(jù)傳輸與處理技術(shù),旨在構(gòu)建一個高度集成的驅(qū)動感知一體化交互系統(tǒng)。
最后,探究視觸覺融合呈現(xiàn)技術(shù),以實現(xiàn) AE-Skin 觸覺信息與虛擬場景或電子屏幕等視覺信息之間的時空一致性配準(zhǔn),這將進一步增強用戶體驗的自然性和無縫性。
通過這些方向的研究,AE-Skin 技術(shù)有望在未來實現(xiàn)更豐富和更高效的交互體驗。
(來源:npj Flex Electron)
DeepTech 發(fā)現(xiàn),觸覺技術(shù)正在向?qū)W科交叉和更多技術(shù)融合方向發(fā)展。
例如,西湖大學(xué)學(xué)院姜漢卿教授課題組與美國西北學(xué)約翰羅杰斯(John Rogers)教授等課題組合作,在 Nature 上報道了一種新型的多模態(tài)觸覺模擬方法及智能穿戴裝置 [3]。
該研究展示了一種新型的生物彈性觸覺模擬換能器,通過皮膚機械能量的儲存與恢復(fù),實現(xiàn)了高效的多模態(tài)觸覺模擬及反饋,為生物醫(yī)學(xué)和多模態(tài)觸覺模擬反饋技術(shù)提供了新的視角。
另一方面,AI 在觸覺技術(shù)中也發(fā)揮著重要的作用。上海交通大學(xué)劉景全教授、盧策吾教授團隊在 Nature Communications 報告了一種基于機器學(xué)習(xí)、用于操作的視覺-觸覺記錄和跟蹤系統(tǒng) ViTaM[4]。
這個系統(tǒng)配備了擁有 1152 個力敏通道的可伸縮觸覺手套,以及視覺與觸覺相結(jié)合的學(xué)習(xí)框架,能夠?qū)Σ僮鬟^程中手與物體的互動動態(tài)進行評估。
他們開發(fā)了一種主動抑制技術(shù),該技術(shù)基于對稱響應(yīng)檢測和自適應(yīng)校準(zhǔn),成功達(dá)到了 97.6% 的測力準(zhǔn)確度。
研究人員對包括可變形和剛體在內(nèi)的 6 類 24 個物體進了實驗,所有序列的平均重建誤差僅為 1.8cm,證明了在操縱具有不同程度可變形性的物體時,復(fù)制類知識的普遍能。
圖丨ViTaM 系統(tǒng)概述(來源:Nature Communications)
觸覺技術(shù)在更廣泛的應(yīng)用方面,青島大學(xué)田明偉教授團隊受海星管足啟發(fā),開發(fā)了一種能夠識別手勢的手套,其中包含雙層微柱互鎖結(jié)構(gòu)柔性觸覺傳感器 [5]。
這種觸覺手套在實現(xiàn)高靈敏度(0.04kPa-1)、寬檢測范圍(5kPa-450kPa)、快速響應(yīng)時間(23ms)和出色耐久性(~10000 次)的同時,還兼具防性能。
通過與機器學(xué)習(xí)算法的結(jié)合,成功地實現(xiàn)了智能識別 16 種下常用手勢,大幅度擴展了潛水員的有效通信能力,并在水下通信領(lǐng)域表現(xiàn)出應(yīng)用潛力。
(來源:ACS Nano)
在推動觸覺產(chǎn)品落地方面,新加坡國立大學(xué)林水德(Lim Chwee Teck)教授課題組開發(fā)了一款便攜式、高度靈活的觸覺手套 HaptGlove[6]。
不僅能夠通過 AI 捕捉用戶數(shù)據(jù),還為醫(yī)療提供者和患者在元宇宙中的互動提供了實時的觸覺反饋。
與市面上其他類似產(chǎn)品相,他們所研發(fā)的觸覺手套更輕便,僅重 250 克。
HaptGlove 使用該課題組所開發(fā)的專有軟件,可將視覺觸、覺延遲在 20 毫秒以內(nèi),進而提供近乎實時的用戶體驗。并且,基于此精準(zhǔn)捕捉手指運動,提供物體的硬度、形狀、大小等觸覺反饋。
HaptGlove 的應(yīng)用場景包括游戲、醫(yī)療和教育領(lǐng)域等,例如通過模擬超現(xiàn)實環(huán)境幫助外科醫(yī)生更好地準(zhǔn)備手術(shù),或通過模擬不同身體部位的觸診為學(xué)生提供實踐學(xué)習(xí)體驗。
圖丨用戶使用 HaptGlove(來源:新加坡國立大學(xué))
此外,美國麻省理工學(xué)院計算機科學(xué)與人工智能實驗室開發(fā)了一種多功能智能手套,集成了觸覺傳感器和振動觸覺單元 [7]。通過先進的數(shù)字機繡技術(shù),這些傳感器和執(zhí)器被精確地嵌到織物中,實現(xiàn)了可定制的空間分辨率和布局。
手套基于機器學(xué)習(xí)框架,采用成本低廉的商業(yè)材料,在能夠快速制成的同時,還保持了紡織品的柔軟性、形狀穩(wěn)定性和適應(yīng)性。
(來源:Nature Communications)
總體來說,觸覺技術(shù)的發(fā)展正推動著人機交互向全新的維度發(fā)展。從智能家居到元宇宙,從醫(yī)療模擬到水下通信,觸覺技術(shù)的應(yīng)用前景廣闊,它不僅增強了人們的感官體驗,也有望為特定行業(yè)提供革命性的解決方案。
參考資料:
1.https://www.idtechex.com/en/research-article/haptics-technology-market-to-grow-to-us-7-1b-by-2035/31731
2.Guo, Y., Wang, Y., Tong, Q. et al. Active electronic skin: an interface towards ambient haptic feedback on physical surfaces. npj Flex Electron 8, 25 (2024). https://doi.org/10.1038/s41528-024-00311-5
3.Flavin, M.T., Ha, KH., Guo, Z. et al. Bioelastic state recovery for haptic sensory substitution. Nature635, 345352 (2024). https://doi.org/10.1038/s41586-024-08155-9
4.Jiang, C., Xu, W., Li, Y. et al. Capturing forceful interaction with deformable objects using a deep learning-powered stretchable tactile array. Nature Communications 15, 9513 (2024). https://doi.org/10.1038/s41467-024-53654-y
5.Liu,J. et al.Underwater Gesture Recognition Meta-Gloves for Marine Immersive Communication. ACS Nano 18, 16, 1081810828(2024). https://doi.org/10.1021/acsnano.3c13221
6.https://news.nus.edu.sg/novel-vr-glove-levels-up-user-experience-in-the-metaverse-with-a-more-realistic-sense-of-touch/
7.Luo, Y., Liu, C., Lee, Y.J. et al. Adaptive tactile interaction transfer via digitally embroidered smart gloves. Nature Communications 15, 868 (2024). https://doi.org/10.1038/s41467-024-45059-8
運營/排版:何晨龍