首頁資訊 AIR學術(shù)｜韓騰：新型感知與反饋自然交互技術(shù)

AIR學術(shù)｜韓騰：新型感知與反饋自然交互技術(shù)

來源：泰然健康網(wǎng) 時間：2024年12月07日 06:37

未來可能是VR/AR的世界，人機交互將從平面走向空間，鼠標鍵盤將會失去作用，大量的人機交互系統(tǒng)需要重新設計。

——韓騰

活動概況

11月4日傍晚，AIR DISCOVER青年科學家論壇第四期在清華清華大學智能產(chǎn)業(yè)研究院（AIR）如期舉行。本期活動榮幸地邀請到了韓騰博士做題為《新型感知與反饋自然交互技術(shù)》的報告。

講者簡介

韓騰，博士，中科院軟件所副研究員，碩士生導師。師從英國皇家工程院新型技術(shù)主席Sriram Subramanian及加拿大普適分析研究主席Pourang Irani。曾在美國達特茅斯學院、臺灣大學、加拿大Autodesk研究院、日本本田研究院、微軟亞洲研究院、聯(lián)想研究院進行過學術(shù)訪問。其主要研究方向為人機交互、情景感知、觸覺交互和混合現(xiàn)實。發(fā)表CHI、UIST、IMWUT/Ubicomp等人機交互國際頂會論文17篇獲得多項最佳論文相關(guān)獎項。其中，UIST2020最佳論文提名獎為大陸機構(gòu)首次獲獎。

報告內(nèi)容

韓博士在本次報告中梳理了人機交互的發(fā)展歷程，介紹了交互范式和交互技術(shù)，分享了他在觸覺感受機理和柔性致動器領域的研究，暢想了未來觸覺交互的輸入輸出方式及在人機混合增強方向的應用。

人機交互的發(fā)展歷程

人機交互是基于用戶行為和認知能力，設計、評估和實現(xiàn)人類使用的交互式計算系統(tǒng)，為信息科技和消費電子產(chǎn)業(yè)的發(fā)展、創(chuàng)新與革命做出了巨大的貢獻。在移動互聯(lián)網(wǎng)、觸屏交互、虛擬現(xiàn)實、人工智能等眾多領域，人機交互正在成為必不可缺的一部分。

人機交互的發(fā)展史起源于20世紀50年代。早期的通用計算機（UNIVAC）是按鈕式交互。上世紀60年代末，70年代初，Douglas Engelbart 設計發(fā)明了第一只鼠標，從此鍵盤不再是電腦輸入的唯一途徑，計算機使用界面也就此開啟新紀元。同時期，Alan Kay不斷思考如何將龐大的計算機變小，構(gòu)想出筆記本電腦的原型“Dynabook”，為窗口化圖形用戶界面（GUI）的發(fā)展帶來了開創(chuàng)性的影響。接下來，蘋果公司于1984年推出了麥金托什個人電腦，2007年推出第一代iphone。韓博士指出，喬布斯之所以被稱“偉大”，是因為他的人機交互理念對未來產(chǎn)生了深遠的影響。

交互范式

人機交互研究的主要層次之一是交互界面，或稱之為范式，是一種可被重復利用、被用戶熟知、蘊含設計經(jīng)驗的人機交互模式。韓博士通過介紹前人的高瞻遠矚，引導我們思考未來的PC會是什么樣子，從而規(guī)劃和設計下一代的交互范式。

韓博士認為未來可能是VR/AR的世界，人機交互將從平面走向空間。在這樣的未來交互范式中，目前常見的VR系統(tǒng)手柄可能并非空間交互的最有效的工具。在實驗中，韓博士團隊發(fā)現(xiàn)，手腕雖然作為我們控制手柄的主要運動關(guān)節(jié)，卻并不是手部控制最精準的部位。受到筆和筷子的啟發(fā)，韓博士團隊進一步探索了使用筆桿的輸入方式。進行實驗對比后得出，筆桿在靈活度、準確性及舒適性上都是更優(yōu)于手柄的的交互工具。

此篇文章獲得了CHI 2020 最佳論文提名獎。

Li, Nianlong, Teng Han*, Feng Tian, Jin Huang, Minghui Sun, Pourang Irani, and Jason Alexander. “Get a Grip: Evaluating Grip Gestures for VR Input using a Lightweight Pen.” In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, pp. 1-13. 2020. (Honorable Mention Awards)

交互技術(shù)

韓博士接下來介紹了交互技術(shù)的發(fā)展。我們現(xiàn)在所處的正是從移動/穿戴計算時代（NUI）向普世計算時代（Ubiquitous）萬物互聯(lián)過渡的階段。

在移動/穿戴計算時代（NUI），智能手表作為最基礎的可穿戴設備曾掀起交互研究與設計的熱潮。但由于手表的屏幕很小，注定不能將手機的觸摸模式完全復制。韓博士意識到除手表屏幕可作為交互界面外，手表周圍仍有很大的可利用空間，于是便對此開啟了手勢輸入技術(shù)的研究。日常自然的手勢，如響指、拍手等，在交互領域原本是不存在的，但韓博士團隊認為，很多自然手勢都伴隨著不同聲音的產(chǎn)出，具有很好的利用價值。在實驗階段，韓博士團隊設計了一個麥克風矩陣，可以捕捉和分離聲音信號，并判斷聲音方位，從而實現(xiàn)了使智能手表做到聽聲辨位、辨意，利用手勢產(chǎn)生的聲音對手表進行控制的目標。

Teng Han, Khalad Hasan, Keisuke Nakamura, Randy Gomez, and Pourang Irani. “Soundcraft: Enabling spatial interactions on smartwatches using hand generated acoustics.” In Proceedings of the 30th Annual ACM Symposium on User Interface Software and Technology, pp. 579-591. 2017.

近些年智能手表的廣泛使用，使人們普遍意識到，手表只是一個輔助工具，并不能取代手機。近兩年的人機交互研究也越來越側(cè)重于萬物互聯(lián)的普適計算，認為未來的交互一定是圍繞著智能環(huán)境展開，自然地將計算設備融入人們的生活環(huán)境和日常物品，進行場景情境感知與互動。因此，在未來智能環(huán)境下輸入和輸出便成為了人機交互主要面臨的挑戰(zhàn)。

首先是輸入。為解決交互需求、場景和資源的問題，需要做到智能傳感的定制化，即根據(jù)場景進行多模感知系統(tǒng)的重構(gòu)。為應對物理空間信息的復雜、多樣、分布、動態(tài)等特性，韓博士提出，結(jié)合柔性功能材料、結(jié)構(gòu)、工藝的特點，可重構(gòu)情境感知工具。在此基礎上，韓博士深入研究了微流體技術(shù)。

韓博士著重介紹了基于微流重構(gòu)技術(shù)的創(chuàng)新性設計。例如，用傳統(tǒng)方式做出的電子元件中，通常可以通過點陣狀電極用于電感性感知，線圈狀電極用于電容性感知，但功能是不可兼得的。韓博士采用微流重構(gòu)技術(shù)結(jié)合液態(tài)金屬的方式，利用流體機械結(jié)構(gòu)的改變，動態(tài)地實現(xiàn)結(jié)構(gòu)可控，使電極的形狀可以在線圈狀電極和點陣狀電極之間自由切換。

Wei Sun, Yanjun Chen, Simon Zhan, Teng Han*, Feng Tian, Hongan Wang, and Xing-Dong Yang. 2021. RElectrode: A Reconfigurable Electrode For Multi-Purpose Sensing Based on Microfluidics. Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems. Association for Computing Machinery, New York, NY, USA, Article 13, 1–12.

其次是輸出。在人的五感中，觸覺的靈敏程度是非常高的，然而觸覺交互在傳統(tǒng)的人機系統(tǒng)里是被忽略的。在面向未來的人機交互范式，觸覺將成為一個重要的研究領域。

相關(guān)研究表明，人的皮膚并不具備濕度的感受器，而是通過對溫度變化、壓力和摩擦力的復合感受來理解濕度。韓博士為此設計了模擬裝置，模擬不同溫度、摩檫力情況下的物體表面。這個裝置的設計可以讓被試者有逼真的濕度感受。該技術(shù)可以應用到VR領域。

Teng Han, Sirui Wang, Sijia Wang, Xiangmin Fan, Jie Liu, Feng Tian, and Mingming Fan. "Mouillé: Exploring Wetness Illusion on Fingertips to Enhance Immersive Experience in VR." In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, pp. 1-10. 2020.

繼對濕度的研究后，韓博士又聯(lián)想到對痛覺的模擬。雖然痛覺不是令人愉快的感受，但是在VR領域，無傷害的痛覺模擬有很多應用場景。相關(guān)研究表明，辣椒素和受傷所產(chǎn)生的灼燒感是一致的，它們所刺激的是同一類神經(jīng)末梢。然而，在實踐中存在著兩個挑戰(zhàn)：首先，辣椒素的作用有延遲，無法像受傷時一樣立刻感受到疼痛；其次，辣椒素濃度過高時很難快速抹除，易對人體皮膚造成一定的損害。針對這個問題，韓博士團隊在選用低濃度辣椒素溶液的同時，配合溫度控制，當溫度提升時痛感也會提升，解決了痛感定量控制的問題。同時，韓博士使用了微針，微針可以撐開表皮但不傷害真皮，使溶液可以快速下沉到神經(jīng)末梢，解決了感知延遲的問題。

Chutian Jiang, Yanjun Chen, Mingming Fan, Liuping Wang, Luyao Shen, Nianlong Li, Wei Sun, Yu Zhang, Feng Tian, and Teng Han*. 2021. Douleur: Creating Pain Sensation with Chemical timulant to Enhance User Experience in Virtual Reality. Proc. ACM Interact. Mob. Wearable Ubiquitous Technol. 5, 2, Article 66 (June 2021), 26 pages.

在觸覺研究領域，韓博士分享的另一項工作是設計觸覺代理工具。觸覺代理工具是一種讓使用者可以在虛擬環(huán)境下體會到真實物理反饋的交互工具。為了統(tǒng)一多樣化的工具，韓博士團隊進行了建模，從手部的運動軌跡和作業(yè)時感受到的力兩個維度進行設計：用鏈桿結(jié)構(gòu)仿造了真實的運動模式；通過關(guān)節(jié)結(jié)構(gòu)的設計，模擬了力的反饋。

這篇文章獲得了UIST 2020 最佳論文提名獎，是大陸機構(gòu)首次獲獎。

Li, Nianlong, Han-Jong Kim, Luyao Shen, Feng Tian, Teng Han*, Xing-Dong Yang, and Tek-Jin Nam. “HapLinkage: Prototyping Haptic Proxies for Virtual Hand Tools Using Linkage Mechanism.” In Proceedings of the 32th Annual ACM Symposium on User Interface Software and Technology. 2020. (Honorable Mention Awards)

在做了很多觸覺技術(shù)的研究后，韓博士發(fā)現(xiàn)能夠落地的技術(shù)很少，其主要原因是裝置形態(tài)不夠輕薄。為此，韓博士團隊設計了一個可固定在指尖的薄片。薄片內(nèi)置一個流體管道和小球；控制流體的沖擊，利用小球震蕩的位置、頻率和振幅，讓手指感受到特定的震動信息。

Teng Han, Shubhi Bansal, Xiaochen Shi, Yanjun Chen, Baogang Quan, Feng Tian, Hongan Wang, and Sriram Subramanian. 2020. HapBead: On-Skin Microfluidic Haptic Interface using Tunable Bead. In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems (CHI '20). Association for Computing Machinery, New York, NY, USA, 1–10.

總結(jié)回顧

本次講座，韓博士從交互范式、交互技術(shù)和智能環(huán)境三個角度出發(fā)，分享了其多篇優(yōu)秀論文，引導和啟發(fā)了參會者對未來交互方式的暢想。未來的交互方式將不再局限于二維空間，而是向三維空間擴展；交互媒介將不再局限于一個屏幕，而是向任何設備和脫離屏幕的空間擴展；同時感知方式將會更加多?；惶摂M環(huán)境中將會有更多感官反饋和更真實的沉浸體驗。韓騰博士分享的幾篇成果讓我們看到了未來交互方式的冰山一角，還有更多的交互系統(tǒng)設計等待探索。

撰文 / 張研

編輯排版 / 曾心謠

校對責編 / 黃妍

精彩視頻回顧及完整版PPT下載，請點擊：

AIR DISCOVER｜韓騰：新型感知與反饋自然交互技術(shù)

網(wǎng)址: AIR學術(shù)｜韓騰：新型感知與反饋自然交互技術(shù) http://www.u1s5d6.cn/newsview330850.html