未來(lái)可能是VR/AR的世界，人機(jī)交互將從平面走向空間，鼠標(biāo)鍵盤(pán)將會(huì)失去作用，大量的人機(jī)交互系統(tǒng)需要重新設(shè)計(jì)。

——韓騰

活動(dòng)概況

11月4日傍晚，AIR DISCOVER青年科學(xué)家論壇第四期在清華清華大學(xué)智能產(chǎn)業(yè)研究院（AIR）如期舉行。本期活動(dòng)榮幸地邀請(qǐng)到了韓騰博士做題為《新型感知與反饋?zhàn)匀唤换ゼ夹g(shù)》的報(bào)告。

講者簡(jiǎn)介

韓騰，博士，中科院軟件所副研究員，碩士生導(dǎo)師。師從英國(guó)皇家工程院新型技術(shù)主席Sriram Subramanian及加拿大普適分析研究主席Pourang Irani。曾在美國(guó)達(dá)特茅斯學(xué)院、臺(tái)灣大學(xué)、加拿大Autodesk研究院、日本本田研究院、微軟亞洲研究院、聯(lián)想研究院進(jìn)行過(guò)學(xué)術(shù)訪問(wèn)。其主要研究方向?yàn)槿藱C(jī)交互、情景感知、觸覺(jué)交互和混合現(xiàn)實(shí)。發(fā)表CHI、UIST、IMWUT/Ubicomp等人機(jī)交互國(guó)際頂會(huì)論文17篇獲得多項(xiàng)最佳論文相關(guān)獎(jiǎng)項(xiàng)。其中，UIST2020最佳論文提名獎(jiǎng)為大陸機(jī)構(gòu)首次獲獎(jiǎng)。

報(bào)告內(nèi)容

韓博士在本次報(bào)告中梳理了人機(jī)交互的發(fā)展歷程，介紹了交互范式和交互技術(shù)，分享了他在觸覺(jué)感受機(jī)理和柔性致動(dòng)器領(lǐng)域的研究，暢想了未來(lái)觸覺(jué)交互的輸入輸出方式及在人機(jī)混合增強(qiáng)方向的應(yīng)用。

人機(jī)交互的發(fā)展歷程

人機(jī)交互是基于用戶(hù)行為和認(rèn)知能力，設(shè)計(jì)、評(píng)估和實(shí)現(xiàn)人類(lèi)使用的交互式計(jì)算系統(tǒng)，為信息科技和消費(fèi)電子產(chǎn)業(yè)的發(fā)展、創(chuàng)新與革命做出了巨大的貢獻(xiàn)。在移動(dòng)互聯(lián)網(wǎng)、觸屏交互、虛擬現(xiàn)實(shí)、人工智能等眾多領(lǐng)域，人機(jī)交互正在成為必不可缺的一部分。

人機(jī)交互的發(fā)展史起源于20世紀(jì)50年代。早期的通用計(jì)算機(jī)（UNIVAC）是按鈕式交互。上世紀(jì)60年代末，70年代初，Douglas Engelbart 設(shè)計(jì)發(fā)明了第一只鼠標(biāo)，從此鍵盤(pán)不再是電腦輸入的唯一途徑，計(jì)算機(jī)使用界面也就此開(kāi)啟新紀(jì)元。同時(shí)期，Alan Kay不斷思考如何將龐大的計(jì)算機(jī)變小，構(gòu)想出筆記本電腦的原型“Dynabook”，為窗口化圖形用戶(hù)界面（GUI）的發(fā)展帶來(lái)了開(kāi)創(chuàng)性的影響。接下來(lái)，蘋(píng)果公司于1984年推出了麥金托什個(gè)人電腦，2007年推出第一代iphone。韓博士指出，喬布斯之所以被稱(chēng)“偉大”，是因?yàn)樗娜藱C(jī)交互理念對(duì)未來(lái)產(chǎn)生了深遠(yuǎn)的影響。

交互范式

人機(jī)交互研究的主要層次之一是交互界面，或稱(chēng)之為范式，是一種可被重復(fù)利用、被用戶(hù)熟知、蘊(yùn)含設(shè)計(jì)經(jīng)驗(yàn)的人機(jī)交互模式。韓博士通過(guò)介紹前人的高瞻遠(yuǎn)矚，引導(dǎo)我們思考未來(lái)的PC會(huì)是什么樣子，從而規(guī)劃和設(shè)計(jì)下一代的交互范式。

韓博士認(rèn)為未來(lái)可能是VR/AR的世界，人機(jī)交互將從平面走向空間。在這樣的未來(lái)交互范式中，目前常見(jiàn)的VR系統(tǒng)手柄可能并非空間交互的最有效的工具。在實(shí)驗(yàn)中，韓博士團(tuán)隊(duì)發(fā)現(xiàn)，手腕雖然作為我們控制手柄的主要運(yùn)動(dòng)關(guān)節(jié)，卻并不是手部控制最精準(zhǔn)的部位。受到筆和筷子的啟發(fā)，韓博士團(tuán)隊(duì)進(jìn)一步探索了使用筆桿的輸入方式。進(jìn)行實(shí)驗(yàn)對(duì)比后得出，筆桿在靈活度、準(zhǔn)確性及舒適性上都是更優(yōu)于手柄的的交互工具。

此篇文章獲得了CHI 2020 最佳論文提名獎(jiǎng)。

Li, Nianlong, Teng Han*, Feng Tian, Jin Huang, Minghui Sun, Pourang Irani, and Jason Alexander. “Get a Grip: Evaluating Grip Gestures for VR Input using a Lightweight Pen.” In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, pp. 1-13. 2020. (Honorable Mention Awards)

交互技術(shù)

韓博士接下來(lái)介紹了交互技術(shù)的發(fā)展。我們現(xiàn)在所處的正是從移動(dòng)/穿戴計(jì)算時(shí)代（NUI）向普世計(jì)算時(shí)代（Ubiquitous）萬(wàn)物互聯(lián)過(guò)渡的階段。

在移動(dòng)/穿戴計(jì)算時(shí)代（NUI），智能手表作為最基礎(chǔ)的可穿戴設(shè)備曾掀起交互研究與設(shè)計(jì)的熱潮。但由于手表的屏幕很小，注定不能將手機(jī)的觸摸模式完全復(fù)制。韓博士意識(shí)到除手表屏幕可作為交互界面外，手表周?chē)杂泻艽蟮目衫每臻g，于是便對(duì)此開(kāi)啟了手勢(shì)輸入技術(shù)的研究。日常自然的手勢(shì)，如響指、拍手等，在交互領(lǐng)域原本是不存在的，但韓博士團(tuán)隊(duì)認(rèn)為，很多自然手勢(shì)都伴隨著不同聲音的產(chǎn)出，具有很好的利用價(jià)值。在實(shí)驗(yàn)階段，韓博士團(tuán)隊(duì)設(shè)計(jì)了一個(gè)麥克風(fēng)矩陣，可以捕捉和分離聲音信號(hào)，并判斷聲音方位，從而實(shí)現(xiàn)了使智能手表做到聽(tīng)聲辨位、辨意，利用手勢(shì)產(chǎn)生的聲音對(duì)手表進(jìn)行控制的目標(biāo)。

Teng Han, Khalad Hasan, Keisuke Nakamura, Randy Gomez, and Pourang Irani. “Soundcraft: Enabling spatial interactions on smartwatches using hand generated acoustics.” In Proceedings of the 30th Annual ACM Symposium on User Interface Software and Technology, pp. 579-591. 2017.

近些年智能手表的廣泛使用，使人們普遍意識(shí)到，手表只是一個(gè)輔助工具，并不能取代手機(jī)。近兩年的人機(jī)交互研究也越來(lái)越側(cè)重于萬(wàn)物互聯(lián)的普適計(jì)算，認(rèn)為未來(lái)的交互一定是圍繞著智能環(huán)境展開(kāi)，自然地將計(jì)算設(shè)備融入人們的生活環(huán)境和日常物品，進(jìn)行場(chǎng)景情境感知與互動(dòng)。因此，在未來(lái)智能環(huán)境下輸入和輸出便成為了人機(jī)交互主要面臨的挑戰(zhàn)。

首先是輸入。為解決交互需求、場(chǎng)景和資源的問(wèn)題，需要做到智能傳感的定制化，即根據(jù)場(chǎng)景進(jìn)行多模感知系統(tǒng)的重構(gòu)。為應(yīng)對(duì)物理空間信息的復(fù)雜、多樣、分布、動(dòng)態(tài)等特性，韓博士提出，結(jié)合柔性功能材料、結(jié)構(gòu)、工藝的特點(diǎn)，可重構(gòu)情境感知工具。在此基礎(chǔ)上，韓博士深入研究了微流體技術(shù)。

韓博士著重介紹了基于微流重構(gòu)技術(shù)的創(chuàng)新性設(shè)計(jì)。例如，用傳統(tǒng)方式做出的電子元件中，通?？梢酝ㄟ^(guò)點(diǎn)陣狀電極用于電感性感知，線圈狀電極用于電容性感知，但功能是不可兼得的。韓博士采用微流重構(gòu)技術(shù)結(jié)合液態(tài)金屬的方式，利用流體機(jī)械結(jié)構(gòu)的改變，動(dòng)態(tài)地實(shí)現(xiàn)結(jié)構(gòu)可控，使電極的形狀可以在線圈狀電極和點(diǎn)陣狀電極之間自由切換。

Wei Sun, Yanjun Chen, Simon Zhan, Teng Han*, Feng Tian, Hongan Wang, and Xing-Dong Yang. 2021. RElectrode: A Reconfigurable Electrode For Multi-Purpose Sensing Based on Microfluidics. Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems. Association for Computing Machinery, New York, NY, USA, Article 13, 1–12.

其次是輸出。在人的五感中，觸覺(jué)的靈敏程度是非常高的，然而觸覺(jué)交互在傳統(tǒng)的人機(jī)系統(tǒng)里是被忽略的。在面向未來(lái)的人機(jī)交互范式，觸覺(jué)將成為一個(gè)重要的研究領(lǐng)域。

相關(guān)研究表明，人的皮膚并不具備濕度的感受器，而是通過(guò)對(duì)溫度變化、壓力和摩擦力的復(fù)合感受來(lái)理解濕度。韓博士為此設(shè)計(jì)了模擬裝置，模擬不同溫度、摩檫力情況下的物體表面。這個(gè)裝置的設(shè)計(jì)可以讓被試者有逼真的濕度感受。該技術(shù)可以應(yīng)用到VR領(lǐng)域。

Teng Han, Sirui Wang, Sijia Wang, Xiangmin Fan, Jie Liu, Feng Tian, and Mingming Fan. "Mouillé: Exploring Wetness Illusion on Fingertips to Enhance Immersive Experience in VR." In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, pp. 1-10. 2020.

繼對(duì)濕度的研究后，韓博士又聯(lián)想到對(duì)痛覺(jué)的模擬。雖然痛覺(jué)不是令人愉快的感受，但是在VR領(lǐng)域，無(wú)傷害的痛覺(jué)模擬有很多應(yīng)用場(chǎng)景。相關(guān)研究表明，辣椒素和受傷所產(chǎn)生的灼燒感是一致的，它們所刺激的是同一類(lèi)神經(jīng)末梢。然而，在實(shí)踐中存在著兩個(gè)挑戰(zhàn)：首先，辣椒素的作用有延遲，無(wú)法像受傷時(shí)一樣立刻感受到疼痛；其次，辣椒素濃度過(guò)高時(shí)很難快速抹除，易對(duì)人體皮膚造成一定的損害。針對(duì)這個(gè)問(wèn)題，韓博士團(tuán)隊(duì)在選用低濃度辣椒素溶液的同時(shí)，配合溫度控制，當(dāng)溫度提升時(shí)痛感也會(huì)提升，解決了痛感定量控制的問(wèn)題。同時(shí)，韓博士使用了微針，微針可以撐開(kāi)表皮但不傷害真皮，使溶液可以快速下沉到神經(jīng)末梢，解決了感知延遲的問(wèn)題。

Chutian Jiang, Yanjun Chen, Mingming Fan, Liuping Wang, Luyao Shen, Nianlong Li, Wei Sun, Yu Zhang, Feng Tian, and Teng Han*. 2021. Douleur: Creating Pain Sensation with Chemical timulant to Enhance User Experience in Virtual Reality. Proc. ACM Interact. Mob. Wearable Ubiquitous Technol. 5, 2, Article 66 (June 2021), 26 pages.

在觸覺(jué)研究領(lǐng)域，韓博士分享的另一項(xiàng)工作是設(shè)計(jì)觸覺(jué)代理工具。觸覺(jué)代理工具是一種讓使用者可以在虛擬環(huán)境下體會(huì)到真實(shí)物理反饋的交互工具。為了統(tǒng)一多樣化的工具，韓博士團(tuán)隊(duì)進(jìn)行了建模，從手部的運(yùn)動(dòng)軌跡和作業(yè)時(shí)感受到的力兩個(gè)維度進(jìn)行設(shè)計(jì)：用鏈桿結(jié)構(gòu)仿造了真實(shí)的運(yùn)動(dòng)模式；通過(guò)關(guān)節(jié)結(jié)構(gòu)的設(shè)計(jì)，模擬了力的反饋。

這篇文章獲得了UIST 2020 最佳論文提名獎(jiǎng)，是大陸機(jī)構(gòu)首次獲獎(jiǎng)。

Li, Nianlong, Han-Jong Kim, Luyao Shen, Feng Tian, Teng Han*, Xing-Dong Yang, and Tek-Jin Nam. “HapLinkage: Prototyping Haptic Proxies for Virtual Hand Tools Using Linkage Mechanism.” In Proceedings of the 32th Annual ACM Symposium on User Interface Software and Technology. 2020. (Honorable Mention Awards)

在做了很多觸覺(jué)技術(shù)的研究后，韓博士發(fā)現(xiàn)能夠落地的技術(shù)很少，其主要原因是裝置形態(tài)不夠輕薄。為此，韓博士團(tuán)隊(duì)設(shè)計(jì)了一個(gè)可固定在指尖的薄片。薄片內(nèi)置一個(gè)流體管道和小球；控制流體的沖擊，利用小球震蕩的位置、頻率和振幅，讓手指感受到特定的震動(dòng)信息。

Teng Han, Shubhi Bansal, Xiaochen Shi, Yanjun Chen, Baogang Quan, Feng Tian, Hongan Wang, and Sriram Subramanian. 2020. HapBead: On-Skin Microfluidic Haptic Interface using Tunable Bead. In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems (CHI '20). Association for Computing Machinery, New York, NY, USA, 1–10.

總結(jié)回顧

本次講座，韓博士從交互范式、交互技術(shù)和智能環(huán)境三個(gè)角度出發(fā)，分享了其多篇優(yōu)秀論文，引導(dǎo)和啟發(fā)了參會(huì)者對(duì)未來(lái)交互方式的暢想。未來(lái)的交互方式將不再局限于二維空間，而是向三維空間擴(kuò)展；交互媒介將不再局限于一個(gè)屏幕，而是向任何設(shè)備和脫離屏幕的空間擴(kuò)展；同時(shí)感知方式將會(huì)更加多?；?；虛擬環(huán)境中將會(huì)有更多感官反饋和更真實(shí)的沉浸體驗(yàn)。韓騰博士分享的幾篇成果讓我們看到了未來(lái)交互方式的冰山一角，還有更多的交互系統(tǒng)設(shè)計(jì)等待探索。

撰文 / 張研

編輯排版 / 曾心謠

校對(duì)責(zé)編 / 黃妍

精彩視頻回顧及完整版PPT下載，請(qǐng)點(diǎn)擊：

AIR DISCOVER｜韓騰：新型感知與反饋?zhàn)匀唤换ゼ夹g(shù)

相關(guān)知識(shí)

上海交大陸鈺明課題組建立新型植物內(nèi)源蛋白檢測(cè)技術(shù)
新興技術(shù)與全球健康：探索科技前沿的醫(yī)療創(chuàng)新管理新視角
新型技術(shù)打破醫(yī)學(xué)界限，五大技術(shù)幫助醫(yī)療數(shù)字健康轉(zhuǎn)型
韶關(guān)多功能生物反饋訓(xùn)練系統(tǒng),心理健康自助儀
醫(yī)學(xué)新技術(shù)有哪些？
數(shù)字技術(shù)賦能學(xué)校心理健康服務(wù)
交往的藝術(shù)：社交智商與溝通力訓(xùn)練
新技術(shù)助力健康中國(guó)夢(mèng)
2020值得期待的九大應(yīng)用于醫(yī)療領(lǐng)域的新技術(shù)
生命科學(xué)與健康技術(shù).pptx

網(wǎng)址: AIR學(xué)術(shù)｜韓騰：新型感知與反饋?zhàn)匀唤换ゼ夹g(shù) http://www.u1s5d6.cn/newsview330850.html