只需動動手，就能「掌」控一切?

Facebook最近公布的腕帶式的AR傳感器，讓你在虛擬世界get緋紅女巫同款技能。

這一設備由Facebook的AR/VR研究部門——Facebook Reality Labs(FRL)研發(fā)，佩戴者可以通過手腕上的電運動神經(jīng)信號，以手指動作控制AR眼鏡。

就連被稱為卷積網(wǎng)絡之父的圖靈獎獲得者、Facebook首席AI科學家Yann LeCun也為之點贊。

功能不斷升級

那么，它能用來做什么呢?

據(jù)官方介紹，無論是走在路上還是坐著，把手放在身前、兩側(cè)或是口袋里，都可以通過腕帶實現(xiàn)操控。

最初，腕帶只能通過拇指與食指的捏、放手勢，實現(xiàn)簡單的單擊操作。而后，又添加了更為豐富的控制功能，比如可以觸摸和移動虛擬對象。

除此之外，研究團隊還在進一步探索，力圖開發(fā)在桌子或膝上高速打字的功能，甚至實現(xiàn)比使用鍵盤更快的打字速度。

與物理鍵盤相比，虛擬鍵盤不僅可以隨時使用，而且能夠隨著時間推移，學習和適應每個人不同的打字風格，并產(chǎn)生適應性的變化，實現(xiàn)更快的打字速度。

FRL團隊在個性化模型方面取得了重要進展，使適應個人風格的鍵盤模型的訓練時間得以減少。

不僅如此，F(xiàn)RL研究科學主管Hrvoje Benko表示：

“我們相信，可穿戴的腕帶設備可以為AR眼鏡，提供超低摩擦、隨時可用的輸入，但它們本身并不是一個完整的解決方案。

就像鼠標是用戶界面的一部分一樣，需要在意圖預測和用戶建模方面為他們提供幫助，以實時適應用戶以及特定的環(huán)境。”

因此，F(xiàn)RL團隊近期正致力于，探索適應特定環(huán)境的自適應界面，實現(xiàn)“智能點擊”。

也就是，無需用戶移動視線、瀏覽菜單，系統(tǒng)通過在不同環(huán)境中預測用戶意圖，主動提供自適應界面，而用戶只需輕量級的反饋，就可以進行控制。

FRL研究科學經(jīng)理Tanya Jonker也補充道：

“系統(tǒng)會學習有用戶位置和關(guān)鍵對象的信息，例如跑鞋或活動識別，根據(jù)用戶過去的行為預測意圖。

比如，往常你穿著某一雙鞋出門時，通常會啟動音樂程序。那么當你再次穿上它出門，系統(tǒng)認為你最有可能想要收聽音樂，于是顯示屏上會出現(xiàn)‘是否播放音樂?’選項，用戶使用簡單的手勢確認或更改建議即可。”

利用這些微手勢，用戶無需停止正在做的事，或是為其分心，從而節(jié)省了時間。

Facebook官方介紹中也提到，實現(xiàn)這一功能，需要應用機器學習、人機交互、用戶界面設計等技術(shù)，目前仍存在許多技術(shù)挑戰(zhàn)。

雖然利用超低摩擦的輸入方式，能夠?qū)崿F(xiàn)與自適應界面的交互，但是要想對虛擬物體有所感知，還需要觸覺技術(shù)。

對此，F(xiàn)RL研究科學總監(jiān)Sean Keller表示：

“人們從出生時的第一次抓握，直到靈巧地操作物體和在鍵盤上打字，手和手指會擁有非常豐富的反饋。

我們利用觸覺信號來了解世界，觸覺使我們能夠使用工具和精細控制。從使用手術(shù)刀的外科醫(yī)生到感覺到琴鍵邊緣的鋼琴演奏家，這一切都取決于觸覺。”

利用腕帶，用戶無需進行查看，就能夠通過觸覺作出識別，并進行決策。比如：

虛擬弓箭就利用腕部的觸覺，使佩戴者有近似拉弓的感覺，從而知道自己是否做對了動作;

根據(jù)用戶設置，收到緊急郵件時，手環(huán)能發(fā)出比收到普通郵件更為強烈的震動;

當有電話呼入時，通過不同的觸覺反饋，用戶即可得知對方的身份。

甚至，研究人員還補充說：“觸覺還能夠傳達不同的情感，這可能是改善社交溝通的一種新的方式。”

目前，F(xiàn)acebook團隊正在構(gòu)建研究原型，包括擁有8個氣動波紋管的Bellowband，以及使用了6個震動觸動器和新穎的手腕擠壓機制的Tasbi，以進一步探索的觸覺反饋的類型。

利用EMG技術(shù)實現(xiàn)控制

這些功能，都是依賴EMG(肌電圖)技術(shù)實現(xiàn)的。

EMG技術(shù)，就是使用傳感器，將通過手腕傳到手部的電運動神經(jīng)信號，轉(zhuǎn)化為數(shù)字指令。用戶可以用這些指令來控制設備的功能，這種控制程度是高度個性化的，可以用于多種情況。

據(jù)Facebook介紹，通過手腕發(fā)出的信號非常清晰，哪怕是一毫米的手指運動，EMG也可以感知，因此可以毫不費力地輸入。甚至在未來，連移動手指的意圖也可能感知到。

現(xiàn)任神經(jīng)運動接口主管的Thomas Reardon表示：

“我們要做的神經(jīng)界面，就是讓用戶利用周圍神經(jīng)系統(tǒng)的輸出，特別是腦外神經(jīng)，激活手和手指肌肉的動作，來直接控制機器。”

為什么要選擇手腕?

FRL團隊對此作了解釋：

手是人們接觸世界的重要身體部分，戴在手腕上能夠利用手部豐富的控制功能，實現(xiàn)更好的交互功能。

與語音控制相比，穿戴設備更便于在公共場合使用;

類似手表的設計使其能夠用于日常生活和社交環(huán)境;

并且，手腕位置也適合舒適地佩戴一整天;

而設計成一款單獨的設備，能夠?qū)崿F(xiàn)更便捷的應用，無需通過手機或是其他設備控制;

置于手腕的可穿戴設備還可以輕松地作為計算、電池和天線的平臺，同時支持多種傳感器。

網(wǎng)友關(guān)注

這項獲得LeCun點贊的技術(shù)，自然也引起了網(wǎng)友的廣泛關(guān)注。

不少網(wǎng)友為此感到驚喜：

“這是實際的延遲效果嗎?看起來很棒。”

還有一些網(wǎng)友，對這項技術(shù)的應用提出了設想：

“這可以讓失去手的人，仍然能依靠神經(jīng)來模擬手勢，不是嗎?”

“毫無疑問，這可以用于連接假肢，并且推進恢復和學習過程。”

不過，有人提出了質(zhì)疑：

“什么?這不是很多年以前的MYO手環(huán)嗎?”

事實上，這款基于EMG技術(shù)的腕帶的雛形MYO，最初由AR眼鏡公司North的前身Thalmic Labs開發(fā)，而后其專利被初創(chuàng)公司CTRL-labs收購。

2019年，F(xiàn)acebook斥資數(shù)億美元收購了CTRL-labs，原研究團隊也隨之加入FRL。

與此同時，也有網(wǎng)友對此感到欣喜：

“早在幾年前，當我第一次閱讀有關(guān)Myo的文章時，我就想知道它對于VR的潛力。很高興它取得現(xiàn)在的成果。”

這款手環(huán)主要用于配合Facebook正在研發(fā)的AR眼鏡使用，上市時間尚未公布。