MIT人工智能實驗室的研究人員開發了一種“觸覺手套”，548個傳感器，戴上它就能識別物體、物體的重量等，而且原始成本僅需10美元！

“滅霸打了一個響指，全宇宙半數的生命瞬間消失。”

漫威漫畫中描繪的“無限手套”功能無比厲害，不過滅霸也要集齊了六顆無限寶石，才能發揮出“無限手套”的能力。

現在，有一個神奇手套，它沒有寶石，但裝了548個傳感器，戴上它就能測到物體、物體的重量等，而且僅需10美元成本！你想不想要？

MIT人工智能實驗室(CSAIL)的一組研究人員開發了這個手套。

如果你曾在黑暗中摸索過自己的眼鏡或手機，就會知道我們人類非常擅長通過觸摸來弄清楚物體是什么。

即使我們的其他感官失敗了，提供給我們大腦的觸覺信息仍然是我們與周圍環境交互的有力工具。這是一種非常重要的能力，也是機器人研究喜歡模仿的能力。如果實現了的話，機器人可以擁有更靈巧的機械手，假肢也會更加逼真和有用。

研究和復制人類的感官能力，例如視覺、聽覺和觸覺，依賴于能否得到合適的數據。通常，數據集越大、越豐富，模型就越能模擬這些功能。

MIT人工智能實驗室(CSAIL)的Subramanian Sundaram等研究人員開發了這種低成本的觸覺手套，通過獲得詳細壓力圖的大型數據集，使AI系統能夠僅通過觸摸來識別物體。他們的論文發表在最新一期Nature雜志上。

論文地址：

https://www.nature.com/articles/s41586-019-1234-z

Subramanian Sundaram是該研究的第一作者，其他研究人員還包括CSAIL博士后Petr Kellnhofer和朱俊彥、博士生李昀燭(Yunzhu Li)，以及MIT教授Antonio Torralba和Wojciech Matusik。

64條導電線，548個傳感器，原始成本10美元

這個神奇手套名為“可伸縮觸覺手套”(scalable tactile glove，STAG)，使用柔性材料，在幾乎整只手上布置了550個微型傳感器。

手套由一個手形的傳感器套和一個普通的針織手套組成，如下圖所示：

低成本的觸覺手套，由一個普通針織手套(黃色)和一個手形的傳感器套(黑色)組成。

傳感器套筒分兩層排布了64條導電線，橫向和縱向分別32條，在兩層導電線之間有一張力敏膜(對垂直力敏感的薄膜)。

這些線交叉的548個點，每一個都是壓力傳感器。當這些點被按壓時，交叉點處薄膜的電阻會變小，電極陣列就能進行感知。

手套的輸出可以處理成32×32的灰度像素陣列，其中每個像素的顏色表示壓力變化，黑色表示壓力低，白色表示壓力高。

研究人員每秒七幀的速度將壓力圖記錄下來。使用手套在操作物體時傳感器收集到的壓力圖，可以讓機器學習模型學習識別物體、估計物體的重量，以及區分不同的手部姿勢。

Sundaram和同事戴著這只手套，在3~5分鐘的單手操作26件日常物品(包括汽水罐、剪刀、網球、勺子、鋼筆、水杯等)的過程中，記錄了幾段壓力圖的視頻。

用于實驗的物品。

實驗總共使用了 26 個物品；這里顯示了 24 個，此外還有兩個可樂罐（一個空罐和一個滿罐）。

這個過程產生了一個詳細的壓力圖數據集，作者表示，這是最大的此類數據集之一。

盡管手套的制造成本僅為10美元左右，但十分靈活、結實，對微小的壓力變化敏感。

為了證明手套能捕捉到手與每個物體的不同互動，研究人員使用記錄的數據進行了自動對象識別。他們展示了一個最先進的深度學習模型如何從收集的壓力圖數據中學習重新識別26類物體，該模型最初是為大規模圖像分類而設計的。

僅使用觸覺數據，AI系統識別物體的準確率高達76%。實驗還證明，大量的壓力圖及其空間分辨率是成功識別目標的關鍵。

接下來，作者使用手套來拾取物體，并證明了類似的深度學習模型可以估計未知物體的重量。結果顯示，重量在60克以內的物體大部分都能準確估計出來。

重量估計的示例和性能。

他們還實驗了不同的姿勢，證明手套傳感器讀取的信號非常詳細，足以區分不同的姿勢。

使用分解的手姿態信號的六個傳感器的對應圖。

從物體相互作用中分解出的手位信號被用來共同提取傳感器和全手之間的相關性。

手勢信號

最后，Sundaram和他的同事通過觀察信號相關性分析了不同手部區域在抓取物體時的協作。

觸覺手套抓起一個咖啡杯產生的交互

觸覺手套抓起一個刺角瓜的交互

兩位中國學生參與，新智元專訪

前面提到，該研究有兩位中國學生參與，分別是MIT的博士后研究員朱俊彥和博士二年級的李昀燭。

朱俊彥

朱俊彥目前是CSAIL的一名博士后研究員，主要從事計算機視覺、計算機圖形和機器學習的研究。朱俊彥畢業于加州大學伯克利分校，2012 年獲得清華大學計算機科學系的工學學士學位，在 CMU 和 UC Berkeley 經過 5 年學習后，于 2017 年獲得 UC Berkeley 電氣工程與計算機科學系的博士學位。

朱俊彥也是一系列“網紅GAN”的作者，包括CycleGAN、GauGAN等。

李昀燭

另一位作者李昀燭是CSAIL的二年級博士生，他的研究領域是計算機視覺、機器學習和機器人技術，尤其是基于深度學習的機器人動力學建模和多模態感知。

李昀燭本科畢業于北京大學，本科期間參加北京大學和斯坦福大學的多個實驗室研究，并以第一作者身份發表多篇計算機視覺和機器學習頂級會議論文。

新智元采訪到李昀燭，為我們講述了“觸覺手套”的研發過程、工作原理、挑戰和未來的計劃。

新智元：您和團隊是如何萌生研發這個手套的想法的？

李昀燭：人在和周圍環境進行交互的時候，除了用視覺，我們還會用聽覺和觸覺等多種感官來感知這個世界，而其中觸覺在我們日常生活中和環境進行物理性交互的過程中尤為重要。

比如伸手到褲兜里拿鑰匙，需要在看不見的情況下對鑰匙進行定位和抓取；或者在揉面團的時候，要判斷面團的軟硬，這些任務僅靠視覺是很困難的，還需要有來自觸覺的反饋。所以我們希望引入像人手一樣的壓力傳感器，去研究人到底是如何利用觸覺和世界進行交互的。

現在已經有不少令人印象深刻的觸覺傳感器，比如麻省理工學院Edward H. Adelson組的GelSight和Alberto Rodriguez組的GelSlim，他們都基于攝像機，有很高的分辨率，但問題在于能感知的區域有限，而且不能進行大幅度的形變；還有的觸覺傳感器可能面積比較大，但是感知器的密度非常稀疏，并且可能很難進行更大的擴展，所以我們希望能做一個非常密集的且有很強可擴展性的手套感知器。

我們開發的這一套傳感器使用的是柔性材料，非常適合去貼合像手這樣自由度比較大的物體。我們帶上這個手套去跟各種各樣的物體進行互動，就能得到清晰度很高的觸覺數據集，來分析人在抓取物體過程中的一些行為模式。

我們希望在未來能幫助機器手做到像人的手指一樣靈活。比如人在抓一個東西的時候，我們就得到了人的手指壓力分布數據，那么這有助于機器人更靈活地把物體抓起來，或者完成某個相似的任務。

新智元：這個手套的工作原理是怎樣的？應用了哪些技術或算法？

李昀燭：手套的基本原理比較容易理解。當你在對手套施加壓力的時候，它的導電性就會有一定變化，這就變成了數據。其中我們分兩層在橫向和縱向分別排布了32條導電線，在兩層導電線之間加入了一張對垂直力敏感的薄膜，當壓力變化時，薄膜的電阻也會隨之變化，電極陣列就能進行感知。

新智元：你們花了多長時間研發這個手套？手套使用了550個微型傳感器，是怎樣得出這個數字的？如果采用更多傳感器，準確度上是不是會更好？

手套的研發花了大半年時間，后續的數據采集和實驗分析也花了接近半年的時間。在目前實驗室的環境里，如果做的更密集，導電線在人手大幅度運動的過程中就可能接觸發生短路。再者，因為手掌形狀的不規則，在手掌的區域內只能容納大約550個壓力傳感器。在未來我們可能會使用更精細的排線設計，來實現更高的傳感器密度。

新智元：手套研發的過程中遇到了哪些挑戰？您和團隊是如何解決的？

李昀燭：設計和制作整個帶觸覺的“皮膚”是很有挑戰性的，我們既需要很強的可擴展性和長時間穩定工作的能力，還不能去影響人本身的動作，之前的研究很難兼得這些要求。我們通過提出一種新的傳感器的設計和制造方法來解決這些問題。具體原理的簡單介紹可以參考前面第二個問題。

新智元：現在的手套可以識別物體和重量，未來有沒有可能做到識別物體材質、溫度、甚至更科幻一點——產地呢？

李昀燭：我們未來可能考慮在已有壓力傳感器的基礎上，加上識別溫度和震動的傳感器。溫度和震動的感知對識別物體的材質非常重要。識別產地難度很大，這對人來說也是一個很困難的任務。

新智元：這個手套成本極低，如何做到的呢？低成本讓商業化成為可能，您覺得這個手套可以用在哪些地方？距離商業化還有多遠？

李昀燭：這項研究的一大突破就在于我們提出的設計和制造方法不需要特別的制作工具，使用的也都是市場上能買到的材料，最后的產品很靈敏，成本很低，并且有很強的可擴展性。手套和傳感器的物料成本大概是10美元。除了手套以外，我們目前連接傳感器的線路板大約為100美元。

這項研究有很多可能的應用，比如我們可以記錄人在完成某個復雜任務時的觸覺反饋，然后通過模仿學習去幫助機器人完成類似的任務；或者我們可以將傳感裝置的面積做得更大，包裹住整個機械臂，這可以幫助機器人更好地和人類進行交互；我們也可以把傳感器織成衣服和鞋子，來分析人在走路、跑步或登山時的受力分布，有助于設計出更好的產品；在交互游戲的設計上也會有很多想象的空間。

目前的傳感器距離商業化還有不小的距離，實驗室的原型和真正讓用戶喜歡的產品之間還是有很多工作需要完成的。

新智元：下一步還想在哪些方面有所突破？比如說要擴展哪些功能？

李昀燭：我們目前在考慮做成其他的形狀來幫助除了“手”以外的物體獲得觸覺感知，我們還在不斷加入更多模態的傳感器，也在計劃采集更大規模的用戶數據，分析更復雜場景下的人類行為，未來我們也會探索這種傳感器在機器人任務里的應用。