摘要:本文介紹腦機交互的概念及標準化的必要性,討論近年來腦機交互的發展狀況,重點闡述國內外植入式腦機接口的研究歷程,并從腦機交互系統角度提出了腦機交互標準化的思考,同時介紹在腦機交互計算標準化方面的相關實踐。
1 腦機交互概念及標準化
腦機接口(Brain-Machine Interface,BMI) 是指不依賴常規的脊髓/ 外周神經肌肉系統,在腦與外部環境之間建立一種新型的信息交流與控制通道,實現腦與外部設備之間的直接交互[1]。
腦機接口涉及信息科學、認知科學、材料科學和生命科學等領域,對人工智能、生物工程和神經康復等產生了越來越重要的影響。通過腦機接口技術實現腦與外部設備的交互,則稱為腦機交互。腦機交互是全新的人機交互方式,有望推動對大腦的更深入研究,并促進大腦智能和外部機器智能的融合增強( 混合智能),具有重大研究價值和應用前景。腦機交互中設備復雜、數據差異大、計算方法多樣化,對腦機交互系統關鍵步驟進行標準化有助于規范腦機交互系統的構建、降低本領域研究的門檻,切實推動腦機交互的發展。
2 腦機交互的最新研究現狀
根據獲取腦信號方式的不同,可以將腦機接口分為植入式和非植入式兩種。非植入式腦機接口直接從大腦外部獲取腦信號,所記錄的腦信號信息量較小、時間分辨率比較低,只能用來執行簡單的操作控制,比如撥打電話、輪椅控制、運動假肢控制、打字等[2]。植入式腦機接口通常通過在大腦中植入芯片以獲取腦信號,相對于非植入式信號,植入式腦信號在時間和空間分辨率更高,記錄的信息量更加豐富,可以實現更復雜的控制。
2.1 非植入式腦機接口
非植入式的裝置很方便佩戴于人體,但需要突破顱骨對信號的衰減作用和對神經元發出的電磁波的分散和模糊效應。典型的非植入式腦機接口采用的信號包括EEG 和P300 信號[3]。EEG 信號有著良好的時間分辨率,采集設備易用、便攜,價格相對低廉。
這方面研究的一個典型例子是德國圖賓根大學的Niels Birbaurmer 于1990 年進行的項目,該項目利用癱瘓病人的腦電圖信號使其能夠控制電腦光標,經過訓練,十位癱瘓病人能夠成功地用腦電圖控制光標[4]。基于P300 的非植入式腦機接口典型例子是美國羅切斯特大學的Jessica Bayliss 的一項研究,受試者可以通過P300 信號控制虛擬現實場景中的一些物體,例如開關燈或者操縱虛擬轎車等[5]。
由于非植入信號的無創性,產業界也踴躍開發非植入式腦機接口應用系統,如圖1 是日本本田公司生產的意念控制機器人,操作者可以想象自己的肢體運動來控制身邊機器人進行相應的動作。近年來,國內清華大學、華南理工大學、電子科技大學、上海交通大學、浙江大學等均成立課題組投入非植入式腦機接口研究,并取得了一系列重要進展。
提取神經信號建立植入式腦機接口系統。Nicolelis 領導的研究小組采集了夜猴運動皮層神經電信號,對神經信號進行解碼對遠程機器臂進行實時控制( 開環控制),成功實現了“Monkey Think Robot Do”的神奇演示[6]。此后,Nicolelis 小組又成功開發了閉環機器臂控制腦機接口系統。同時,美國Pittsburgh 大學 Schwartz 實驗室研究人員將微電極植入運動受限的猴子運動神經皮層,獲取運動相關的神經電活動,并訓練猴子利用思維活動控制機器臂( 圖2) [7]。
2006年,美國布朗大學在癱瘓病人上實現腦電控制假肢[8],這是腦機接口的首次臨床應用,具有里程碑的意義。Donohue 教授領導的研究人員在人腦中植入了芯片,直接控制電腦的光標,并用電腦控制其他設備。其他在植入式腦機接口方面取得比較成功的實驗包括:2012 年,美國西北大學Miller教授實現了功能性電刺激控制癱瘓肌肉[10];2012年,美國匹茲堡大學實現人腦ECoG 信號控制機械手[11] 等。
圖1 日本本田公司生產的用意念控制的機器人
圖2 猴子腦思維控制機器臂進食
2.2 植入式腦機接口
植入式腦機接口能直接獲取大腦皮層的神經集群信號,信息量大、時空分辨率高,鋒電位(Spike)信號解碼能夠實現對外部設備多自由度的實時、精確控制。自本世紀以來,Nature 和Science 等報道了一系列侵入式腦機接口的重大研究成果[6-8, 10-11],相關研究促進了人們對神經系統的認識,建立了大量復雜信息處理方法,極大地推動了神經、信息與認知等學科的發展。
典型的植入式腦機接口系統包括:2000 年,杜克大學的Miguel 和Nicolelis 用在大腦皮層植入電極,2005 年以后,我國植入式腦機接口研究取得了重要的進展,尤其是浙江大學求是高等研究院鄭筱祥教授領導的團隊,已經成功在非人類靈長類動物上建立了腦機接口系統,實現了利用腦電信號對機械假肢的實時控制。猴子可以通過意念直接控制機械手完成抓、勾、握、捏四種不同的抓握手勢,正確率達到85% 以上[12]。
3 腦機交互標準化思考及實踐
3.1 腦機交互標準化思考
完整的腦機交互系統包括神經信號的采集、實驗的范式設計、神經信號的解碼、智能機器的控制等。當前,腦機交互系統在以上關鍵四步驟均存在很大的差異性,導致構建腦機接口和交互系統過程復雜、系統性能評估困難、難以推廣。
考慮在腦機交互系統中提煉共性部分,建立交互標準具有重要意義,其中:神經信號的采集涉及到采集腦神經信號的設備標準以及所采集信號數據的表征標準;信號的解碼涉及預處理、訓練、測試等步驟,對應著解碼算法的輸入標準和解碼算法標準;智能機器的控制涉及控制輸入數據標準以及控制的設備和控制接口標準等。
具體應考慮以下標準化重點 [2]:
(1) 神經信號的采集設備標準。主要指采集spike、ECog、LFP 等腦電信號的植入式設備,需要根據所采集的不同信號對設備的材質、安全性等建立統一的標準。
(2) 神經信號的數據表示標準。由于不同信號的采集設備所采集的信號具有差異性,不同的實驗人員對所采集的神經信號進行不同的信號預處理,所產生的神經信號也具有差異性,這種差異性加大了評估解碼系統性能的難度。因此,神經信號的數據表示標準的制定顯得尤為重要。
(3) 實驗范式標準。指實驗對象在實驗過程中所遵循的行為規范模式,神經信號的提取便是在實驗對象進行實驗范式的過程中進行的,通過規范實驗范式,有利于規范神經信號數據。
(4) 解碼算法標準。主要是解碼算法接口的標準化,這樣有利于提高腦機交互系統的可擴展性,只需要按照標準的解碼算法接口設計,便可方便腦機交互系統加入新的解碼算法。
(5) 智能機器的控制接口標準。由于生產腦機交互的智能機器的硬件廠家很多,導致對智能機器的控制接口也錯綜復雜,因此制定統一的智能機器控制接口標準更能方便腦機交互系統的開發。
(6) 反饋信息輸入標準。反饋信息的輸入是雙向腦機接口必須要解決的重點與難點,對信息輸入進行標準化可以使得整個腦機交互系統更加穩定。
(7) 多模態信息的表征標準。主要指視覺、聽覺、觸覺等感覺信息的表征,有利于信息反饋的輸入更加具有一致性。
3.2 腦機交互計算標準化實踐
針對以上腦機交互標準化的思考,浙江大學計算機學院腦機融合研究團隊正著手設計腦機交互計算部分的標準化系統和標準化建議。當前已有的腦機交互計算系統包括BCI2000、BCILab、OpenViBE、BioSig、FieldTrip 以及佛羅里達大學的DDDBMI 等。其中,BCI2000 是一個在線軟件平臺,以軟件套件的形式提供服務,具有數據采集,腦電信號處理、學習及反饋等功能。BCILab 則以Matlab 的工具箱的形式呈現給用戶,提供的服務包括:信號采集、特征提取、機器學習、BCI 范式、在線插件等。
OpenViBE 與BCI2000 類似,同樣以軟件套件的形式呈現,通過由用戶定制場景的方式提供BCI 信號的處理和可視化。BioSig 兼容各種主流平臺,提供了Matlab 與Octave 工具箱,也提供了C/C++、Python 等編程語言下的函數接口庫,專門提供生物醫學信號處理,涵蓋神經、腦機、心血管等,可以用來進行信號采集、處理、分類以及建模與可視化。DDDBMI 是最有代表性的腦機交互計算平臺,其目標是設計一個自適應的中間件與工作站,能夠管理實驗信號采集、閉環機器學習、數據分析、在線解碼等所有與其相關的工作。
DDDBMI 已開發了部分中間件功能模塊,其服務包括提供實時操作的閉環機器學習系統。目前,DDDBMI 已開發了一個支持在線/ 離線實驗的工作站,內含一個分布式計算系統,方便遠程和本地用戶參與的在線和離線實驗計算根據需求動態分配資源。
現有的腦機交互計算系統存在以下不足:絕大多數系統僅針對1-2 類數據來實現相關的信號處理算法,可擴展性、可配置性較差。
因此,設計開發一個更普式的腦機交互計算標準平臺十分必要,該系統解決以下問題:
(1) 數據表示不統一、解碼算法設計不一致,導致無法對解碼算法性能進行有效的對比;
(2) 實驗范式設計復雜,負責設計與計算的通常不是同一個人,如何將范式的設計模塊獨立出來,以最大化不同人員的優勢;
(3) 對于一些計算量較大的任務,應該考慮使用分布式架構。
為此,我們設計了一個統一數據表示方式、支持分布式計算、支持算法組件可配置、支持算法組件可擴展、同時支持在/ 離線任務的腦機交互計算標準平臺。
圖3 顯示了腦機交互計算標準系統的架構。
用戶可以使用拖拽的形式選擇數據輸入模塊、預處理模塊、算法訓練模塊以及測試模塊等,然后配置相關實驗參數,點擊執行,計算系統便立刻自動檢測相關模塊、數據依賴,將計算任務交給后臺進行處理,對于離線任務可以進行分布式以提高計算性能,同時實時將中間結果傳遞給前端界面以提供數據的可視化分析的功能。對于需要擴展的算法,只需要按照所提供的算法模塊的接口進行實現即可。
-
電磁波
+關注
關注
21文章
1444瀏覽量
53754 -
腦機接口
+關注
關注
8文章
371瀏覽量
21480
原文標題:腦機交互研究及標準化實踐
文章出處:【微信號:AItists,微信公眾號:人工智能學家】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論