[31]以物聯網技術實現腦電波訊號之遠端遙控系統

Transcript

1. 李宗翰 黃于珊 張涵菩 賴郡緯 張林煌* 以物聯網技術實現具腦電波訊號之遠端搖控 腦電波實驗及訊號分析 從RF Dongle擷取出10種腦波值，分別為Attention、 Meditation、Delta、Theta、Low Alpha、High Alpha、Low Beta、High Beta、Low Gamma、High Gamma，其中 Attention和Meditation是多重波形複合的結果。本研究將 取Attention、Meditation和Delta之腦波值轉換為數位訊號 加以整理與擷取，並且彙整、繪製出本研究所需之腦電 圖，藉此判別腦波的波形變化，控制移動載具之行進。 國立臺中教育大學資工系 thlee@mail.ntcu.edu.tw {acs099112, acs099117, acs099182}@gm.ntcu.edu.tw lchang@mail.ntcu.edu.tw 國科會計畫編號 NSC102-2221-E-142-005、101-2119-M-142-001 系統架構 摘要 由於觸控式、搖桿與按鈕是目前市面上最常用的控制方式，以及僅適用於封閉式系統環境，故本研究的目標為透過開放 式環境之腦波訊號感測系統遠端遙控移動載具，以開發新世代之人機介面。研究期間，實驗人類行為對應至腦波值的特性， 加以辨別、分析與比對，藉此找出可明確用來控制移動載具的波段。以開放式嵌入式系統讀取腦波訊號加以解析，並透過無 線通訊網路傳達指令至移動載具。 以腦電波訊號控制移動載具 以腦波控制移動載具的指令分別有前、後、左、右 停止與速度，故需制訂與指令相對應的特定動作且定義 門檻值。於控制端處理腦波的分析和判斷，將有效指令 格式化並封裝成UDP，透過無線網路模組傳送封包。 移動載具初始動作為停止，當MindWave訊號強度達 到最佳時，送出第一個UDP至移動載具執行預設動作。移 動載具對UDP payload 進行欄位切割，萃取移動方向和行 進速度並配置於移動載具，移動載具將持續執行該指令 數秒。執行該指令期間，若有新指令到達，需待該指令 執行數秒後才會執行新指令；反之，若未收到任何新指 令，則移動載具執行預設動作；倘若經過一段時間持續 未收到新指令時，則移動載具不再執行預設動作而原地 停止。 a. Attention(專注度) 1. 近距離專注於某一點上 2. 稍微特意地睜大眼睛 Attention 範圍值介於0~100 (單位： ASIC_EEG_POWER unit) 為測到100 的最高值， 使用者藉著專注於某件事物 上，例如需要專心的工作，然而，這些方法皆不能使 Attention 值達到顛峰。讓使用者近距離、專注於某一點， 可較輕易達到80至100的顛峰，如圖一。 圖一、Attention變化圖 圖二、Meditation變化圖 b. Meditation(冥想值) 當閉目些許時間後，則可發現Meditaion的值持續地 維持在85~100間，並且一睜眼的瞬間，Meditation值隨之 降低。如圖二所示。Meditation範圍值介於0~100 。 (單位：ASIC_EEG_POWER unit) c. Delta(眨眼) 1. 不必盯著某定點，先於別處觀望些許時間後再回來眨 眼將較準確。 2. 「主動性眨眼」值介於1400K ~ 2000K，當睜眼片刻 (持久不眨眼)，其值將持續降低至4 ~ 5位數字。此 時若以正常的方式眨眼，其值明顯上升至6位數。 圖三、主動眨眼之波形變化 圖四、睜眼後眨眼波形變化 結論 本研究結合腦波、無線網路架構及移動載具模擬遠 端遙控，特別著重於腦波之分析，並將其應用於控制端 的介面基礎。 腦波控制不同於以往運用觸碰的控制方式，能區隔 控制端和被回饋端介面，使人控制的力道感知和觸覺回 饋的力道感知互不相衝突干擾，提升觸覺回饋靈敏度。 致謝 本研究之執行承蒙國科會計畫(編號：101-2119- M-142-001、NSC 102 –2221 – E – 142 – 005)及教育部網 路通訊重點領域學程推廣計劃-102年度重點領域學程計 畫(發文字號：第1020035480A號)之支持，特此致謝。
2. Beta Gamma Delta Theta 橫軸：秒( s ) 縱軸：微伏(μV ) Alpha 以物聯網技術實現具腦電波訊號遙控與 以物聯網技術實現具腦電波訊號遙控與 以物聯網技術實現具腦電波訊號遙控與 以物聯網技術實現具腦電波訊號遙控與 HAPTIC 觸覺回饋 觸覺回饋 觸覺回饋 觸覺回饋 機制之遠端環境探勘系統 機制之遠端環境探勘系統 機制之遠端環境探勘系統 機制之遠端環境探勘系統 李宗翰、黃于珊、張涵菩、賴郡緯、張林煌* 國立台中教育大學 資訊工程學系 thlee@mail.ntcu.edu.tw, {acs099112, acs099117, acs099182}@gm.ntcu.edu.tw, lchang@mail.ntcu.edu.tw 摘要 摘要 摘要 摘要 由於觸控式、搖桿與按鈕是目前市面上最 常用的控制方式，以及僅適用於封閉式系統環 境，故本研究的目標為透過開放式環境之腦波 訊號感測系統以遠端遙控移動載具，以開發新 世代之人機介面。研究期間，使用人類行為對 應至腦波值的特性，加以辨別、分析與比對， 藉此找出可明確用來控制移動載具的波段，以 致使用者能夠輕易上手。利用開放式嵌入式系 統讀取腦波訊號加以解析，並透過無線通訊網 路傳達指令至移動載具使之執行移動行為。因 此，本研究不僅突破觸碰式等的研發裝置和商 品，而且減少中間設備的需求，達到精簡化亦 提供行動障礙者一項方便之處。 關鍵字：開放式嵌入式系統、無線通訊網路、 腦機介面、遠端遙控 一 一 一 一、 、 、 、 簡介 簡介 簡介 簡介 本研究始於傳統的操控介面外，由於科 技的發展，使得有了新的腦機操作介面出現， 而如何運用這項科技帶來的方便性，來操作並 遙控可移動之載具。 因此需要了解、擷取出人類對不同行為 所產生的腦波訊號值，並且利用這些數據加以 分析，以利未來明確的制定傳送控制訊號，本 研究所使用的腦波數據擷取工具為神念科技 NeuroSky 所開發出來的 MindWave 腦波分析 儀器產品，而移動載具則為使用 Arduino Rover。而研究過程中已經能藉由每個人腦波 的波值不同，來發送明確控制移動載具之指 令。由於每個人的腦波不完全相同，所以需要 大量的資料測試加上文獻輔助，才可以明確的 制定出由腦波發送的控制指令。在這次研究之 中，已經能掌握出某些行為上會使人類產生某 波段的腦波值，例如眨眼時，Delta 值會明顯 升高。 而市面上已有蠻多關於腦波運用之產 品，例如貓耳朵，但市面上之產品，腦波判斷 可能沒有那麼明確，本研究則探討該如何分析 腦波數據，達到更精確的人類行為之腦波判 斷。並且設計利用腦波操作介面達到控制一台 可移動之載具。 二 二 二 二、 、 、 、 文獻回顧與討探 文獻回顧與討探 文獻回顧與討探 文獻回顧與討探 近年來，隨著大腦的研究知識成果愈來愈 成熟，其相關討論亦越來越熱門。腦波儀即是 其中之一，它能夠監測人類大腦心智狀態和變 化，亦即能以儀器解讀出人沒有用話語表達出 來的心思。這項科技的發達進步，在腦波的應 用上更加多元化；以文獻[1]為例，可以用電腦 偵測腦波的變化，辨識腦波中「µ 波」變化， 進而設計出一套義肢來控制手部(手指)活動。 人類大腦由許多神經細胞組成，大腦進行 心智運作時，構成大腦的神經細胞會不斷放 電。成千上萬的神經細胞一起放電的結果，就 可讓科學家在人類頭皮上測得微弱電波或磁 波變化，此即腦波測量的原理。偵測腦神經細 胞活動用的是神經電生理的方法，此法可量測 人類大腦在不同狀態下的腦神經細胞的電位 活動變化，以波型圖呈現，稱腦電波圖(EEG)， 腦電波訊號分析之結果[2]如圖一所示。 圖一、腦電波(EEG)分析結果[2]
3. 神 念 科 技 NeuroSky[3] 公 司 所 推 出 的 MindWave 系統產品，能讓使用者不用像以往 需要透過複雜的公式、方式才能計算測量腦波 訊號。 2.1 腦電波分析之相關研究 腦電波分析之相關研究 腦電波分析之相關研究 腦電波分析之相關研究 根據文獻[1] ， 可以得知將正常腦波依據頻 率範圍的變化，區分為下列四種基本背景波： δ(0~3 Hz)、θ(4~7 Hz)、α(8~13 Hz)、β (14~26 Hz)。而根據實驗[4]的研究顯示，每種 波代表著不同的意義。 α波為優勢腦波時，人的意識清醒，但身 體卻是處於放鬆階段，它提供意識與潛意識的 橋樑。由於在這種狀態下，身心能量損耗最 少，相對地腦部所獲得的能量較高，運作就會 更加快速、順暢、靈感及直覺敏銳，腦的活動 活潑。現代科學積極倡導 α波是為人們學習 與思考的最佳腦波狀態。 β波優勢腦波時，為人清醒時大部份的腦 波狀態。隨著β波的增加，身體逐漸呈緊張狀 態，準備隨時因應外在環境而作反應。大腦能 量除了維持本身系統的運作外，尚須指揮對外 防禦系統作準備，因而削減了體內免疫系統能 力，在此狀態下人的身心能量耗費較為劇烈， 且易疲倦，若沒有充份休息，非常容易堆積壓 力。然而，適量的β波，對積極的注意力提升， 以及認知行為的發展有著關鍵性的助益。 θ波為優勢腦波時，人的意識中斷，身體 深層放鬆，這是一種高層次的精神狀態，也就 是大眾常聽到的 「入定態」 。在如此的狀態下， 對於外界的訊息呈現高度的受暗示性狀態，這 就是為何人在被催眠時會容易接收外來的指 令。此外，θ波與腦部邊緣系統有著非常直接 的關係，對於觸發深層記憶、強化長期記憶等 幫助極大，在科學界稱 Theta 波為「通往記憶 與學習的閘門」 。 δ波為優勢腦波時，為深度熟睡，無意 識狀態。人的睡眠品質好壞與δ波有非常直接 的關聯；δ睡眠是一種無夢且很深層的睡眠狀 態，通常一夜正常的睡眠週期會出現四至五 次，而發生在睡眠初期第一個出現的週期是無 夢的δ波狀態，所以，如果輾轉難眠時，能讓 自己潛意識產生出近似δ波邊緣狀態的身心 感覺，就可以快速地擺脫失眠並進入深沉睡 眠。根據科學研究，δ波亦是開發人類直覺雷 達系統的關鍵。 2.2 腦 腦 腦 腦電 電 電 電波 波 波 波訊號研究之相關 訊號研究之相關 訊號研究之相關 訊號研究之相關應 應 應 應用 用 用 用 由於腦波科技的技術發展，在許多領域上 都可見到其應用，例如教學、育樂、復健、學 習等。根據文獻[5]也將此科技商品化，將耳機 腦波儀運用在 LED 光球上，透過光球的顏色 變化可以顯示人當下放鬆的狀態。商品化的部 分除了此光球，也有商品能得知使用者的精神 狀態而做出反應，例如[6]貓耳朵，此商品會透 過感應器將腦波訊號讀出後，透過獨家的演算 法運算後，將精神狀態反應在貓耳朵上。 根據文獻[7]也有人用於智慧生活住宅的 部分，而智慧住宅本身是提供了一個可讓人在 實體空間中能相互感知的環境，例如: 藉由手 勢、聲音、移動式電話去創造環境感知系統。 文獻[7]以腦訊號控制介面去達到生活智慧住 宅。而腦訊號控制介面不但可以讓一個四肢無 自主能力的患者，不用透過任何的姿勢、動 作、或工具，即可藉由意志以達成一些簡易的 動作，更是一種直覺化之控制介面。文獻中將 腦波的互動方式應用在實體的環境中，提出一 個讓設計者維持良好精神狀況的腦訊號控制 介面系統雛型，當環境察覺到人的腦波處於打 瞌睡狀態時，適時地提供音樂、調節燈光及溫 度等環境的刺激，以調節使用者情緒，給予使 用者一個可以維持清醒且具人性化的工作環 境。 三 三 三 三、 、 、 、 系統架構 系統架構 系統架構 系統架構 根據人類不同之行為，對照 EEG 之呈現， 即可觀察腦波的值亦隨之不同。因此，可以根 據當時的表現(如：思考、動作…等)，將腦波 轉換為數位訊號加以整理與擷取，並且彙整、 繪製出與本研究所需之腦電圖，藉此判別腦波 的波形變化，進而應用於相關的功能上。 藉由腦立方耳機的讀取器(Dongle)，可以 擷取出 10 個相異之腦波值，此 10 種數值分別 為 Attention、Meditation、Delta、Theta、Low Alpha、High Alpha、Low Beta、High Beta、Low Gamma、High Gamma，其中 Attention 和 Meditation 是多重複合波形的分析結果。此 10 個相異腦波值，即是由使用者於不同之行為及 精 神 狀 況 下 的 呈 現 。 在 此 ， 則 將 擷 取 出 Attention、Meditation 和 Delta 之值，做為控制 移動載具之行進。 在無線遙控移動載具方面 ， 本研究以 WiFi Bee 無線通訊技術呈現。於腦立方耳機讀取器 以及 Rover 上各自裝上 WiFi Bee 裝置，形成 兩者間之連線和通訊。因此，在腦立方耳機讀 取器上之 WiFi Bee 分析腦波訊號並整理後， 再將控制 Rover 的指令傳至其上之 WiFi Bee。 由於 Rover 與 WiFi Bee 本身皆是 Arduino 開 放式嵌入式微處理器開發平台，故可藉此達到 分析來自腦立方耳機讀取器之 WiFi Bee 的訊 號，最後再將控制指令傳達給 Rover，其系統 架構圖如圖二所示。
4. 圖二、系統架構圖 四 四 四 四、 、 、 、 腦電波控制實驗與數據分析 腦電波控制實驗與數據分析 腦電波控制實驗與數據分析 腦電波控制實驗與數據分析 有鑑於人與人之間的相異性，每個使用者 所產生的腦電波也不盡相同，亦即，腦電波之 獨特性。為了不影響腦波判讀的正確性，本研 究需要研究如何在不同使用者下，亦能正確分 辨 擷 取 出 的 腦 波 值 並 且 加 以 控 制 。 「Attention」 、 「Meditation」和「Delta」分別 對應至人類的「專注度」 、 「冥想值」以及「眨 眼」的行為與精神狀況，因此，於實驗期間將 利用此三種較為突顯的值，作為分析與應用， 並且依據大多數使用者的情形來設定一個範 圍值(取交集)，以致於不同的使用者亦能輕易 使用腦立方耳機作為控制之一項選擇。 4.1 腦電波控制實驗設計 腦電波控制實驗設計 腦電波控制實驗設計 腦電波控制實驗設計 本研究以下列 3 種類型波「Attention」 、 「Meditation」和「Delta」的組合定義控制移 動載具的指令，於是必須以實驗找出這些類型 波所對應的人體動作，如表 2。 a. Attention (專注度 專注度 專注度 專注度) 1. 近距離專注於某一點上 2. 稍微特意地睜大眼睛 b. Meditation (冥想 冥想 冥想 冥想) 當閉目些許時間後，則可發現 Meditaion 的值持續地維持在 85~100 間，並且一睜眼的 瞬間，Meditation 值隨之降低。 c. Delta (眨眼 眨眼 眨眼 眨眼) 實驗期間，眨眼時，不必盯著某個地方 看，先於別處觀望些許時間(約 10 至 20 秒)後 再回來眨眼將較準確。 「主動性眨眼」Delta 值介於 1400K ~ 2000K 之間，當睜眼片刻(持久不眨眼的情況 之下)，其所呈現出之數值將持續降低，大致 降為 4 ~ 5 位數字。此時，若以正常的方式眨 眼一下， Delta 波值有明顯上升至 6 位數。 整體而言，此研究方向大致可分為二個步 驟，依序為腦波訊號之分析、以腦波訊號控制 移動載具。分別敘述如下： 4.2 腦波 腦波 腦波 腦波訊號之 訊號之 訊號之 訊號之分析 分析 分析 分析 藉由 Arduino 嵌入式開發平台，本實驗 可利用其所提供之終端顯示器來讀取使用者 不同行為下所產生的腦波值，並將之數位化呈 現，使其更能進一步的分析與歸納。 起 初 ， 在 三 種 腦 波 「 Attention 」、 「Meditation」和「Delta」中，先由不同使用 者以對應這些腦波所需的動作進行測試，之後 再將使用者們的資料擷取並統整，擇選出適合 的範圍以作為控制之用。而這些腦波值的單位 「ASIC_EEG_POWER unit」[8]是由 Neurosky 公司所定義。 a. Attention (專注度 專注度 專注度 專注度) Attention 專注度實驗結果如圖三與圖四 所示 。 Attention 之範圍值 ， 介於 0 至 100 區間， (單位：ASIC_EEG_POWER unit)。一開始，為 了測到 100 的最高值，使用者藉著專注於某件 事物上，例如：閱讀、思考、組裝物件或其他 等等需要專心一致的工作來達到最高值，然 而，這些方法皆不能使 Attention 的值達到顛 峰，不僅如此，此波值竟只介於中界上下。所 以使用了更進階的方式，讓使用者只近距離、 專注於某一點上，可較輕易達到 80 至 100 的 顛峰值。再者，從實驗中還可得出一項結論： 當 Attention 值升高時，Meditation 值正慢慢下 降。此點可說明，當人專注度提高時，冥想值 則會略為下降。 訊號接收器 RF Dongle 使用者 腦波分析儀器 ( Mindwave ) 無線感測模組 ( WiFi Bee ) 無線網路模組 ( WiFi Bee ) 移動載具 ( Arduino Rover ) Ad hoc
5. 圖三、專注度變化 圖四、專注度測量結果所對應之冥想值變化 b. Meditation (冥想 冥想 冥想 冥想) Meditation 冥想實驗結果如圖五與圖六所 示。Meditation 之範圍值，介於 0 至 100 區間， (單位：ASIC_EEG_POWER unit)。在使用者測 試過程中，只要當使用者閉眼許久，即可發現 Meditation 值固定在 95 至 100 的區間 。 於測試 時，可以對應上一點 Attention，Meditation 與 Attention 值呈反向，Meditation 值升高，而 Attention 便降低。 圖五、冥想值變化 圖六、冥想值測量結果所對應之專注度變化 c. Delta (眨眼 眨眼 眨眼 眨眼) Delta 之範圍值，目前測出的最高值約略 為 2500000 ， ( 單 位 ： ASIC_EEG_POWER unit)。在此，分成幾項討論：首先為主動眨眼， 此部分有別於反射性眨眼，因其所得的值稍高 於反射性眨眼，可達到七位數。然而，在每次 主動眨眼的間隔時間必須相差至少 20 秒，否 則 Delta 值會愈來愈不明確。其實驗結果可參 考圖七。另外，當使用者持續睜著眼睛時，可 以觀察到 Delta 值逐漸降至四位到五位數字， 使用者意識性地眨眼，此時數值驟升至六位數 值，中間的變化落差較大，其結果如圖八所 示。由於這兩種方式為非反射性行為，所以可 以做為使用者以自我意識控制腦機介面的控 制訊號之一。 圖七、主動眨眼之 Delta 波變化 圖八、睜眼後眨眼之 Delta 波變化 4.3 以 以 以 以腦波 腦波 腦波 腦波訊號 訊號 訊號 訊號控制 控制 控制 控制移動載具 移動載具 移動載具 移動載具 訊號接收器收到腦波訊號後，於控制端處 理腦波的分析和判斷，將有效指令格式化，其 格式如圖九所示，並封裝成 UDP 透過無線網 路模組傳送封包，在 Ad hoc 網路架構下，再 將有效指令點對點傳送至執行端。 圖九、傳送指令的 UDP 封包格式 移動載具( Arduino Rover )初始動作為停止 ， 當 MindWave 訊號強度達到最佳時，送出第一個
6. UDP 至移動載具執行預設動作。移動載具上 搭載的無線網路模組收到 UDP 封包後，對 payload 進行欄位切割，萃取出移動方向和行 進速度並配置於移動載具，移動載具將持續執 行該指令數秒。執行該指令期間，若有新指令 到達，需待該指令執行數秒後才會執行新指 令；反之，若未收到任何新指令，則移動載具 執行預設動作；倘若經過一段時間持續未收到 新指令時，則移動載具不再執行預設動作而原 地停止。 使用腦波控制移動載具的指令分別有 前、後、左、右與停止，甚至控制速度，因此 需制訂與指令相對應的特定動作且定義門檻 值。當使用者做出這些特定動作時，若腦波達 到各波段的門檻值，即能發送明確的移動指 令，表一呈現腦電波與載具移動指令間的詳細 對應關係。 表一、指令表 指令 動作 控制參數 門檻值 前(加速) 注視 Attention 80~100 後 睜眼許 久後眨 眼 Delta 6 位數 左 閉眼許 久 Meditation 90~100 右 眨眼 Delta 7 位數 停止 預設 Signal > 0 五 五 五 五、 、 、 、 結論 結論 結論 結論 本研究結合腦波、無線網路架構及移動載 具模擬遠端遙控，特別著重於腦波之分析，並 將其應用於控制端的介面基礎。 腦波控制不同於以往運用觸碰的控制方 式，例如：傳統之搖桿或按鈕等控制介面。腦 波控制適用於肢體癱瘓、行動不便的使用者， 腦機介面( Brain Computer Interface )改善其體 驗( User experience )，相較於傳統的觸碰控 制，腦波控制對於這些使用者更加友善便利。 此外，近來新興的觸覺回饋之領域，腦波控制 能夠區隔控制端和回饋端介面，使人控制時的 力道感知和觸覺回饋的力道感知互不相衝突 干擾，提升觸覺回饋的靈敏度。 無線網路架構提升移動載具之機動性及 可移動範圍，未來更可運用 Access Point 強化 無線網路架構，進行遠端控制。此外，將感測 器加入移動載具，透過無線網路架構回傳感測 資料，即為遠端回饋，形成無線感測網路 ( Wireless sensor network )。 由於網際網路的蓬勃發展與行動及無線 網路技術日新月異，在不久的將來，相信人類 將生活在一個無所不在( ubiquitous)的世界 裡，許多的 IT 設備轉型為網路化。物聯網 (Internet of Things, IOT) 概念的問世，打破了 之前的傳統思維，在網路化的時代下，除了人 與人之間可以透過網路相互聯繫、人也可透過 網路取得物件的資訊外，物件與物件之間可以 互通的網路環境之構想，利用網路發展人類與 機器將相互感知互動之研究。大環境的發展趨 勢及上述特點使得本研究概念具有多樣化的 未來發展。 六 六 六 六、 、 、 、 致謝 致謝 致謝 致謝 本研究之執行承蒙國科會計畫(編號： 101-2119-M-142-001, NSC 102 –2221 – E – 142 – 005)及教育部網路通訊重點領域學程推 廣計劃-102 年度重點領域學程計畫(發文字 號：第 1020035480A 號)之支持，特此致謝。 參考文獻 參考文獻 參考文獻 參考文獻 [1] 方振隆, “腦波控制之主動式義手,” 國立 成功大學機械工程學系碩士班, 碩士論 文, 2004. [2] NeuroSky, Inc. 神念科技, “Brain Wave Signal (EEG) of NeuroSky, Inc.,” De- cember 15, 2009. [3] NeuroSky, Inc.神念科技,腦波儀器開發, http://neurosky.com/zh-Hant/Default.aspx [4] 臺灣大學物理系實驗, 人體標準腦波圖, http://web.phys.ntu.edu.tw/asc/FunPhysExp /ModernPhys/exp/EEG.pdf [5] 大寶科技, “MindLamp 腦波光球-世上第 一 個 隨 情 緒 變 化 色 彩 的 互 動 裝 置 ,” http://www.alchemytech.com.tw/product/pr oduct4.php [6] necomimiTM, “腦電波技術-腦波貓耳朵,” http://www.necomimi.com.tw [7] 黃郁鈞, “腦波介面在智慧型空間的應 用：以提出一個感知人的智慧型空間為 例,” 國立交通大學建築研究所, 碩士論 文, 2004. [8] NeuroSky, Inc. 神 念 科 技 , “EEG Band Power values : Units and Meaning,” in the Development of Knowledge Base. http://support.neurosky.com/kb/developmen t-2/eeg-band-power-values-units-and-meani ng