Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

愛知県⽴学情報科学研究科神⾕幸宏研究室 † ⼩久保律樹‡ Rev. Sensor Fusion
for Unobtrusive Respiratory Rate Estimation in Dogs I LAB PR 20S1 2 2020/5/27, 7/15, 8/5 ⽝の隠密な呼吸検出のためのセンサフュージョン 2020年度前期研究室輪講（20S-1）

2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs
1 ⽬次研究背景⽝の呼吸計測の意義⽝の呼吸計測の難しさ研究の⽬的・新規性実験概要実験概要実験条件デバイス構成およびセンサガイド参照⽤信号 (IP) FlexPockの概要 MIセンサ PPGセンサセンサ信号の処理ガイド参照⽤データの処理 MI, PPG, 加速度センサ信号の処理信号品質評価関数実験結果および考察ガイド実験概要（再掲）評価項⽬センサの組み合わせの評価 MQとNMQの評価⽝毎の呼吸推定精度の評価信号品質評価関数の意味 MQとNMQについての考察プログラム例 p2 p3 p8 p11 p13 p14 p18 p19 p21 p24 p34 p39 p40 p51 p59 p63 p64 p69 p71 p76 p80 p92 p96 p100 p12 p17 p38 p62 p101 p103 p106

2020/5/27 研究背景 2 Sensor Fusion for Unobtrusive Respiratory Rate Estimation
in Dogs

⽝の呼吸計測の意義 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in
Dogs 3

4 呼吸は重要な情報源⽝の感情嬉しい / 不快 ⋯ 1 呼吸器系の病気の予兆 2 が代弁？は通じないが ⋯ 呼吸は⽝の感情を理解したり病気の予兆を捉える重要な情報

5 ⽝の感情変化の例悲しい⽝⼩屋に⼊れられる嬉しい不快・苦痛落雷・花⽕など⼤きな⾳や光ご褒美への期待飼い主との離散治療や⼿術による痛み飼い主との再会飼育や治療の質向上に役⽴てられるかも感情を評価できれば⽝をより深く理解できる

6 ⽝の感情と⽣理現象の関係嬉しい悲しい不快・苦痛特定の呼吸のリズムを⽰すストレスホルモン増⼤を⽰す (特定の状況下) 喘ぎ “ハッハッハッ” “コルチゾール” ⾎液の採取が必要⽝に⼤きな負担⽇常的な利⽤は⾮現実的客観的な計測⽅法が必要⽇常的な利⽤を考えると⽝に負担の少ない計測⽅法が必要

7 既存の呼吸計測⽅法 1 ⼿動での計測 2 容積変動測定器 3 ⽝⽤マスク⽝の⾏動制限なし⽝の負担なし主観的・不正確客観的・正確⽝の負担なし客観的・正確⽝の⾏動制限なし⽝の⾏動制限あり⽝の負担ありを満たす呼吸計測⽅法が必要感情と呼吸の関連性を調べる実験のより⾃由な実現・⽇常的な活⽤のため

⽝の呼吸計測の難しさ 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in
Dogs 8

9 肺周辺の動きが⼤きい四⾜歩⾏のため, 歩くと肺周辺も⼤きく動く⽑⽪で覆われている⽑が邪魔をしてセンサが使えないことも⽝特有の呼吸 “喘ぎ”の時の呼吸感覚は⾮常に早い⽝の呼吸計測の難しさ⾔葉が通じない実験とはいえ⼤⼈しくしてもらえない

10 喘ぎによる問題⽝の喘ぎ呼吸「ハッハッハッ…」：間隔が⾮常に早い周波数⼼拍呼吸周波数⼼拍呼吸通常時喘ぎ呼吸の時⼼拍と周波数帯域が被り、フィルタで分離できない

11 研究の⽬的研究の新規性普段使いできる、⽝に負担のない呼吸計測⽅法を開発する事 1. ⽝の呼吸計測に利⽤できる計測デバイスを開発した事 2. 推定精度を向上させるため信号品質の評価⽅法を開発し導⼊した事 3. 開発したデバイス・⼿法が有効か確かめるため実際に⽝に対して呼吸計測を⾏い、評価する実験を⾏った事

2020/5/27 実験概要 12 Sensor Fusion for Unobtrusive Respiratory Rate Estimation
in Dogs

13 実験概要 1 呼吸計測デバイス“FlexPock”および参照⽤呼吸計測デバイスを⽝に装着 2 ⽝に特定の⾏動をとってもらう計測したデータをそれぞれ処理時刻ごとの呼吸間隔を出す結果を⽐較して評価・検討 10:00 10:05 参照 FlexPock 10 BPM 10 BPM 10 BPM 09 BPM ･･････ 3 10:00 10:05 参照 FlexPock 10 BPM 10 BPM 10 BPM 09 BPM ･･････ 4 筆者らが開発した⾮接触計測デバイス

14 実験条件歩く横たわる座る⽴つ 1分30秒 1分30秒 1分30秒 1分30秒 6分 6分 6分 6分⾏動を持続させるため必要であれば餌を与えたリードはつけない 25℃ 4つの状態室温各 1分 30秒 × 4セット (計24分) 室内実験場所

15 実験に参加した⽝の属性 ID ⽝種年齢体重 [kg] 性別⽑の種類 1 ゴールデン・レトリーバー 1歳2ヶ⽉ 24 メス L, TL, CTB 2 シェットランド・シープドッグ 5歳1ヶ⽉ 11 メス L, TL, F, D 3 オーストラリアン・シェパード 5歳3ヶ⽉ 21 メス L, TL, CTB 4 オーストラリアン・シェパード 9歳11ヶ⽉ 22 オス L, TL, CTB 5 ゴールデン・レトリーバー 7歳0ヶ⽉ 26 メス L, TL, CTB 6 ボースロン 10歳3ヶ⽉ 31 メス S, TL, FI 7 ボースロン 9歳0ヶ⽉ 38 メス S, TL, FI 8 フラットコーテッド・レトリーバー 3歳9ヶ⽉ 27 メス L, TL, CTB 9 ロマーニョ・ウォーター・ドッグ 12歳4ヶ⽉ 15 メス C, TL, F 10 ロマーニョ・ウォーター・ドッグ 6歳3ヶ⽉ 13 メス C, TL, F L: ⻑い, S: 短い | C: 巻き⽑ | TL: 2層 | CTB: 体表⾯に近い | F: 柔らかい, FI: 硬い | D: ⾼密度 [1] Table. 1

0 1 2 3 4 5 6 7 8 9
10 11 12 13 10 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs 16 実験に参加した⽝の属性 ♂1 ♀9 [歳] 10 15 20 25 30 35 40 [kg] 計匹の健康な⽝平均 7 平均 22.8

2020/5/27 デバイス構成およびセンサ 17 Sensor Fusion for Unobtrusive Respiratory Rate Estimation
in Dogs

18 ガイド：デバイス構成およびセンサ • SpiritCor9D（参照⽤データ：電極による計測デバイス） • FlexPock（筆者らが開発した⾮接触計測デバイス） • 概要 • 搭載しているセンサ • 磁気インピーダンスセンサ（MIセンサ） • 原理 – 磁気インピーダンス効果 • 計測⽤センサとしての実現 – コルピッツ発振回路 • 反射型光電容量脈波 (rPPG) • 原理 • 実現 – 省略 • 加速度センサ • 原理、実現 – 省略

参照⽤信号 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in
Dogs 19

20 参照⽤信号取得デバイス：SpiritCor9D 3軸加速度計電極接続が必要電極1対で同時に計測可能 ECG IP 電極電極 • ⼼臓が発する微弱な電流[26] • ⼼臓の動きを強く反映する • 電極間の⽪膚の電気抵抗の⼤きさ[27] (電極間の⽪膚の⽣体インピーダンス) • 胸に電極をつけた場合、呼吸による胸の動きを強く反映するただしあまり信頼性はない[25] 呼吸による胸の動きもわずかに反映する ECGから呼吸間隔を推定する技術もある(EDR)[28](*1) (*1) ECG Delivered Respiratory ECG 250Hz FS Impedance Pneumography 250Hz FS [1] Fig. 2

FlexPock 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in
Dogs 21

22 FlexPockの概要 LED フォトダイオード LED LED コイル⼈間⽤FlexPock[2] 前⾯背⾯ LED フォトダイオードコイル加速度センサバッテリー⽝⽤FlexPock • 筆者らが開発した⾮接触計測デバイス • 服の上から装着しても問題ない • 元々は⼈間の⼼拍計測⽬的で開発 • 単体でセンサでの計測/信号の処理/データの無線送信をすべて⾏うことができる • バッテリーで駆動可能 • 3つのセンサーを搭載 (コイル) Magnetic Impedance, MI (LED+フォトダイオード) Reflective Photoplethysmography, rPPG Accelerometer, ACC [2] Fig. 1 [1] Fig. 1 100Hz FS

23 FlexPockの装着⼈間：シャツの胸ポケットに⼊れる胸ポケットのサイズに収まるように設計[2] ⽝：ペット向け医療⽤シャツの⾝体側のポケットに⼊れる [2] Fig. 12 [1] Fig. 3

FlexPockに搭載されたセンサ（1）磁気インピーダンスセンサ（MIセンサ） 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation
in Dogs 24

25 ⽣体インピーダンス (Bioimpedance) Bioimpedance is about the electrical properties of your body[3]. “⽣体インピーダンスとは私たちの体の電気的特性のことを指します。体は多かれ少なかれ電気を通す [意図的に流す例] 脳からの命令を筋⾁に伝える[5] ⾎液は弱アルカリ性で電気を通しやすい[5] ⽪膚が完全な絶縁体じゃないので体に溜まった電気が⾦属の取っ⼿に逃げてバチっとくる体を構成する組織によって電気の流れやすさなどが違う[6](*1)(*2) ⽪膚脂肪肺筋⾁⼼臓⽣物の体は電気的抵抗の異なる複数の素材からなる巨⼤な導電体とみなすことができる (*1) 電気電動性は⽔分量と電解質量に⽐例し、細胞の形が円形に近いと電気伝導性が⾼くなる。[6] (*2) このことを利⽤して脂肪量などを推定する⽅法を⽣体電気インピーダンス法 (BIA法)という。[6]

26 ⽣体インピーダンスの変化とその計測脂肪肺筋⾁⽣体の活動 (例: 肺の動き) などにより⽣体インピーダンスの分布が変化する[1] ⽣体インピーダンスの異なる様々な部位電気の流れやすい部位ということは･･･⽣体インピーダンスの分布の変化を捉えれば⽣体の活動を計測できる！ A 実際に電気を流して流れやすさを調べる Impedance pneumography (IP) など ※電極を体に貼り付ける必要がある B 渦電流を発⽣させその際に⽣じる磁界 (*1)の変化を調べるそんな事が可能なのか？磁気インピーダンス効果の利⽤ (*1) アンペールの法則

1.0E-07 1.0E-05 1.0E-03 1.0E-01 1.0E+01 1.0E+03 2020/5/27 Sensor Fusion for
Unobtrusive Respiratory Rate Estimation in Dogs 27 磁気インピーダンス効果 N S 外部磁場 (ex) コイルのインピーダンス () 影響 • 磁気インピーダンス効果：コイルに⾼周波電流やパルス電流を流した際に流れる電流が外部磁界により影響を受ける事[7][9][10]。 • 特定の磁性体（アモルファスなど）に⾒られる[7][9][10]。磁気インピーダンス効果の例[8] • 微⼩な磁場の変化がコイルのインピーダンスに⼤きな影響を与える。 • ⽣体インピーダンスの測定のほか、地磁気センサーとしても応⽤される[9]。 • ⼩型化・集積化も容易だが、⽣産コストが⾼い点が⽋点である[7]。⽇本では愛知製鋼がMI効果を活⽤した各種センサを製造[11]。愛知製鋼の電⼦コンパス MI 分解能 10nG 分解能は⼼臓磁気を優に下回る[7][12] [ガウス]

28 FlexPockにおける磁気インピーダンスセンサーの実現 1 2 3 ⽣体活動による⽣体インピーダンスの変化を磁気インピーダンス効果によりコイルのインピーダンス変化として捉える。 1 2 コイルのインピーダンス変化を発振回路の周波数変化に変換する。 3 周波数変化を記録し、各種処理を実⾏してメモリに保存する。 → この節で紹介します。 → この節で紹介します。 → 省略します。MIセンサの値の処理については⼈間⽤と⽝⽤で異なるようです。左記のブロック図は⼈間⽤[2]です。 [2] Fig. 3

29 FlexPockのMIセンサ(1) - ⽣体インピーダンスを捉える[1] コイルに⾼周波交流電流を流し磁界を発⽣させる。 1 電磁誘導により体の組織側で磁界を打ち消す⽅向に起電⼒が⽣じ、磁界が発⽣する。この時の磁界は体の活動により変化する。 2 磁気インピーダンス効果により発⽣した磁界がコイルのインピーダンスに影響を与える。 3

30 FlexPockのMIセンサ(2) ‒ ｲﾝﾋﾟｰﾀﾞﾝｽ変化を周波数変化へ⽅法：インピーダンス変化を発振回路の周波数決定部分として作⽤させる[2]。 -1 反転増幅電位0 出⼒ FlexPockのコルピッツ型発振回路の模式図特定の周波数の波を継続的に出⼒するコルピッツ型発振回路の構成要素[13] LC回路 (狭帯域バンドパスフィルタ) 1 コンデンサの分圧回路を⽤いて電位を取り出す 2 1 2 [2] Fig. 3 インピーダンス周波数の発振

31 発振回路の構成要素(1) ‒ LC回路バンドパスフィルタ -1 電位0 ⼊⼒X(s) 出⼒Y(s) ⼊⼒が⽩⾊雑⾳とする。この信号をs領域で考え、LC回路部分をシステムとみなす。 () = ()() ()：LC回路による影響 (伝達関数) コイル・コンデンサ・抵抗のインピーダンス/アドミタンスもs領域で表現[15]。システム H(s) ｲﾝﾋﾟｰﾀﾞﾝｽｱﾄﾞﾐﾀﾝｽ抵抗 1/ コイル 1/() コンデンサ 1/() 1 = 1 + = 1 + ! = 1 + ! これを利⽤してしたがって伝達関数の極配置は ! = −1 より = 1 = 0 + を代⼊して = 1 つまりコンデンサの容量Cを固定すれば, コイルのインダクタンスLにより通過周波数が変化するバンドパスフィルタと⾔える。 ※ [13]では普通にインピーダンスを合成して実際の数値例も出しています。そっちの⽅がわかりやすいかも。[15]で電⼦回路部品のs領域表現を⾒つけて⾯⽩そうだったので使ってみました。このように捉えると電⼦回路とデジタルフィルタの溝がかなり埋まる気がします。発振に関する係数c=0とし周波数領域にマッピング

32 発振回路の構成要素(2) ‒ コンデンサ分圧回路[13][14] -1 電位0 " = # $ = ? % = 0 & ! # $ = 1 ! 1 & + 1 ! # $ = 1 ! 1 & + 1 ! # = & & + ! # " $ = 0 % & ! # " = # $ = & & + ! # % = 0 & ! # " = # − & & + ! # = 1 − & & + ! # $ = 0 % = 0 − & & + ! # = − & & + ! # & ! # − & & + ! # 反転する

33 FlexPockのMIセンサ(2) ‒ ｲﾝﾋﾟｰﾀﾞﾝｽ変化を周波数変化へ⽅法：インピーダンス変化を発振回路の周波数決定部分として作⽤させる[2]。 -1 反転増幅電位0 出⼒ FlexPockのコルピッツ型発振回路の模式図コルピッツ型発振回路の構成要素[13] LC回路 (狭帯域バンドパスフィルタ) 1 コンデンサの分圧回路を⽤いて電位を取り出す 2 1 2 最初：回路で発⽣する雑⾳コイルのインピーダンス(インダクタンス)により決定される周波数の波が反転されて出⼒次第に特定周波数の波のみになる [2] Fig. 3

FlexPockに搭載されたセンサ（2）反射型光電容量脈波（rPPG） 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation
in Dogs 34

35 光電容量脈波 (PPG) の概要⾎管内に巡る⾎流の体積変化を光で読み取る⽅式がPPGセンサーとなっています[18]。 “ 発光器 (LED等) 受光器 (PD等) 発光器受光器体にLED等の発光器を当てて光らせ、PD等の受光器で検出した光の量から⾎圧などの⾎管の状態、⾎液量・⾎中酸素飽和度[20]、⼼拍・呼吸[22]などを計測できる。発光器と受光器を同じ⾯に配置して体から帰ってくる反射光を利⽤するものを反射型PPG (rPPG)と呼ぶ[19]。 PPG 反射型PPG (rPPG) LEDを発光器・カメラを受光器として⽤いればｽﾏｰﾄﾌｫﾝでも⼼拍測定などが⾏える[20]。 [20] [19] スマートフォン指 Apple Watch

36 rPPGで考慮すべき点：波⻑の選択測定対象による考慮[21] 1 受光器の特性による考慮 2 発光器受光器感度波⻑受光器としてはフォトダイオードなどが⽤いられるが、波⻑により感度が異なるという特性がある。（⼈間の⽬と同様[40]）受光器の感度の⾼い波⻑を選んだ⽅がSN⽐が⾼くなり計測が容易となる。 FlexPockの波⻑のうち⼀つはこれを考慮していると思われる[2]。光量の変化から⾎液量の変化を捉える体⾎⾎⾎⾎酸化ヘモグロビン脱酸化ヘモグロビン O ⾎液が吸収する光の波⻑にしなければ光量が変化しない⾎液 - 酸化ヘモグロビンと脱酸化ヘモグロビンで構成⾎液量を測定 ⇒ 酸化・脱酸化ヘモグロビンで吸収量が同じ波⻑を選択⾎中酸素濃度を測定 ⇒ 酸化ヘモグロビンのみ吸収する波⻑を選択

37 FlexPockのPPGにおいて呼吸計測が可能な原理[1] ⽪膚灌流（Skin Perfusion）が呼吸により変化 A 呼気時に脈拍数が減少し，吸気時に脈拍数が増加するという⽣理現象（呼吸性洞性不整脈）がある[21]。おそらくこのことを⾔っているのだと思われる。呼吸により⽪膚の伸縮が発⽣ B 呼吸により発光器から体体から受光器への光の届き⽅が変化 C 上記はPPGが⾎管や⾎液の状態を捉えるという考えに基づいたもの。 FlexPockでは服の上や体⽑の上に受光器・発光器を配置することになる為、以下のような理由も考えられる。

2020/5/27 センサ信号の処理 38 Sensor Fusion for Unobtrusive Respiratory Rate Estimation
in Dogs

39 ガイド：センサ信号の処理 • 参照⽤データの処理（参照⽤データ：電極による計測, SpiritCor9D）これは信頼できる参照⽤データを作る処理：機械化（⾃動化）を⽬的としない 1. 不要な信号成分の除去 2. ピークの選択（周期抽出） 3. 不信頼区間の除去 • MI, rPPG, 加速度センサの処理（FlexPockに搭載されているセンサ）これは機械化（⾃動化）を⽬的とする 1. CLIE法（周期推定アルゴリズム） 2. センサフュージョン • 信号品質評価関数（信号品質の評価）

参照⽤データの処理 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in
Dogs 40

41 参照⽤信号の処理 ‒ 全体像 1 不要な信号成分の除去 2 ピークの選択 3 不信頼区間の除去⼼拍や体の動きによる成分などを除去なるべく呼吸を表す成分のみとなるようにする IP信号のピーク位置を抽出呼吸間隔が計算できる状態にするピーク位置が信頼できない箇所を利⽤しないようにする

42 不要な信号成分の除去 1. 1 1. 2 Savitzky-Golay 平滑化フィルタを適⽤ (2次, 45サンプル幅) 1. 3 Butterworth ハイパス/ローパスフィルタを適⽤ (6次) 独⾃の平滑化処理？近似⼀次導関数値の1.5秒毎の⼆乗平均平⽅根(RMS)を計算 a 各サンプル点がで求めた各RMSの±1.5倍を超える所を除去 b で除去したサンプル点を区間的3次エルミート補完で補完 c 1 不要な信号成分の除去 2 ピークの選択 3 不信頼区間の除去

RMS 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in
Dogs 43 独⾃の平滑化処理？近似⼀次導関数値の1.5秒毎の⼆乗平均平⽅根(RMS)を計算 a 各サンプル点がで求めた各RMS の±1.5倍を超える所を除去 b で除去したサンプル点を区間的 3次エルミート補完で補完 c ※上記の図は⼈間の実際のIP信号を公開データセット“MARSH”[30][31]から取得して処理を適⽤した例 IP信号 Δ/Δ RMS(Δ/Δ) 1.5s 3.67e-10 RMS 3.59e-10 RMS 3.60e-10 RMS -1.5RMS +1.5RMS Δ/Δ 超越した所に対応するサンプル点を除去除去済み信号元信号 IP信号 IP信号除去済み信号元信号補完した信号急激な変化を除去平滑化のようなものか？

44 Savitzky-Golay 平滑化フィルタ実は単純移動平均や線形荷重移動平均はSavitzky-Golayフィルタの⼀種であるある特定の範囲（窓）で最⼩⼆乗法による多項式近似を⾏い平準化する⽅法なめらかにする処理：信号の特徴を維持しつつ平準化したいときに効果的[32]-[34] IP信号平滑化済み信号補完済み信号窓 -1 -2 -3 0 1 2 3 -1 -2 -3 +1 +2 +3 両側M点 = + + 最⼤次数 ※上記の図は⼈間の実際のIP信号を公開データセット“MARSH”[30][31]から取得して処理を適⽤した例

45 Butterworth ローパス/ハイパスフィルタ通過帯域が数学的に可能な限り平坦な周波数特性となるよう設計されている[35]フィルタアナログフィルタであり、デジタルデータに適⽤するにはインパルス不変変換や双⼀次変換などが必要[16] (*1) Alessio Damato - 投稿者⾃⾝による作品, CC 表⽰-継承 3.0, https://commons.wikimedia.org/w/index.php?curid=427738による [35](*1) リップルが少ない通過域阻⽌域減衰が緩やか () = 1 ∏*+, -+&( − * ) where * = Ω. exp 2 + 2 + 1 2 ( = 0, ⋯ , − 1) Ω. ：カットオフ周波数 N () = () 2 1 − /& 1 + /& = 1 ∏*+, -+& 2 1 − /& 1 + /& − * Ω. = 2 tan . 2 . ：カットオフ正規化周波数双⼀次変換はフィルタ特性の正確な反映を犠牲にする代わりにエイリアシングの問題が起きない[16]。なおMatlabではその点も考慮してフィルタ特性を正確に保存するように変換しているとのこと[36]。おそらく上記のような単純な式ではない。

46 ピークの選択 2. 1 局所最⼤値を選択 2 ピークの選択 3 不信頼区間の除去 1 不要な信号成分の除去 2. 2 ピーク同⼠の間隔による間引き (最⼩幅：200ms) 2. 3 ピークの⾼さによる間引き 2. 4 信号の増減具合によるピークの間引き 2. 5 ピークの⼿動追加・呼吸数の線形補間？ (詳細不明)

47 局所最⼤値を選択/ピーク同⼠の間隔による間引き Δ Δ 局所最⼤ 0クロス点 ※後退差分(*1) 対応最低 [ms] > 200 [ms] 2. 1 局所最⼤値を選択近似を求める。0クロス点は増減が切り替わる箇所なので、局所最⼤に対応する。 2. 2 ピーク同⼠の間隔による間引き求めた局所最⼤(ピーク)同⼠の間隔がの場合、⼤きさを⽐較してする。 (*1) 収束のオーダーを考えると中⼼差分を⽤いるべき[37]だが、作図の簡便化のため後退差分とした。＋ー

48 ピークの⾼さによる間引きピークの⾼さを評価：いろいろ⽅法がありそうだが、論⽂には書かれていなかった MATLABのヘルプに書かれていたやり⽅[38]を紹介ピークの位置から⽔平線がぶつかった点までのそれぞれの区間で最⼩値を⾒つける b ピークの位置から⽔平に線を以下の状態になるまで伸ばす a で求めた最⼩値のうち⼤きい⽅の点とピークとの⾼さの差をピークの⾼さとする c • ⽔平線と信号線がぶつかる • 信号線の[左 | 右]端へ到達例えばこのように評価したピークの⾼さが閾値以下であるピークを除去する d 最⼩最⼩この最⼩値は信号の端かまたは信号の⾕の位置となるピークの⾼さ具体的な閾値は不明

49 信号の増減具合による間引き Δ Δ ピーク 0クロス点 ※後退差分(*1) (*1) 収束のオーダーを考えると中⼼差分を⽤いるべき[37]だが、作図の簡便化のため後退差分とした。････････････増加側⾯積 up 減少側⾯積 down ＋ー対応近似⼀次導関数の増加から減少の転じる0クロス点(局所最⼤; ピーク) を中⼼として左側の0クロス点と右側の0クロス点それぞれで構成する⾯積（up, down）の⽐が1:5または5:1以上であれば、ピークを除去する。呼吸を表す IP信号の増減の様⼦は⼤体同じ [1] Fig.5

50 ピークの選択 2 ピークの選択 1 不要な信号成分の除去 3 不信頼区間の除去⽝の動きが激しい場合、うまく信号を取得する事ができない。加速度センサの値が⼀定以上の区間は「信頼できない区間」としピークを除去し、呼吸間隔を算出しない。(⽤いない)

MI, rPPG, 加速度センサ信号の処理 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate
Estimation in Dogs 51

52 呼吸間隔推定アルゴリズム ‒ CLIE法の概要 Continous Local Interval Estimator（CLIE）アルゴリズム[39] 時間毎に変わるピーク同⼠の間隔 (呼吸間隔) を推定⼼拍間隔 (BBIs) 推定⽤途で提案された⽅法 490 ms 500 ms 500 ms 510 ms IP信号のようにピーク抽出をするのではなく特定の幅で切り出した信号2つの類似度を評価するような⼿法 ARSと似たような考え⽅

53 CLIE法の流れ 0 信号の事前処理 SGフィルタやローパス/ハイパスフィルタ適⽤など信号を中⼼がで幅がの窓で切り出す最⼤間隔の基本波形全体2つが収まるような幅最⼤間隔 !"# [サンプル], 最⼩間隔 !$% [サンプル] 窓シフト幅 Δn& [サンプル], 窓初期位置 '(")( [サンプル], 振幅閾値 ) ← 1 # = 45675 窓内の信号の振幅が閾値以上の場合この窓は“無効”とし次の処理を⾶ばす 3 この窓における局所推定間隔を求める 4 信号の端まで到達していたら終了そうでなければ窓をシフトして処理を続⾏ 5 1 2 終了窓の中⼼の位置を初期位置に設定 # = # + ∈ −869 , ⋯ , 869 ← + 1 #:& = # + Δ) パラメータ # − 869 # + 869 2869 # −869 869 0 > 7 INVALID < 7 PASS # +Δ) 2 3 5 4 (*1) (*1) 窓内のインデックスの付け⽅が[1]と[39]で異なるが、本資料では[1]に従う。結果に影響はない。

54 局所推定周期の算出 1 Modified Autocorrelation Lag-Adaptive Short-Term Autocorrelation (LASTA) (*2) ;"<=" [] = 1 j >+, - [ − ] 窓内においてピーク間隔がであるかどうかを評価する関数を⽤意この関数が最⼤となるをこの窓内における推定局所間隔とする # − 869 # + 869 # −869 869 0 間隔 = 0, 1, ⋯ = 0 − , 1 − , ⋯ 2 Modified Average Magnitude Difference Function (AMDF) (*2) 3 Maximum Amplitude Pairs (MAP) (*2) 推定局所間隔 # = argmax - [] "?@A = 1 j >+, - − − /& ?"B = max >∈ ,,⋯,- + [ − ] ･･･実際の間隔# 評価に使う1対のサンプルはが実際の間隔! に等しい時、基本波形の同じ値のサンプル同⼠となる ※ピークが鋭いECGには有効な評価関数だが、呼吸を表す信号には不適なため本研究では⽤いない (*1) ⼤枠のアルゴリズムは同じで評価関数が異なるのはARSシリーズに似ている。上から順にGMRS, ASO, ARS (*2) これらの関数は元はそれぞれ⾳声のピッチ抽出のために別々に提案された評価関数である[39]。

55 評価関数の出⼒の合成、センサフュージョン評価関数の出⼒を合成して精度を⾼める⽂献[39] では評価関数をベイズ確率論の事後確⽴密度関数と捉え結果として右のように合成することを提案(*1) * [] → (|* ) (*1) 詳細な議論は⽂献[39]の§2.4を参照。いくつか仮定を置いて & , ⋯ , F ∝ & ⋯ (|F ) 加速度センサ LASTA AMDF LASTA AMDF qrstr,ruu [] rvwx,ruu[] qrstr,vy [] rvwx,vy[] !"#$% = &'()','++[] ',-!,'++[] &'()',,.[] ',-!,,.[] × × × vy ruu 本研究では複数種類のセンサの複数の評価関数を合成する MIセンサ

56 評価関数の実際（1） AMDFが明確でLASTAは緩やか両⽅を合成することでより明確に [1] Fig.6 ⼼拍ではどれも明確に出るピークが鋭い信号に有効か論⽂と同じような結果 MAPは不適としていたがこの信号ではそのように思えない

57 評価関数の実際（2）LASTAよりもMAPの⽅が良い？窓の中⼼ +3サンプル窓の中⼼ -7サンプル窓を少しずらすだけでLASTAの⼭の位置が⼤きく変わってしまう MAPは全然変わらないのでMAPを使った⽅が良いのではないかと思えた

58 本論⽂における推定間隔の出し⽅ 500ms 推定間隔窓幅: 1.3s 460ms 推定間隔 510ms 推定間隔 500ms 推定間隔 460ms 推定間隔中央値 460ms 推定間隔中央値集計幅: 15s # N G 460ms 推定間隔中央値 15秒ごとに平均の推定間隔を出していく

信号品質評価関数 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in
Dogs 59

60 信号品質評価関数の概要ピーク間隔の推定に⽤いた評価関数の値を利⽤して信号品質を評価する推定したピーク間隔の値が信頼できるか否かを決定し、信頼できなければこの区間における推定値を⽤いない 115 推定間隔 AH4IJ CLIE 115 推定間隔 or Invalid 推定間隔信号品質評価 OK or NG

61 信号品質評価関数 1 Median Quality (MQ) 2 Normalized Median Quality (NMQ) [] = (# ) [] = [] ⋅ N G ! # = AH4IJ,# [# ] ∑ -+, -"#$ AH4IJ,# [] ∈ {g番⽬の範囲に含まれる窓のイテレーション番号} 窓幅: 1.3s 集計幅: 15s + 1 − 1 + 1 # #:& [] = (# ) 各窓毎の信号品質評価評価関数の明瞭度を⽰す低周波数信号 (⻑周期) ほどMQの値が低く出る傾向があるため、推定間隔で重み付けしたもの。これら2つの値に閾値を設ける

2020/5/27 実験結果および考察 62 Sensor Fusion for Unobtrusive Respiratory Rate Estimation
in Dogs

63 ガイド：センサ信号の処理 • 実験概要（再掲） • 評価項⽬ • センサの組み合わせの評価：どのセンサの組み合わせが良いのか • MQとNMQの評価：正しく信号品質が評価できているのか • ⽝毎の呼吸推定精度の評価：正しく呼吸推定が⾏えるか • 個体の特徴による結果の変化：どのような因⼦が精度に影響を与えるか • ⽝の状態による結果の変化

実験概要（再掲） 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in
Dogs 64

65 実験概要 1 呼吸計測デバイス“FlexPock”および参照⽤呼吸計測デバイスを⽝に装着 2 ⽝に特定の⾏動をとってもらう計測したデータをそれぞれ処理時刻ごとの呼吸間隔を出す結果を⽐較して評価・検討 10:00 10:05 参照 FlexPock 10 BPM 10 BPM 10 BPM 09 BPM ･･････ 3 10:00 10:05 参照 FlexPock 10 BPM 10 BPM 10 BPM 09 BPM ･･････ 4 筆者らが開発した⾮接触計測デバイス

66 実験条件歩く横たわる座る⽴つ 1分30秒 1分30秒 1分30秒 1分30秒 6分 6分 6分 6分⾏動を持続させるため必要であれば餌を与えたリードはつけない 25℃ 4つの状態室温各 1分 30秒 × 4セット (計24分) 室内実験場所

67 実験に参加した⽝の属性 ID ⽝種年齢体重 [kg] 性別⽑の種類 1 ゴールデン・レトリーバー 1歳2ヶ⽉ 24 メス L, TL, CTB 2 シェットランド・シープドッグ 5歳1ヶ⽉ 11 メス L, TL, F, D 3 オーストラリアン・シェパード 5歳3ヶ⽉ 21 メス L, TL, CTB 4 オーストラリアン・シェパード 9歳11ヶ⽉ 22 オス L, TL, CTB 5 ゴールデン・レトリーバー 7歳0ヶ⽉ 26 メス L, TL, CTB 6 ボースロン 10歳3ヶ⽉ 31 メス S, TL, FI 7 ボースロン 9歳0ヶ⽉ 38 メス S, TL, FI 8 フラットコーテッド・レトリーバー 3歳9ヶ⽉ 27 メス L, TL, CTB 9 ロマーニョ・ウォーター・ドッグ 12歳4ヶ⽉ 15 メス C, TL, F 10 ロマーニョ・ウォーター・ドッグ 6歳3ヶ⽉ 13 メス C, TL, F L: ⻑い, S: 短い | C: 巻き⽑ | TL: 2層 | CTB: 体表⾯に近い | F: 柔らかい, FI: 硬い | D: ⾼密度 [1] Table. 1

0 1 2 3 4 5 6 7 8 9
10 11 12 13 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs 68 実験に参加した⽝の属性 ♂1 ♀9 [歳] 10 15 20 25 30 35 40 [kg] 計匹の健康な⽝ 10 平均 7 平均 22.8

評価項⽬ 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in
Dogs 69

70 評価項⽬参照⽤信号呼吸間隔 [BPM] 110 120 120 - 100 97 提案⼿法推定呼吸間隔 [〃] 100 200 - - 103 98 絶対誤差 10 -80 - - -3 -1 相対誤差 9.09% 66.67% - - 3.00% 1.03% 7IK I45 7IK − I45 7IK − I45 7IK ⋅ 100 15s 参照⽤信号で呼吸間隔が推定できたところ提案⼿法で呼吸間隔が推定できたところカバレッジ参照⽤信号で推定できた時間に対するMI+加速度で推定できた時間の割合

センサの組み合わせの評価 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in
Dogs 71

72 評価する内容･･･････････････････････････ 36 57 12 ･･･ 91 24 相対誤差[%] ･･････ 0 0 1 ･･･ 250 3 誤差に応じて並び替え相対誤差[%] 平均を取る範囲▲ Fraction of Data ･･･ • センサ毎•に範囲▲を変えていった時の平均相対誤差★を⽐較範囲内の平均相対誤差★ ⽝ #1 ⽝ #2 ⽝ #10 全ての⽝の信号をつなげる電極 Flex Pock

73 結果 ‒ センサ単体センサ相対誤差 [%] MI 4.00% PPG ⾚ 3.62% PPG ⾚外 3.59% 加速度1 4.77% 平均相対誤差 [%] 平均相対誤差を取る範囲 [%] 加速度1は常に最も平均相対誤差が⼤きいどれが⼀番良いかは平均絶対誤差を取る範囲によって変わるつまりどれだけの信号を活かすか ←良い所だけ信号全部→ 精度の⾼い上位50%の平均相対誤差 [1] Fig. 7 [1] Table. 2

74 結果 ‒ センサ2つの組み合わせ（1）センサ単体の場合と同じくどれが⼀番良いかは平均絶対誤差を取る範囲によって変わる平均相対誤差 [%] 平均相対誤差を取る範囲 [%] ←良い所だけ信号全部→ 精度の⾼い上位50%の平均相対誤差センサ相対誤差 [%] MI + PPG⾚ 3.07% MI + PPG ⾚外 3.06% MI + 加速度1 3.18% PPG ⾚ + PPG ⾚外 3.42% PPG ⾚ + 加速度1 3.08% PPG ⾚ + 加速度2 2.62% PPG ⾚外 + 加速度1 3.14% PPG ⾚外 + 加速度2 2.64% 加速度1 + 加速度2 2.96% [1] Fig. 8 [1] Table. 2

75 結果 ‒ センサ2つの組み合わせ（2）センサ相対誤差 [%] MI 4.00% PPG ⾚ 3.62% PPG ⾚外 3.59% 加速度1 4.77% MI + PPG⾚ 3.07% MI + PPG ⾚外 3.06% MI + 加速度1 3.18% PPG ⾚ + PPG ⾚外 3.42% PPG ⾚ + 加速度1 3.08% PPG ⾚ + 加速度2 2.62% PPG ⾚外 + 加速度1 3.14% PPG ⾚外 + 加速度2 2.64% 加速度1 + 加速度2 2.96% 2 3 4 5 全ての相対誤差の分布（単体組み合わせ） • 概ね組み合わせた⽅が相対誤差が低いが、加速度2は単体で⼀部のセンサの組み合わせよりも優れている。 • センサを組み合わせると必ずしも誤差が低くなるわけではない。(例：加速度2と加速度1+加速度2) 得られた結果よりMIと加速度2の組み合わせを選択するのが良いと判断以降の評価ではMIと加速度2の組み合わせにより推定した呼吸間隔について評価する(*1) (*1) なぜ精度の⾼い上位50%の平均相対誤差の値により決めたのかは不明 [%] [1] Table. 2

MQとNMQの評価 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in
Dogs 76

77 評価する内容･･･････････････････････････ 36 57 12 ･･･ 91 -- 相対誤差[%] MQ・NMQの閾値▲を変えていった時の平均相対誤差★1とカバレッジ★2⽐較⽝ #1 ⽝ #2 ⽝ #10 全ての⽝の信号をつなげる電極 FlexPock 45 88 37 ･･･ 29 17 MQ 48 90 30 ･･･ 27 20 NMQ 閾値 !" 閾値 #!" ▲ MQ・NMQにより無効とされていない所の平均相対誤差★2 信号全体のうち無効( )となっていない所の割合★2

78 結果 ‒ MQかNMQどちらかだけ使⽤カバレッジ平均相対誤差正規化閾値･･･ 45 88 37 ･･･ 29 17 (N)MQ 閾値 () MQかNMQどちらかだけを使った場合 ?L − [] MQ, NMQそれぞれ以下を指す -?L − [] 8.5% MQ 11.57% NMQ [1] Fig. 9

･･･ 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in
Dogs 79 結果 ‒ MQかNMQどちらかだけ使⽤･･･ 45 88 37 ･･･ 29 17 MQ 閾値 MQとNMQ両⽅を使った場合 [%] 平均相対誤差 [%] 正規化MQ閾値正規化NMQ閾値正規化MQ閾値正規化NMQ閾値 8.0% 最⼩ 50% COV 48 90 30 27 20 NMQ 閾値カバレッジ50%となるようにした場合最⼩の平均絶対誤差は8.0%となる。 MQ・NMQ単体よりも良い。 MQ、NMQの閾値の組み合わせは複数ある。 [1] Fig. 10

⽝毎の呼吸推定精度の評価 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in
Dogs 80

81 評価する内容･･････ 36 57 12 ･･･ 91 -- 相対誤差[%] 閾値決定⽤9匹の信号において Cov 50%でMREが最⼩となる閾値$% , &$% を求める 45 88 37 ･･･ 29 17 MQ 48 90 30 ･･･ 27 20 NMQ 平均相対誤差•2 ･･････ 36 57 ･･･ 91 相対誤差[%] 45 88 ･･･ 29 MQ 48 90 ･･･ 27 NMQ 閾値 !" 閾値 #!" ▲ 平均相対誤差★2 ･････････････････････⽝ #1 ⽝ #2 ⽝ #10 電極 FlexPock 閾値決定⽤検証⽤閾値決定⽤ 9匹分の信号をつなげる検証⽤ 1匹分カバレッジ•1 50% 最⼩カバレッジ★1 1 検証⽤1匹の信号において求めた$% , &$% を⽤いた際の Covと誤差を求める 2

82 結果 ‒ 全状態総合個体識別 ID 呼吸間隔絶対誤差カバレッジ [%] 平均 [BPM] 標準偏差 [BPM] 平均最⼤ [BPM] [%] [BPM] [%] 1 193.8 42.1 23.0 13.7 113.5 95.2 52.8 2 87.3 21.2 2.8 6.0 3.6 7.6 0.5 3 204.5 68.2 20.7 10.5 133.5 88.8 19.4 4 124.4 37.0 12.9 9.6 88.3 91.7 34.5 5 154.6 35.5 12.8 11.1 128.8 188.9 81.1 6 161.9 54.7 9.0 7.8 126.5 266.5 73.0 7 136.1 16.5 10.3 8.2 73.7 74.5 91.5 8 214.7 34.5 13.9 7.3 124.5 64.1 70.0 9 191.3 43.9 13.8 8.0 118.3 83.0 11.7 10 196.2 75.4 25.8 12.4 210.4 146.1 67.0 平均 166.5 42.9 14.5 9.5 112.1 110.6 50.1 [1] Table. 3

83 結果 ‒ 全状態総合 ‒ 呼吸間隔個体識別 ID 呼吸間隔平均 [BPM] 標準偏差 [BPM] 1 193.8 42.1 2 87.3 21.2 3 204.5 68.2 4 124.4 37.0 5 154.6 35.5 6 161.9 54.7 7 136.1 16.5 8 214.7 34.5 9 191.3 43.9 10 196.2 75.4 平均 166.5 42.9 1 2 1 個体間でばらつきが⼤きい⽝によって呼吸間隔はかなり異なる 2 同⼀個体でもばらつきが⼤きい状態、あるいは時間によって呼吸の様⼦が変わる [1] Table. 3

84 結果 ‒ 全状態総合 ‒ 誤差個体識別 ID 絶対誤差平均最⼤ [BPM] [%] [BPM] [%] 1 23.0 13.7 113.5 95.2 2 2.8 6.0 3.6 7.6 3 20.7 10.5 133.5 88.8 4 12.9 9.6 88.3 91.7 5 12.8 11.1 128.8 188.9 6 9.0 7.8 126.5 266.5 7 10.3 8.2 73.7 74.5 8 13.9 7.3 124.5 64.1 9 13.8 8.0 118.3 83.0 10 25.8 12.4 210.4 146.1 平均 14.5 9.5 112.1 110.6 相対誤差に対応ばらつきが⼤きいにもかかわらず相対誤差10%に抑えた 1 2 3 1 ばらつきが少ない⽝の個体によらず提案⼿法による呼吸推定の精度は同程度 2 個体間、あるいは状態や時間で呼吸間隔の値にはばらつきがあるものの平均相対誤差10%以内を達成 3 ⼀⽅で最⼤誤差が⾮常に⼤きく個体により⼤きな差がある⼤幅に推定を誤る事がある⼿法といえる [1] Table. 3

85 MQ/NMQ 平均平均 6.43e-2 [a.u.] 2.15e-6 [a.u.] 標準偏差標準偏差 7.02e-2 [a.u.] 2.46e-8 [a.u.] 10.9 1.14 [%] [%] 平均⽐平均⽐ MQのよりもNMQの⽅が安定個体によらず同じような値をとる

86 年齢との相関 0 10 20 30 40 50 60 70 80 90 100 0 2 4 6 8 10 12 14 16 0 1 2 3 4 5 6 7 8 9 10 11 12 13 [%] 平均相対誤差 [%] 年齢 [年] 平均相対誤差カバレッジ⽝の年齢と平均相対誤差・カバレッジに相関はない

87 体重との相関 0 20 40 60 80 100 120 0 2 4 6 8 10 12 14 16 5 10 15 20 25 30 35 40 45 [%] 平均相対誤差 [%] 体重 [kg] 平均相対誤差カバレッジ回帰直線 (カバレッジ) 相関係数有意⽔準 +0.76 0.01 ハーネスの⼤きさの調整によりFlexPockと体の密着度が⼀定となるように配慮している⼀⽅で、コイルの⼤きさを変えていないため、⼩さい⽝の肺の動きを捉えるのにコイルの⼤きさが不適だった可能性。⽝の体重とカバレッジに正の相関があるハーネスの⼤きさ⽝の⼤きさに応じて3種類コイルの⼤きさ⽝の⼤きさによらず⼀定 1 ⽝の体重と呼吸量に正の相関があるとの報告がある。つまり、体重の重い、⼤きい⽝ほど呼吸量が⼤きい。よって⼤きい⽝ほど信号強度が強く信号品質が良いといえる。 2 ⼀⽅、⽝の体重と平均相対誤差に相関はないこれは、つまりMQとNMQにより信号品質の良いところのみを選択して推定することができていると⾒ることができる。

88 各状態で参照⽤信号が”無効”でない時間の割合 80% 20% 78% 22% 85% 15% 2% 98% ⽴つ座る横たわる歩く「歩く」状態では参照信号 (電極) でもまともに呼吸間隔推定が⾏えないよって「歩く状態」以外について状態毎のカバレッジ・平均相対誤差のみ⽰す⽴つ・座る・横たわるの静⽌状態でないと計測ができない

89 結果 ‒ 各状態毎個体識別 ID ⽴つ座る横たわる MAE [BPM] カバレッジ [%] MAE [BPM] カバレッジ [%] MAE [BPM] カバレッジ [%] 1 13.18 60.49 23.53 58.41 34.33 37.26 2 - 0.00 - 0.00 2.84 1.49 3 32.64 24.66 7.49 10.63 12.06 16.13 4 16.06 50.96 10.09 29.28 7.90 17.65 5 11.54 75.24 9.63 82.03 16.92 75.07 6 7.92 68.62 6.30 87.05 14.22 51.45 7 10.66 94.67 6.55 91.10 13.17 83.28 8 16.76 82.32 8.41 76.41 16.70 47.81 9 10.72 10.47 7.36 12.14 20.14 11.15 10 27.23 61.49 9.77 64.14 41.55 46.71 平均 16.30 52.89 9.90 51.12 17.98 38.80 ⽝によってはカバレッジが0%になってしまっているような状態もある。 [1] Table. 4

90 状態による結果の違いの検討個体識別 ID ⽴つ座る横たわる MAE [BPM] カバレッジ [%] MAE [BPM] カバレッジ [%] MAE [BPM] カバレッジ [%] 平均 16.30 52.89 9.90 51.12 17.98 38.80 センサがある前⾜に⼒を⼊れている状態 → カバレッジが似ているセンサが⽝と地⾯に挟まれるセンサの位置がズレたり、加速度センサの動きが制限されて正しく計測できない → カバレッジ低下 / MAE上昇⽴っている状態の⽅が動きが⼤きい → 誤差が⼤きい状態を維持するために餌を与える際わずかに動く (静⽌状態でも常に静⽌ではない) この時はセンサの動きが⼤きくなってしまい、カバレッジが低下 [1] Table. 4

91 ⽝種(⽑の特徴)による影響の可能性カバレッジが最も悪かった個体はシェットランド・シープドッグ⽑が⻑くて密度の⾼い⽝種である⽑が⻑いとセンサと体表⾯との距離が離れるため信号品質が低下することが予想される。よって⽝種(⽑の特徴)とカバレッジ・誤差に相関がある可能性がある。体⽑センサただ同じく⽑の⻑い⽝種であるゴールデンレトリーバーの個体はカバレッジが良かったため、そこまで影響はないかもしれない。

2020/5/27 92 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in
Dogs

93 まとめ（1） LED フォトダイオードコイルバッテリー･･･実際の間隔# 合成 (ﾌｭｰｼﾞｮﾝ) ⽝の呼吸：貴重な情報源病気の予兆・感情普段使いできる⾮接触計測デバイスの開発が重要⼩型・ワイヤレス計測・処理・データ送信全てを⾏う 3つのセンサを搭載磁気インピーダンスセンサ反射型光電容量脈波加速度センサ周期推定：波形の類似度を評価 CLIEアルゴリズム MAPのみ不使⽤：呼吸波形に不適複数のセンサによる推定結果を合成信号品質評価関数を導⼊推定結果がどの程度信頼できるかを定量化信頼できないところは利⽤しない

94 まとめ（2） 10 ･･･････････････⽝ #1 ⽝ #2 電極 FlexPock 閾値決定⽤検証⽤平均相対誤差 >10% 個体によるばらつきが⼤きいがそこそこの結果 0 20 40 60 80 100 120 0 5 10 15 5 10 15 20 25 30 35 40 45 [%] 平均相対誤差 [%] 体重 [kg] 匹⽝種・年齢・体重バラバラの⽝10匹歩く・⽴つなど様々な動きをしてもらう加速度+MIセンサが最も良かった閾値を上げるとカバレッジが減少：妥当閾値決定⽤に9匹のデータを⽤い残りの1匹について精度を評価体重とカバレッジに相関が⾒えられた⼩さい⽝に不適：コイルの⼤きさが適していないと考察

95 まとめ（3） 80% 20% 2% 98% ⽴つ歩く平均相対誤差 > 10% 今回開発・検証したFlexPockは静⽌状態についてそこそこの精度で呼吸間隔を推定可能普段使いできる⽝⽤の⾮接触呼吸計測デバイスの開発の⾜がかりとなった

Dogs

97 参考⽂献（1） [1] C. H. Antink, M. Pirhonen, H. Väätäjä, S. Somppi, H. Törnqvist, A. Card ó, D. Teichmann, O. Vainio, V. Surakka, A. Vehkaoja, “Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs,” IEEE Sensors Journ al, Vol. 19, No. 16, 2019年8⽉. [2] D. Teichmann, D. D. Matteis, T. Barttelt, M. Walter, S. Leonhardt, “A Be ndable and Wearable Cardiorespiratory Monitoring Device Fusing Tw o Noncontact Sensor Principles,” IEEE Journal of Biomedical and Health Informatics, Vol. 19, No. 3, 2015年5⽉. [3] “What is bioimpedance?,” (Webページ), Department of Physics, Univ ersity of Oslo, 2011年2⽉17⽇, https://www.mn.uio.no/fysikk/english/resea rch/projects/bioimpedance/whatis/ [4] 薮上信, 加藤和夫, 加茂芳邦, ⼩澤哲也, 荒井賢⼀, “⾼周波キャリア型薄膜磁界センサを⽤いた⼼磁界測定,” Journal of the Magnetics Society of Ja pan, Vol. 32, No. 4, 2008年7⽉. [5] “⼈間の体が電気を通すのはなぜ,” (Webページ), OKWAVE, 2007年3⽉, https://okwave.jp/qa/q2801292.html [6] “インピーダンス法の原理,” (Webページ), 株式会社神⼾メディケア, htt ps://taisya.net/taiseibun/body-composition/ [7] “磁気インピーダンス素⼦,” (Webページ), Wikipedia, https://ja.wikipedi a.org/wiki/%E7%A3%81%E6%B0%97%E3%82%A4%E3%83%B3%E 3%83%94%E3%83%BC%E3%83%80%E3%83%B3%E3%82%B9%E 7%B4%A0%E5%AD%90 [8] ⻄部祐司, 森川健志, ⼭寺秀哉, 坂⽥⼆郎, 野々村裕, ⽵内正治, 多賀康訓, “磁気インピーダンス効果を有する積層型薄膜磁界検出素⼦,” 豊⽥中央研究所 R&D レビュー, Vol. 32, No. 1, 1997年3⽉. [9] 丹健⼆, ⼤森賢⼀, ⽷井和久, ⻑洲勝⽂, 上道雄介, 相沢卓也, “磁気インピーダンス効果を応⽤した⾼感度磁気センサ,” フジクラ技報, Vol. 115, 20 09年3⽉. [10] “MI センサテクノロジー,” (Webページ), 愛知製鋼, https://www.aichi- mi.com/mi-technology/ [11] “MIセンサ,” (Webページ), 愛知製鋼, https://www.aichi-steel.co.jp/pro ducts/electromagnetic/mi_censor/index.html [12] 中島善⼈, “Magnetのはなし,” (Webページ), https://staff.aist.go.jp/nak ashima.yoshito/nouzei/magnet.htm [13] 菅雄⼀, “システム奮闘記：その106 発振回路の仕組み,” (Webページ), OSSSME, 2016年11⽉14⽇, http://osssme.com/doc/funto106-no110.html [14] “コルピッツ発振回路１,” (Webページ), いろいろやりたい, 2014年11 ⽉20⽇, http://turkey7.ria10.com/diary/%E3%82%B3%E3%83%AB%E 3%83%94%E3%83%83%E3%83%84%E7%99%BA%E6%8C%AF%E 5%9B%9E%E8%B7%AF [15] “伝達関数の求め⽅,” (Webページ), 電⼦回路設計⼊⾨サイト, https://w ww.kairo-nyumon.com/control_calculation2.html [16] 鏡慎吾, “やる夫で学ぶディジタル信号処理,” (Webページ), 2016年1⽉ 8⽇, http://www.ic.is.tohoku.ac.jp/~swk/lecture/yaruodsp/main.html

98 参考⽂献（2） [16] 井澤裕司, “ラプラス変換,” (Webページ), Yizawa Lab, http://www7b.bi globe.ne.jp/~yizawa/InfSys1/basic/chap12/index.htm [17] ⼾⽥尚宏, “回路基礎論,” (講義資料), 2016年4⽉. [18] “光学式⼼拍センサー(PPGセンサー)のシミュレーションと設計,” 光学総合サイト, https://www.cybernet.co.jp/optical/solution_case/list/310.html [19] P. Celka, N. Granqvist, H. Schwabl, “Traditional Tibetan pulse readin g in the digital era,” (Article), 2019年2⽉. [20] 松村健太, 李知炯, ⼭越健弘, “スマートフォン式光電容量脈波測定法 – ⽇常⽣活中における有効利⽤へ向けて-,” ⽣体医⼯学, Vol. 54, No. 3, 2016 年6⽉. [21] 宮内祐樹, ⽯澤広明, 新村正明, “Fiber Bragg Grating センサによる脈拍数, 呼吸数計測,” 計測⾃動制御学会論⽂集, Vol. 49, No. 12, 2013年. [22] 濱野円⾹, 横⼭道央, “信号処理による光電容積脈波からの⽣体情報抽出,” ⽇本シミュレーション学会⼤会発表論⽂集, Vol. 29, 2010年6⽉19⽇. [23] E. Peper, K.H. Gibney, H. Tylova, R. Harvey, D. Combatalade, “第5 章：容積脈波,” (Article), 2007年, http://img.p-kit.com/neurojo/biofeedback /1499840843027328700.pdf [24] “Photoplethysmogram,” (Webページ), Wikipedia, https://en.wikipedi a.org/wiki/Photoplethysmogram [25] 富永あや⼦, 冨⽥晴樹, ⽯⽥岳史, “⼼電図教えてノート―チームでモニター事故を予防する!,” 中外医学社, 2015年. [26] 伊藤瑳恵, “ECG（⼼電図）,” “デジタルヘルス⽤語,” (Webページ), ⽇経XTECH, 2018年10⽉1⽇, https://xtech.nikkei.com/dm/atcl/word/15/3279 20/092800068/ [27] S. Hrishikesan, “Impedance pneumography,” (Webページ), Electroni cs and Communications, 2017年2⽉19⽇, https://www.electronicsandcom munications.com/2017/12/impedance-pneumography.html [28] 朱欣, “⼼電図を⽤いた呼吸検出⽅法,” (⼝頭発表資料), 2017年, https:// shingi.jst.go.jp/var/rev0/0000/6792/2017_u-aizu_3.pdf [29] P. H. Charlton, “BIDMC Dataset,” (Webページ), http://peterhcharlton. github.io/RRest/bidmc_dataset.html [30] M. Pirhonen, V. Antti, “Fusion enhancement for tracking of respirat ory rate through intrinsic mode functions in photoplethysmography,” Biomedical Signal Processing and Control, Vol. 59, 2020年2⽉24⽇. [31] “‘MARSH’ - respiratory signal repository,” (Webページ), Zenodo, 20 20年2⽉24⽇, https://zenodo.org/record/3673924#.XpJkklP7R24 [32] A. Hiroto, “SciPy で Savitzky-Golay フィルタ,” (Webページ), org-技術, 2016年4⽉28⽇, https://org-technology.com/posts/Savitzky-Golay-filter. html [33] “Savitzky-Golay filter,” (Webページ), Wikipedia, https://en.wikipedia. org/wiki/Savitzky%E2%80%93Golay_filter [34] ⾦⼦弘昌, “スペクトル・時系列データの前処理⽅法〜平滑化 (スムージング) と微分〜,” (Webページ), データ化学⼯学研究室(⾦⼦研究室)＠明治⼤学理⼯学部応⽤化学科, 2017年11⽉12⽇, https://datachemeng.com/pr eprocessspectratimeseriesdata/

99 参考⽂献（3） [35] “バターワースフィルタ,” (Webページ), Wikipedia, https://ja.wikipedia. org/wiki/%E3%83%90%E3%82%BF%E3%83%BC%E3%83%AF%E3% 83%BC%E3%82%B9%E3%83%95%E3%82%A3%E3%83%AB%E3%8 2%BF [36] “バタワースフィルターの設計 – MATLAB butter,” (Webページ), Math Worksヘルプセンター, https://jp.mathworks.com/help/signal/ref/butter.ht ml [37] 代⽥健⼆, “数値解析法第7回講義数値微積分（1）〜数値微分法, ニュートン・コーツ型積分公式〜,” (講義資料), 2017年11⽉20⽇. [38] “プロミネンス,” (Webページ), Mathworks, https://jp.mathworks.com/ help/signal/ug/prominence.html [39] C. Brüser, S. Winter, S. Leonhardt, “Robust Inter-beat Interval Estim ation in Cardiac Vibration Signals,” Physiological Measurement, Vol. 34, No. 2, 2013年1⽉23⽇. [40] ⼀般社団法⼈照明学会, “照明⼯学”, オーム社, 2012年, ISBN 978-4-27 4-21261-1. [*] は特に参考になりました。⼀読をおすすめします。

Dogs

A. 信号品質評価関数の意味 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation
in Dogs 101

102 信号品質評価関数の意味 # = AH4IJ,# [# ] ∑ -+, -"#$ AH4IJ,# [] 各窓毎の信号品質評価評価関数の明瞭度を⽰す ;"<=" [] = 1 j >+, - [ − ] "?@A = 1 j >+, - − − /& ?"B = max >∈ ,,⋯,- + [ − ] 間隔[sample]での周期性の強さ合成の考え⽅(→p.55)では確率と⾒なされる ! ：⼤ # ! ：⼩ピークの明瞭度を表すと考える事ができる

B. MQとNMQについての考察 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation
in Dogs 103

104 結果 ‒ MQかNMQどちらかだけ使⽤カバレッジ正規化閾値信号の品質を評価する関数の閾値が上がったなら、当然該当する部分は減少しなければならない。単調減少なのは望ましい挙動である。ピーク間隔評価関数の明瞭度の分布が⼀様分布である事が予想される。⼀様分布 1-CDF NMQには推定間隔が2次のオーダーで⼊っているため、推定ピーク間隔の影響の⽅を強く受ける。これがある値で急に減少しているということは推定ピーク間隔の分布に偏りがあるということが予想される。呼吸の間隔は特定の帯域に分布していると考えられるためこれは妥当である。負に偏らせた正規分布 1-CDF [1] Fig. 9

105 結果 ‒ MQかNMQどちらかだけ使⽤平均相対誤差正規化閾値ピーク間隔の明瞭度がより⾼いもののみに絞るほど、誤差が少なくなるということが分かる。閾値を上げると誤差が減少するのは MQと同じであり、また信号品質の下限を上げていると考えれば⾃然である。後で⽰す結果からもわかるように本研究の実験では最⼤誤差が⾮常に⼤きい。推定したピーク間隔が⼤きいとNMQが⼤きくなってしまう。⼀⽅、MQと違い閾値をさらに上げると誤差が上昇するのは直感に反する。著者は特に原因を考察していないが、これは最⼤誤差が⼤きいためと考えられる。 [] = [] ⋅ 例えば相対誤差の分布が以下のようだったとする。推定ピーク間隔誤差 40 40 10 10 5 100 ピーク間隔が⼤きくなるにつれて精度が上がる(これは著者の主張)が、⼀つ⼤きな最⼤誤差がある。これを幅をずらしながら平均を取ると 34.1 33.0 31.25 38.33 52.5 ⼀旦減少して⼀旦増加する。 [1] Fig. 9

C. プログラム例 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation
in Dogs 106

107 参照⽤信号の事前処理（1） % ⼊⼒ sig = ... % 処理対象信号 (列ベクトル) dt = ... % サンプリング間隔 (s) (列ベクトル) % Computed t = (0:dt:(length(sig)-1)*dt)'; % 時間軸 % パラメータ rmsWindowSize = 1.5; % [s] rmsThr = 1.5; % .* [-1 1] .* RMS sgOrder = 2; sgWindowSize = 45; % [sample] btOrder = 6; fcutHigh = .5; %[Hz] fcutLow = 10; %[Hz] % 近似1次導関数値 (後退差分) sigD1st = ([0; diff(sig)] + [diff(sig); 0]) ./ 2*dt;

108 参照⽤信号の事前処理（2） % RMSを計算 G = floor(max(t) / rmsWindowSize); rmss = arrayfun(@(g) sqrt(mean( sigD1st( (g-1)*rmsWindowSize <= t & t < g*rmsWindowSize ).^2)), 1:G); rmss(end+1) = inf; %サンプル数を調整 % 時間軸にスケールしたRMS rmssSF = arrayfun(@(tp) rmss(floor(tp/rmsWindowSize) + 1), t); % RMSで閾値を設けてサンプル点を除去 sigRmvd = sig; sigRmvd( (sigD1st < rmssSF.*-rmsThr) | (rmssSF.*rmsThr < sigD1st) ) = NaN; % 除去したサンプル点を区間的エルミート補完で補完 selector = ~isnan(sigRmvd); sigInp = pchip(t(selector), sigRmvd(selector), t); % Savitzky-Golay 適⽤ sigInpSG = sgolayfilt(sigInp, sgOrder, sgWindowSize); % Butterworthフィルタ適⽤ % ※High-Passがうまくできませんでした [b_high, a_high] = butter(btOrder, fcutHigh/(dt/2), 'high'); [b_low, a_low] = butter(btOrder, fcutLow/(dt/2)); sigInpSGBT = filter(b_high, a_high, filter(b_low, a_low, sigInpSG));

109 ピーク間隔推定の評価関数 % ⼊⼒ sig = ... % 処理対象信号 (列ベクトル) % パラメータ n_min = 170; % 推定間隔最⼩値 n_max = 220; % 推定間隔最⼤値 n_c = n_max+60; % 窓の中⼼の位置 epsilon = 1e-9; % 0割り回避⽤極⼩値 % Computed ns = n_min:n_max; % サンプル軸 % 窓内信号 w_t = (0:2*n_max)-n_max; sigInWindow = sig(w_t); % 各種評価関数 s_lasta = arrayfun(@(n) 1/n*sum(arrayfun(@(v) sig(n_c+v)*sig(n_c-n+v), 0:n-1)), ns); s_amdf = arrayfun(@(n) (1/n*sum(arrayfun(@(v) abs(sig(n_c+v)-sig(n_c-n+v))+epsilon, 0:n-1) ))^-1, ns); s_map = arrayfun(@(n) max(arrayfun(@(v) sig(n_c+v)+sig(n_c-n+v), 0:n-1)), ns); s_fuse = s_lasta .* s_amdf .* s_map;

Dogs

Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

More Decks by rpaka

Other Decks in Research

Featured

Transcript