Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Sensor Fusion for Unobtrusive Respiratory Rate ...

rpaka
August 15, 2020

Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

2020年度前期の研究室輪講での発表資料です。
This is a presentation material at the seminar on our laboratory in the spring term of 2020.

rpaka

August 15, 2020
Tweet

More Decks by rpaka

Other Decks in Research

Transcript

  1. 愛知県⽴ 学 情報科学研究科 神⾕幸宏研究室 † ⼩久保 律樹‡ Rev. Sensor Fusion

    for Unobtrusive Respiratory Rate Estimation in Dogs I LAB PR 20S1 2 2020/5/27, 7/15, 8/5 ⽝の隠密な呼吸検出のためのセンサフュージョン 2020年度前期 研究室輪講(20S-1)
  2. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    1 ⽬次 研究背景 ⽝の呼吸計測の意義 ⽝の呼吸計測の難しさ 研究の⽬的・新規性 実験概要 実験概要 実験条件 デバイス構成 およびセンサ ガイド 参照⽤信号 (IP) FlexPockの概要 MIセンサ PPGセンサ センサ信号の処理 ガイド 参照⽤データの処理 MI, PPG, 加速度センサ信号の処理 信号品質評価関数 実験結果 および考察 ガイド 実験概要(再掲) 評価項⽬ センサの組み合わせの評価 MQとNMQの評価 ⽝毎の呼吸推定精度の評価 信号品質評価関数の意味 MQとNMQについての考察 プログラム例 p2 p3 p8 p11 p13 p14 p18 p19 p21 p24 p34 p39 p40 p51 p59 p63 p64 p69 p71 p76 p80 p92 p96 p100 p12 p17 p38 p62 p101 p103 p106
  3. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    4 呼吸は重要な情報源 ⽝の感情 嬉しい / 不快 ⋯ 1 呼吸器系の 病気の予兆 2 が代弁? は通じないが ⋯ 呼吸は⽝の感情を理解したり病気の予兆を捉える重要な情報
  4. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    5 ⽝の感情変化の例 悲しい ⽝⼩屋に ⼊れられる 嬉しい 不快・苦痛 落雷・花⽕など ⼤きな⾳や光 ご褒美への期待 飼い主との離散 治療や⼿術 による痛み 飼い主との再会 飼育や治療の質向上に役⽴てられるかも 感情を評価できれば⽝をより深く理解できる
  5. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    6 ⽝の感情と⽣理現象の関係 嬉しい 悲しい 不快・苦痛 特定の 呼吸のリズム を⽰す ストレス ホルモン増⼤ を⽰す (特定の状況下) 喘ぎ “ハッハッハッ” “コルチゾール” ⾎液の採取が必要 ⽝に⼤きな負担 ⽇常的な利⽤は⾮現実的 客観的な計測⽅法が必要 ⽇常的な利⽤を考えると ⽝に負担の少ない計測⽅法が必要
  6. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    7 既存の呼吸計測⽅法 1 ⼿動での計測 2 容積変動測定器 3 ⽝⽤マスク ⽝の⾏動制限なし ⽝の負担なし 主観的・不正確 客観的・正確 ⽝の負担なし 客観的・正確 ⽝の⾏動制限なし ⽝の⾏動制限あり ⽝の負担あり を満たす呼吸計測⽅法が必要 感情と呼吸の関連性を調べる実験のより⾃由な実現・⽇常的な活⽤のため
  7. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    9 肺周辺の動きが⼤きい 四⾜歩⾏のため, 歩くと肺周辺も⼤きく動く ⽑⽪で覆われている ⽑が邪魔をしてセンサが使えないことも ⽝特有の呼吸 “喘ぎ”の時の呼吸感覚は⾮常に早い ⽝の呼吸計測の難しさ ⾔葉が通じない 実験とはいえ⼤⼈しくしてもらえない
  8. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    10 喘ぎによる問題 ⽝の喘ぎ呼吸「ハッハッハッ…」:間隔が⾮常に早い 周波数 ⼼拍 呼吸 周波数 ⼼拍 呼吸 通常時 喘ぎ呼吸の時 ⼼拍と周波数帯域が被り、フィルタで分離できない
  9. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    11 研究の⽬的 研究の新規性 普段使いできる、⽝に負担のない呼吸計測⽅法を開発する事 1. ⽝の呼吸計測に利⽤できる計測デバイスを開発した事 2. 推定精度を向上させるため信号品質の評価⽅法を開発し導⼊した事 3. 開発したデバイス・⼿法が有効か確かめるため実際に⽝に対して呼 吸計測を⾏い、評価する実験を⾏った事
  10. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    13 実験概要 1 呼吸計測デバイス“FlexPock”および参照⽤呼吸 計測デバイス を⽝に装着 2 ⽝に特定の⾏動をとってもらう 計測したデータをそれぞれ処理 時刻ごとの呼吸間隔を出す 結果を⽐較して評価・検討 10:00 10:05 参照 FlexPock 10 BPM 10 BPM 10 BPM 09 BPM ・・・ ・・・ 3 10:00 10:05 参照 FlexPock 10 BPM 10 BPM 10 BPM 09 BPM ・・・ ・・・ 4 筆者らが開発した⾮接触計測デバイス
  11. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    14 実験条件 歩く 横たわる 座る ⽴つ 1分30秒 1分30秒 1分30秒 1分30秒 6分 6分 6分 6分 ⾏動を持続させるため 必要であれば餌を与えた リードはつけない 25℃ 4つの状態 室温 各 1分 30秒 × 4セット (計24分) 室内 実験場所
  12. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    15 実験に参加した⽝の属性 ID ⽝種 年齢 体重 [kg] 性別 ⽑の種類 1 ゴールデン・レトリーバー 1歳2ヶ⽉ 24 メス L, TL, CTB 2 シェットランド・シープドッグ 5歳1ヶ⽉ 11 メス L, TL, F, D 3 オーストラリアン・シェパード 5歳3ヶ⽉ 21 メス L, TL, CTB 4 オーストラリアン・シェパード 9歳11ヶ⽉ 22 オス L, TL, CTB 5 ゴールデン・レトリーバー 7歳0ヶ⽉ 26 メス L, TL, CTB 6 ボースロン 10歳3ヶ⽉ 31 メス S, TL, FI 7 ボースロン 9歳0ヶ⽉ 38 メス S, TL, FI 8 フラットコーテッド・レトリーバー 3歳9ヶ⽉ 27 メス L, TL, CTB 9 ロマーニョ・ウォーター・ドッグ 12歳4ヶ⽉ 15 メス C, TL, F 10 ロマーニョ・ウォーター・ドッグ 6歳3ヶ⽉ 13 メス C, TL, F L: ⻑い, S: 短い | C: 巻き⽑ | TL: 2層 | CTB: 体表⾯に近い | F: 柔らかい, FI: 硬い | D: ⾼密度 [1] Table. 1
  13. 0 1 2 3 4 5 6 7 8 9

    10 11 12 13 10 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs 16 実験に参加した⽝の属性 ♂1 ♀9 [歳] 10 15 20 25 30 35 40 [kg] 計 匹 の健康な⽝ 平均 7 平均 22.8
  14. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    18 ガイド:デバイス構成およびセンサ • SpiritCor9D(参照⽤データ:電極による計測デバイス) • FlexPock(筆者らが開発した⾮接触計測デバイス) • 概要 • 搭載しているセンサ • 磁気インピーダンスセンサ(MIセンサ) • 原理 – 磁気インピーダンス効果 • 計測⽤センサとしての実現 – コルピッツ発振回路 • 反射型光電容量脈波 (rPPG) • 原理 • 実現 – 省略 • 加速度センサ • 原理、実現 – 省略
  15. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    20 参照⽤信号取得デバイス:SpiritCor9D 3軸加速度計 電極接続が必要 電極1対で同時に計測可能 ECG IP 電極 電極 • ⼼臓が発する微弱な電流[26] • ⼼臓の動きを強く反映する • 電極間の⽪膚の電気抵抗の⼤きさ[27] (電極間の⽪膚の⽣体インピーダンス) • 胸に電極をつけた場合、呼吸による胸の動きを強く反映する ただし あまり信頼性はない[25] 呼吸による胸の動きもわずかに反映する ECGから呼吸間隔を推定する技術もある(EDR)[28](*1) (*1) ECG Delivered Respiratory ECG 250Hz FS Impedance Pneumography 250Hz FS [1] Fig. 2
  16. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    22 FlexPockの概要 LED フォトダイオード LED LED コイル ⼈間⽤FlexPock[2] 前⾯ 背⾯ LED フォトダイオード コイル 加速度センサ バッテリー ⽝⽤FlexPock • 筆者らが開発した⾮接触計測デバイス • 服の上から装着しても問題ない • 元々は⼈間の⼼拍計測⽬的で開発 • 単体でセンサでの計測/信号の処理/データの 無線送信をすべて⾏うことができる • バッテリーで駆動可能 • 3つのセンサーを搭載 (コイル) Magnetic Impedance, MI (LED+フォトダイオード) Reflective Photoplethysmography, rPPG Accelerometer, ACC [2] Fig. 1 [1] Fig. 1 100Hz FS
  17. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    23 FlexPockの装着 ⼈間:シャツの胸ポケットに⼊れる 胸ポケットのサイズに収まるように設計[2] ⽝:ペット向け医療⽤シャツ の⾝体側のポケットに⼊れる [2] Fig. 12 [1] Fig. 3
  18. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    25 ⽣体インピーダンス (Bioimpedance) Bioimpedance is about the electrical properties of your body[3]. “⽣体インピーダンスとは私たちの体の電気的特性のことを指します。 体は多かれ少なかれ電気を通す [意図的に流す例] 脳からの命令を筋 ⾁に伝える[5] ⾎液は弱アルカリ性 で電気を通しやすい[5] ⽪膚が完全な絶縁体 じゃないので体に溜 まった電気が⾦属の 取っ⼿に逃げてバ チっとくる 体を構成する組織によって 電気の流れやすさなどが違う[6](*1)(*2) ⽪膚 脂肪 肺 筋⾁ ⼼臓 ⽣物の体は電気的抵抗の異なる複数の素材からなる巨⼤な導電体とみなすことができる (*1) 電気電動性は⽔分量と電解質量に⽐例し、細胞の形が円形に近いと電気伝導性が⾼くなる。[6] (*2) このことを利⽤して脂肪量などを推定する⽅法を⽣体電気インピーダンス法 (BIA法)という。[6]
  19. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    26 ⽣体インピーダンスの変化とその計測 脂肪 肺 筋⾁ ⽣体の活動 (例: 肺の動き) などにより ⽣体インピーダンスの分布が変化する[1] ⽣体インピーダンスの 異なる様々な部位 電気の流れやすい部位 ということは・・・ ⽣体インピーダンスの分布の変化を 捉えれば⽣体の活動を計測できる! A 実際に電気を流して 流れやすさを調べる Impedance pneumography (IP) など ※電極を体に貼り付ける 必要がある B 渦電流を発⽣させ その際に⽣じる磁界 (*1)の変化を調べる そんな事が可能なのか? 磁気インピーダンス効果の利⽤ (*1) アンペールの法則
  20. 1.0E-07 1.0E-05 1.0E-03 1.0E-01 1.0E+01 1.0E+03 2020/5/27 Sensor Fusion for

    Unobtrusive Respiratory Rate Estimation in Dogs 27 磁気インピーダンス効果 N S 外部磁場 (ex) コイルのインピーダンス () 影響 • 磁気インピーダンス効果:コイルに⾼周波 電流やパルス電流を流した際に流れる電流 が外部磁界により影響を受ける事[7][9][10]。 • 特定の磁性体(アモルファスなど)に⾒ら れる[7][9][10]。 磁気インピーダンス効果の例[8] • 微⼩な磁場の変化がコイルのインピーダンスに⼤きな影響を与える。 • ⽣体インピーダンスの測定のほか、地磁気センサーとしても応⽤される[9]。 • ⼩型化・集積化も容易だが、⽣産コストが⾼い点が⽋点である[7]。 ⽇本では愛知製鋼がMI効果を活⽤した各種センサを製造[11]。 愛知製鋼の 電⼦コンパス MI 分解能 10nG 分解能は⼼臓磁気を優に下回る[7][12] [ガウス]
  21. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    28 FlexPockにおける磁気インピーダンスセンサーの実現 1 2 3 ⽣体活動による⽣体インピーダンスの変化を磁気インピーダンス 効果によりコイルのインピーダンス変化として捉える。 1 2 コイルのインピーダンス変化を発振回路の周波数変化に変換する。 3 周波数変化を記録し、各種処理を実⾏してメモリに保存する。 → この節で紹介します。 → この節で紹介します。 → 省略します。MIセンサの値の処理については⼈間⽤と⽝ ⽤で異なるようです。左記のブロック図は⼈間⽤[2]です。 [2] Fig. 3
  22. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    29 FlexPockのMIセンサ(1) - ⽣体インピーダンスを捉える[1] コイルに⾼周波交流電流を流 し磁界を発⽣させる。 1 電磁誘導により体の組織側で 磁界を打ち消す⽅向に起電⼒ が⽣じ、磁界が発⽣する。 この時の磁界は体の活動によ り変化する。 2 磁気インピーダンス効果によ り発⽣した磁界がコイルのイ ンピーダンスに影響を与える。 3
  23. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    30 FlexPockのMIセンサ(2) ‒ インピーダンス変化を周波数変化へ ⽅法:インピーダンス変化を発振回路の周波数決定部分として作⽤させる[2]。 -1 反転増幅 電位0 出⼒ FlexPockのコルピッツ型発振回路の模式図 特定の周波数の波を継続的に出⼒する コルピッツ型発振回路の構成要素[13] LC回路 (狭帯域バンドパス フィルタ) 1 コンデンサの分圧回路を⽤い て電位を取り出す 2 1 2 [2] Fig. 3 インピーダンス 周波数の発振
  24. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    31 発振回路の構成要素(1) ‒ LC回路バンドパスフィルタ -1 電位0 ⼊⼒X(s) 出⼒Y(s) ⼊⼒が⽩⾊雑⾳とする。この信号をs領域 で考え、LC回路部分をシステムとみなす。 () = ()() ():LC回路による影響 (伝達関数) コイル・コンデンサ・抵抗のインピー ダンス/アドミタンスもs領域で表現[15]。 システム H(s) インピーダンス アドミタンス 抵抗 1/ コイル 1/() コンデンサ 1/() 1 = 1 + = 1 + ! = 1 + ! これを 利⽤して したがって 伝達関数の 極配置は ! = −1 より = 1 = 0 + を 代⼊して = 1 つまりコンデンサの容量Cを固 定すれば, コイルのインダクタン スLにより通過周波数が変化する バンドパスフィルタと⾔える。 ※ [13]では普通にインピーダンスを合成して実際の 数値例も出しています。そっちの⽅がわかりやすい かも。[15]で電⼦回路部品のs領域表現を⾒つけて⾯ ⽩そうだったので使ってみました。このように捉え ると電⼦回路とデジタルフィルタの溝がかなり埋ま る気がします。 発振に関する係数c=0とし 周波数領域にマッピング
  25. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    32 発振回路の構成要素(2) ‒ コンデンサ分圧回路[13][14] -1 電位0 " = # $ = ? % = 0 & ! # $ = 1 ! 1 & + 1 ! # $ = 1 ! 1 & + 1 ! # = & & + ! # " $ = 0 % & ! # " = # $ = & & + ! # % = 0 & ! # " = # − & & + ! # = 1 − & & + ! # $ = 0 % = 0 − & & + ! # = − & & + ! # & ! # − & & + ! # 反転する
  26. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    33 FlexPockのMIセンサ(2) ‒ インピーダンス変化を周波数変化へ ⽅法:インピーダンス変化を発振回路の周波数決定部分として作⽤させる[2]。 -1 反転増幅 電位0 出⼒ FlexPockのコルピッツ型発振回路の模式図 コルピッツ型発振回路の構成要素[13] LC回路 (狭帯域バンドパス フィルタ) 1 コンデンサの分圧回路を⽤い て電位を取り出す 2 1 2 最初:回路で発⽣する雑⾳ コイルのインピーダンス(インダクタンス)により 決定される周波数の波が 反転されて出⼒ 次第に特定周波数の波のみになる [2] Fig. 3
  27. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    35 光電容量脈波 (PPG) の概要 ⾎管内に巡る⾎流の体積変化を光で読み取る⽅式がPPGセンサーとなっています[18]。 “ 発光器 (LED等) 受光器 (PD等) 発光器 受光器 体にLED等の発光器を当てて光らせ、PD等の受光器で検出した光の 量から⾎圧などの⾎管の状態、⾎液量・⾎中酸素飽和度[20]、⼼拍・ 呼吸[22]などを計測できる。 発光器と受光器を同じ⾯に配置して体から帰ってくる反射光を利⽤ するものを反射型PPG (rPPG)と呼ぶ[19]。 PPG 反射型PPG (rPPG) LEDを発光器・カメラを受光器として⽤いればスマートフォンでも⼼拍測定などが⾏える[20]。 [20] [19] スマートフォン 指 Apple Watch
  28. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    36 rPPGで考慮すべき点:波⻑の選択 測定対象による考慮[21] 1 受光器の特性による考慮 2 発光器 受光器 感度 波⻑ 受光器としてはフォトダイオードなどが⽤い られるが、波⻑により感度が異なるという特 性がある。(⼈間の⽬と同様[40]) 受光器の感度の⾼い波⻑を選んだ⽅がSN⽐が ⾼くなり計測が容易となる。 FlexPockの波⻑のうち⼀つはこれを考慮して いると思われる[2]。 光量の変化から⾎液量の変化を捉える 体 ⾎ ⾎ ⾎ ⾎ 酸化 ヘモグロビン 脱酸化 ヘモグロビン O ⾎液が吸収する光の波⻑にしなければ光量が変化しない ⾎液 - 酸化ヘモグロビンと脱酸化ヘモグロビンで構成 ⾎液量を測定 ⇒ 酸化・脱酸化ヘモグロビンで吸収量が同じ波⻑を選択 ⾎中酸素濃度を測定 ⇒ 酸化ヘモグロビンのみ吸収する波⻑を選択
  29. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    37 FlexPockのPPGにおいて呼吸計測が可能な原理[1] ⽪膚灌流(Skin Perfusion)が呼吸により変化 A 呼気時に脈拍数が減少し,吸気時に脈拍数が増加するという⽣理 現象(呼吸性洞性不整脈)がある[21]。おそらくこのことを⾔って いるのだと思われる。 呼吸により⽪膚の伸縮が発⽣ B 呼吸により発光器から体 体から受光器への光の届き⽅が変化 C 上記はPPGが⾎管や⾎液の状態を捉えるという考えに基づいたもの。 FlexPockでは服の上や体⽑の上に受光器・発光器を配置することになる為、以下のような理由も考えられる。
  30. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    39 ガイド:センサ信号の処理 • 参照⽤データの処理(参照⽤データ:電極による計測, SpiritCor9D) これは信頼できる参照⽤データを作る処理:機械化(⾃動化)を⽬的としない 1. 不要な信号成分の除去 2. ピークの選択(周期抽出) 3. 不信頼区間の除去 • MI, rPPG, 加速度センサの処理(FlexPockに搭載されているセンサ) これは機械化(⾃動化)を⽬的とする 1. CLIE法(周期推定アルゴリズム) 2. センサフュージョン • 信号品質評価関数(信号品質の評価)
  31. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    41 参照⽤信号の処理 ‒ 全体像 1 不要な信号成分の除去 2 ピークの選択 3 不信頼区間の除去 ⼼拍や体の動きによる成分などを除去 なるべく呼吸を表す成分のみとなるようにする IP信号のピーク位置を抽出 呼吸間隔が計算できる状態にする ピーク位置が信頼できない箇所を利⽤しないようにする
  32. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    42 不要な信号成分の除去 1. 1 1. 2 Savitzky-Golay 平滑化フィルタを適⽤ (2次, 45サンプル幅) 1. 3 Butterworth ハイパス/ローパスフィルタを適⽤ (6次) 独⾃の平滑化処理? 近似⼀次導関数値の1.5秒毎の⼆乗平均平⽅根(RMS)を計算 a 各サンプル点が で求めた各RMSの±1.5倍を超える所を除去 b で除去したサンプル点を区間的3次エルミート補完で補完 c 1 不要な信号成分の除去 2 ピークの選択 3 不信頼区間の除去
  33. RMS 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in

    Dogs 43 独⾃の平滑化処理? 近似⼀次導関数値の1.5秒毎の ⼆乗平均平⽅根(RMS)を計算 a 各サンプル点が で求めた各RMS の±1.5倍を超える所を除去 b で除去したサンプル点を区間的 3次エルミート補完で補完 c ※上記の図は⼈間の実際のIP信号を公開データセット“MARSH”[30][31]から取得して処理を適⽤した例 IP信号 Δ/Δ RMS(Δ/Δ) 1.5s 3.67e-10 RMS 3.59e-10 RMS 3.60e-10 RMS -1.5RMS +1.5RMS Δ/Δ 超越した所に対応する サンプル点を除去 除去済み信号 元信号 IP信号 IP信号 除去済み信号 元信号 補完した信号 急激な変化を除去 平滑化のようなものか?
  34. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    44 Savitzky-Golay 平滑化フィルタ 実は単純移動平均や線形荷重移動平均はSavitzky-Golayフィルタの⼀種である ある特定の範囲(窓)で最⼩⼆乗法によ る多項式近似を⾏い平準化する⽅法 なめらかにする処理:信号の特徴を維持 しつつ平準化したいときに効果的[32]-[34] IP信号 平滑化済み信号 補完済み信号 窓 -1 -2 -3 0 1 2 3 -1 -2 -3 +1 +2 +3 両側M点 = + + 最⼤次数 ※上記の図は⼈間の実際のIP信号を公開データセット“MARSH”[30][31]から取得して処理を適⽤した例
  35. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    45 Butterworth ローパス/ハイパスフィルタ 通過帯域が数学的に可能な限り平坦な周波数特性となるよう設計されている[35]フィルタ アナログフィルタであり、デジタルデータに適⽤するにはインパルス不変変換や双⼀次変換などが必要[16] (*1) Alessio Damato - 投稿者⾃⾝による作品, CC 表⽰-継承 3.0, https://commons.wikimedia.org/w/index.php?curid=427738による [35](*1) リップルが 少ない 通過域 阻⽌域 減衰が 緩やか () = 1 ∏*+, -+&( − * ) where * = Ω. exp 2 + 2 + 1 2 ( = 0, ⋯ , − 1) Ω. :カットオフ周波数 N () = () 2 1 − /& 1 + /& = 1 ∏*+, -+& 2 1 − /& 1 + /& − * Ω. = 2 tan . 2 . :カットオフ正規化周波数 双⼀次変換はフィルタ特性の正確な反映を犠牲にする代わりにエイリアシ ングの問題が起きない[16]。 なおMatlabではその点も考慮してフィルタ特性を正確に保存するように変 換しているとのこと[36]。おそらく上記のような単純な式ではない。
  36. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    46 ピークの選択 2. 1 局所最⼤値を選択 2 ピークの選択 3 不信頼区間の除去 1 不要な信号成分の除去 2. 2 ピーク同⼠の間隔による間引き (最⼩幅:200ms) 2. 3 ピークの⾼さによる間引き 2. 4 信号の増減具合によるピークの間引き 2. 5 ピークの⼿動追加・呼吸数の線形補間? (詳細不明)
  37. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    47 局所最⼤値を選択/ピーク同⼠の間隔による間引き Δ Δ 局所最⼤ 0クロス点 ※後退差分(*1) 対応 最低 [ms] > 200 [ms] 2. 1 局所最⼤値を選択 近似 を求める。0クロス点は増減が 切り替わる箇所なので、局所最 ⼤に対応する。 2. 2 ピーク同⼠の間隔 による間引き 求めた局所最⼤(ピーク)同⼠の 間隔が の場合、⼤き さを⽐較して す る。 (*1) 収束のオーダーを考えると中⼼差分を⽤いるべき[37]だが、作図の簡便化のため後退差分とした。 + ー
  38. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    48 ピークの⾼さによる間引き ピークの⾼さを評価:いろいろ⽅法がありそうだが、論⽂には書かれていなかった MATLABのヘルプに書かれていたやり⽅[38]を紹介 ピークの位置から⽔平 線がぶつかった点まで のそれぞれの区間で最 ⼩値を⾒つける b ピークの位置から⽔平 に線を以下の状態にな るまで伸ばす a で求めた最⼩値のう ち⼤きい⽅の点とピー クとの⾼さの差をピー クの⾼さとする c • ⽔平線と信号線がぶつかる • 信号線の[左 | 右]端へ到達 例えばこのように評価 したピークの⾼さが閾 値以下であるピークを 除去する d 最⼩ 最⼩ この最⼩値は信号の端か または信号の⾕の位置となる ピーク の⾼さ 具体的な閾値は不明
  39. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    49 信号の増減具合による間引き Δ Δ ピーク 0クロス点 ※後退差分(*1) (*1) 収束のオーダーを考えると中⼼差分を⽤いるべき[37]だが、作図の簡便化のため後退差分とした。 ・・・ ・・・ ・・・ ・・・ 増加側⾯積 up 減少側⾯積 down + ー 対応 近似⼀次導関数の増加から減少の 転じる0クロス点(局所最⼤; ピーク) を中⼼として左側の0クロス点と右 側の0クロス点それぞれで構成する ⾯積(up, down)の⽐が1:5ま たは5:1以上であれば、ピークを除 去する。 呼吸を表す IP信号の増減の 様⼦は⼤体同じ [1] Fig.5
  40. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    50 ピークの選択 2 ピークの選択 1 不要な信号成分の除去 3 不信頼区間の除去 ⽝の動きが激しい場合、うまく信号を取得する事ができない。 加速度センサの値が⼀定以上の区間は「信頼できない区間」とし ピークを除去し、呼吸間隔を算出しない。(⽤いない)
  41. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    52 呼吸間隔推定アルゴリズム ‒ CLIE法の概要 Continous Local Interval Estimator(CLIE)アルゴリズム[39] 時間毎に変わるピーク同⼠の間隔 (呼吸間隔) を推定 ⼼拍間隔 (BBIs) 推定⽤途で提案された⽅法 490 ms 500 ms 500 ms 510 ms IP信号のようにピーク抽出をするのではなく 特定の幅で切り出した信号2つの 類似度を評価するような⼿法 ARSと似たような考え⽅
  42. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    53 CLIE法の流れ 0 信号の事前処理 SGフィルタやローパス/ハイパスフィルタ適⽤など 信号を中⼼が で幅が の窓で切り出す 最⼤間隔の基本波形全体2つが収まるような幅 最⼤間隔 !"# [サンプル], 最⼩間隔 !$% [サンプル] 窓シフト幅 Δn& [サンプル], 窓初期位置 '(")( [サンプル], 振幅閾値 ) ← 1 # = 45675 窓内の信号の振幅が閾値以上の場合 この窓は“無効”とし次の処理を⾶ばす 3 この窓における局所推定間隔 を求める 4 信号の端まで到達していたら終了 そうでなければ窓をシフトして処理を続⾏ 5 1 2 終了 窓の中⼼の位置を初期位置に設定 # = # + ∈ −869 , ⋯ , 869 ← + 1 #:& = # + Δ) パラメータ # − 869 # + 869 2869 # −869 869 0 > 7 INVALID < 7 PASS # +Δ) 2 3 5 4 (*1) (*1) 窓内のインデックスの付け⽅が[1]と[39]で異なるが、本資料では[1]に従う。結果に影響はない。
  43. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    54 局所推定周期の算出 1 Modified Autocorrelation Lag-Adaptive Short-Term Autocorrelation (LASTA) (*2) ;"<=" [] = 1 j >+, - [ − ] 窓内においてピーク間隔がであるかどうかを評価する関数を⽤意 この関数が最⼤となるをこの窓内における推定局所間隔とする # − 869 # + 869 # −869 869 0 間隔 = 0, 1, ⋯ = 0 − , 1 − , ⋯ 2 Modified Average Magnitude Difference Function (AMDF) (*2) 3 Maximum Amplitude Pairs (MAP) (*2) 推定局所間隔 # = argmax - [] "?@A = 1 j >+, - − − /& ?"B = max >∈ ,,⋯,- + [ − ] ・・・ 実際の間隔# 評価に使う1対のサンプルは が実際の間隔! に等しい 時、基本波形の同じ値のサ ンプル同⼠となる ※ピークが鋭いECGには有効な評価関数だが、呼吸を表す 信号には不適なため本研究では⽤いない (*1) ⼤枠のアルゴリズムは同じで評価関数が異なるのはARSシリーズに似ている。上から順にGMRS, ASO, ARS (*2) これらの関数は元はそれぞれ⾳声のピッチ抽出のために別々に提案された評価関数である[39]。
  44. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    55 評価関数の出⼒の合成、センサフュージョン 評価関数の出⼒を合成して精度を⾼める ⽂献[39] では評価関数をベイズ確率論の事後確⽴密度関数と 捉え結果として右のように合成することを提案(*1) * [] → (|* ) (*1) 詳細な議論は⽂献[39]の§2.4を参照。 いくつか仮定を置いて & , ⋯ , F ∝ & ⋯ (|F ) 加速度センサ LASTA AMDF LASTA AMDF qrstr,ruu [] rvwx,ruu[] qrstr,vy [] rvwx,vy[] !"#$% = &'()','++[] ',-!,'++[] &'()',,.[] ',-!,,.[] × × × vy ruu 本研究では複数種類のセンサの複数の評価関数を合成する MIセンサ
  45. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    56 評価関数の実際(1) AMDFが明確でLASTAは緩やか 両⽅を合成することでより明確に [1] Fig.6 ⼼拍ではどれも明確に出る ピークが鋭い信号に有効か 論⽂と同じような結果 MAPは不適としていたが この信号ではそのように思えない
  46. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    57 評価関数の実際(2)LASTAよりもMAPの⽅が良い? 窓の中⼼ +3サンプル 窓の中⼼ -7サンプル 窓を少しずらすだけでLASTAの⼭の位置が⼤きく変わってしまう MAPは全然変わらないのでMAPを使った⽅が良いのではないかと思えた
  47. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    58 本論⽂における推定間隔の出し⽅ 500ms 推定間隔 窓幅: 1.3s 460ms 推定間隔 510ms 推定間隔 500ms 推定間隔 460ms 推定間隔 中央値 460ms 推定間隔 中央値 集計幅: 15s # N G 460ms 推定間隔 中央値 15秒ごとに平均の推定間隔を出していく
  48. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    60 信号品質評価関数の概要 ピーク間隔の推定に⽤いた評価関数の値を利⽤して信号品質を評価する 推定したピーク間隔の値が信頼できるか否かを決定し、信頼できなければこの区間における推定値を⽤いない 115 推定間隔 AH4IJ CLIE 115 推定間隔 or Invalid 推定間隔 信号品質評価 OK or NG
  49. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    61 信号品質評価関数 1 Median Quality (MQ) 2 Normalized Median Quality (NMQ) [] = (# ) [] = [] ⋅ N G ! # = AH4IJ,# [# ] ∑ -+, -"#$ AH4IJ,# [] ∈ {g番⽬の範囲に含まれる窓のイテレーション番号} 窓幅: 1.3s 集計幅: 15s + 1 − 1 + 1 # #:& [] = (# ) 各窓毎の信号品質評価 評価関数の明瞭度を⽰す 低周波数信号 (⻑周期) ほどMQの値が低く出る 傾向があるため、推定間隔で重み付けしたもの。 これら2つの値に閾値を設ける
  50. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    63 ガイド:センサ信号の処理 • 実験概要(再掲) • 評価項⽬ • センサの組み合わせの評価:どのセンサの組み合わせが良いのか • MQとNMQの評価:正しく信号品質が評価できているのか • ⽝毎の呼吸推定精度の評価:正しく呼吸推定が⾏えるか • 個体の特徴による結果の変化:どのような因⼦が精度に影響を与えるか • ⽝の状態による結果の変化
  51. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    65 実験概要 1 呼吸計測デバイス“FlexPock”および参照⽤呼吸 計測デバイス を⽝に装着 2 ⽝に特定の⾏動をとってもらう 計測したデータをそれぞれ処理 時刻ごとの呼吸間隔を出す 結果を⽐較して評価・検討 10:00 10:05 参照 FlexPock 10 BPM 10 BPM 10 BPM 09 BPM ・・・ ・・・ 3 10:00 10:05 参照 FlexPock 10 BPM 10 BPM 10 BPM 09 BPM ・・・ ・・・ 4 筆者らが開発した⾮接触計測デバイス
  52. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    66 実験条件 歩く 横たわる 座る ⽴つ 1分30秒 1分30秒 1分30秒 1分30秒 6分 6分 6分 6分 ⾏動を持続させるため 必要であれば餌を与えた リードはつけない 25℃ 4つの状態 室温 各 1分 30秒 × 4セット (計24分) 室内 実験場所
  53. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    67 実験に参加した⽝の属性 ID ⽝種 年齢 体重 [kg] 性別 ⽑の種類 1 ゴールデン・レトリーバー 1歳2ヶ⽉ 24 メス L, TL, CTB 2 シェットランド・シープドッグ 5歳1ヶ⽉ 11 メス L, TL, F, D 3 オーストラリアン・シェパード 5歳3ヶ⽉ 21 メス L, TL, CTB 4 オーストラリアン・シェパード 9歳11ヶ⽉ 22 オス L, TL, CTB 5 ゴールデン・レトリーバー 7歳0ヶ⽉ 26 メス L, TL, CTB 6 ボースロン 10歳3ヶ⽉ 31 メス S, TL, FI 7 ボースロン 9歳0ヶ⽉ 38 メス S, TL, FI 8 フラットコーテッド・レトリーバー 3歳9ヶ⽉ 27 メス L, TL, CTB 9 ロマーニョ・ウォーター・ドッグ 12歳4ヶ⽉ 15 メス C, TL, F 10 ロマーニョ・ウォーター・ドッグ 6歳3ヶ⽉ 13 メス C, TL, F L: ⻑い, S: 短い | C: 巻き⽑ | TL: 2層 | CTB: 体表⾯に近い | F: 柔らかい, FI: 硬い | D: ⾼密度 [1] Table. 1
  54. 0 1 2 3 4 5 6 7 8 9

    10 11 12 13 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs 68 実験に参加した⽝の属性 ♂1 ♀9 [歳] 10 15 20 25 30 35 40 [kg] 計 匹 の健康な⽝ 10 平均 7 平均 22.8
  55. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    70 評価項⽬ 参照⽤信号 呼吸間隔 [BPM] 110 120 120 - 100 97 提案⼿法 推定呼吸間隔 [〃] 100 200 - - 103 98 絶対誤差 10 -80 - - -3 -1 相対誤差 9.09% 66.67% - - 3.00% 1.03% 7IK I45 7IK − I45 7IK − I45 7IK ⋅ 100 15s 参照⽤信号で呼吸間隔 が推定できたところ 提案⼿法で呼吸間隔が 推定できたところ カバレッジ 参照⽤信号で推定できた時間に対するMI+加速度で推定できた時間の割合
  56. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    72 評価する内容 ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ 36 57 12 ・・・ 91 24 相対誤差[%] ・・・ ・・・ 0 0 1 ・・・ 250 3 誤差に応じて並び替え 相対誤差[%] 平均を取る範囲▲ Fraction of Data ・・・ • センサ毎•に 範囲▲を変えていった時の 平均相対誤差★を⽐較 範囲内の平均相対誤差★ ⽝ #1 ⽝ #2 ⽝ #10 全ての⽝の信号をつなげる 電極 Flex Pock
  57. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    73 結果 ‒ センサ単体 センサ 相対誤差 [%] MI 4.00% PPG ⾚ 3.62% PPG ⾚外 3.59% 加速度1 4.77% 平 均 相 対 誤 差 [%] 平均相対誤差を取る範囲 [%] 加速度1は常に最も平均相対誤差が⼤きい どれが⼀番良いかは平均絶対誤差を取る範囲によって変わる つまりどれだけの信号を活かすか ←良い所だけ 信号全部→ 精度の⾼い上位50%の 平均相対誤差 [1] Fig. 7 [1] Table. 2
  58. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    74 結果 ‒ センサ2つの組み合わせ(1) センサ単体の場合と同じく どれが⼀番良いかは平均絶対誤差を取る範囲によって変わる 平 均 相 対 誤 差 [%] 平均相対誤差を取る範囲 [%] ←良い所だけ 信号全部→ 精度の⾼い上位50%の 平均相対誤差 センサ 相対誤差 [%] MI + PPG⾚ 3.07% MI + PPG ⾚外 3.06% MI + 加速度1 3.18% PPG ⾚ + PPG ⾚外 3.42% PPG ⾚ + 加速度1 3.08% PPG ⾚ + 加速度2 2.62% PPG ⾚外 + 加速度1 3.14% PPG ⾚外 + 加速度2 2.64% 加速度1 + 加速度2 2.96% [1] Fig. 8 [1] Table. 2
  59. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    75 結果 ‒ センサ2つの組み合わせ(2) センサ 相対誤差 [%] MI 4.00% PPG ⾚ 3.62% PPG ⾚外 3.59% 加速度1 4.77% MI + PPG⾚ 3.07% MI + PPG ⾚外 3.06% MI + 加速度1 3.18% PPG ⾚ + PPG ⾚外 3.42% PPG ⾚ + 加速度1 3.08% PPG ⾚ + 加速度2 2.62% PPG ⾚外 + 加速度1 3.14% PPG ⾚外 + 加速度2 2.64% 加速度1 + 加速度2 2.96% 2 3 4 5 全ての相対誤差の分布( 単体 組み合わせ) • 概ね組み合わせた⽅が相対誤差が低いが、加速度2は単体で⼀部のセン サの組み合わせよりも優れている。 • センサを組み合わせると必ずしも誤差が低くなるわけではない。(例:加 速度2と加速度1+加速度2) 得られた結果よりMIと加速度2の組み合わせを選択するのが良いと判断 以降の評価ではMIと加速度2の組み合わせにより推定した呼吸間隔につ いて評価する(*1) (*1) なぜ精度の⾼い上位50%の平均相対誤差の値により決めたのかは不明 [%] [1] Table. 2
  60. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    77 評価する内容 ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ 36 57 12 ・・・ 91 -- 相対誤差[%] MQ・NMQの閾値▲を変えていった時の 平均相対誤差★1とカバレッジ★2⽐較 ⽝ #1 ⽝ #2 ⽝ #10 全ての⽝の信号をつなげる 電極 FlexPock 45 88 37 ・・・ 29 17 MQ 48 90 30 ・・・ 27 20 NMQ 閾値 !" 閾値 #!" ▲ MQ・NMQにより無効とされていない所の平均相対誤差★2 信号全体のうち無効( )となっていない所の割合★2
  61. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    78 結果 ‒ MQかNMQどちらかだけ使⽤ カバレッジ 平均相対誤差 正規化閾値 ・・・ 45 88 37 ・・・ 29 17 (N)MQ 閾値 () MQかNMQどちらかだけを使った場合 ?L − [] MQ, NMQそれぞれ以下を指す -?L − [] 8.5% MQ 11.57% NMQ [1] Fig. 9
  62. ・・・ 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in

    Dogs 79 結果 ‒ MQかNMQどちらかだけ使⽤ ・・・ 45 88 37 ・・・ 29 17 MQ 閾値 MQとNMQ両⽅を使った場合 [%] 平 均 相 対 誤 差 [%] 正規化MQ閾値 正規化NMQ閾値 正規化MQ閾値 正規化NMQ閾値 8.0% 最⼩ 50% COV 48 90 30 27 20 NMQ 閾値 カバレッジ50%となるようにした場合 最⼩の平均絶対誤差は8.0%となる。 MQ・NMQ単体よりも良い。 MQ、NMQの閾値の組み合わせは複数ある。 [1] Fig. 10
  63. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    81 評価する内容 ・・・ ・・・ 36 57 12 ・・・ 91 -- 相対誤差[%] 閾値決定⽤9匹の信号において Cov 50%でMREが最⼩となる 閾値$% , &$% を求める 45 88 37 ・・・ 29 17 MQ 48 90 30 ・・・ 27 20 NMQ 平均相対誤差•2 ・・・ ・・・ 36 57 ・・・ 91 相対誤差[%] 45 88 ・・・ 29 MQ 48 90 ・・・ 27 NMQ 閾値 !" 閾値 #!" ▲ 平均相対誤差★2 ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ⽝ #1 ⽝ #2 ⽝ #10 電極 FlexPock 閾 値 決 定 ⽤ 検 証 ⽤ 閾値決定⽤ 9匹分の信号をつなげる 検証⽤ 1匹分 カバレッジ•1 50% 最⼩ カバレッジ★1 1 検証⽤1匹の信号において 求めた$% , &$% を⽤いた際の Covと誤差を求める 2
  64. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    82 結果 ‒ 全状態総合 個体識別 ID 呼吸間隔 絶対誤差 カバレッジ [%] 平均 [BPM] 標準偏差 [BPM] 平均 最⼤ [BPM] [%] [BPM] [%] 1 193.8 42.1 23.0 13.7 113.5 95.2 52.8 2 87.3 21.2 2.8 6.0 3.6 7.6 0.5 3 204.5 68.2 20.7 10.5 133.5 88.8 19.4 4 124.4 37.0 12.9 9.6 88.3 91.7 34.5 5 154.6 35.5 12.8 11.1 128.8 188.9 81.1 6 161.9 54.7 9.0 7.8 126.5 266.5 73.0 7 136.1 16.5 10.3 8.2 73.7 74.5 91.5 8 214.7 34.5 13.9 7.3 124.5 64.1 70.0 9 191.3 43.9 13.8 8.0 118.3 83.0 11.7 10 196.2 75.4 25.8 12.4 210.4 146.1 67.0 平均 166.5 42.9 14.5 9.5 112.1 110.6 50.1 [1] Table. 3
  65. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    83 結果 ‒ 全状態総合 ‒ 呼吸間隔 個体識別 ID 呼吸間隔 平均 [BPM] 標準偏差 [BPM] 1 193.8 42.1 2 87.3 21.2 3 204.5 68.2 4 124.4 37.0 5 154.6 35.5 6 161.9 54.7 7 136.1 16.5 8 214.7 34.5 9 191.3 43.9 10 196.2 75.4 平均 166.5 42.9 1 2 1 個体間でばらつきが⼤きい ⽝によって呼吸間隔はかなり異なる 2 同⼀個体でもばらつきが⼤きい 状態、あるいは時間によって呼吸の様⼦が変わる [1] Table. 3
  66. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    84 結果 ‒ 全状態総合 ‒ 誤差 個体識別 ID 絶対誤差 平均 最⼤ [BPM] [%] [BPM] [%] 1 23.0 13.7 113.5 95.2 2 2.8 6.0 3.6 7.6 3 20.7 10.5 133.5 88.8 4 12.9 9.6 88.3 91.7 5 12.8 11.1 128.8 188.9 6 9.0 7.8 126.5 266.5 7 10.3 8.2 73.7 74.5 8 13.9 7.3 124.5 64.1 9 13.8 8.0 118.3 83.0 10 25.8 12.4 210.4 146.1 平均 14.5 9.5 112.1 110.6 相対誤差に対応 ばらつきが⼤きいにもかかわらず 相対誤差10%に抑えた 1 2 3 1 ばらつきが少ない ⽝の個体によらず提案⼿法による呼 吸推定の精度は同程度 2 個体間、あるいは状態や時間で呼吸 間隔の値にはばらつきがあるものの 平均相対誤差10%以内を達成 3 ⼀⽅で最⼤誤差が⾮常に⼤きく個体 により⼤きな差がある ⼤幅に推定を誤る事がある⼿法とい える [1] Table. 3
  67. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    85 MQ/NMQ 平均 平均 6.43e-2 [a.u.] 2.15e-6 [a.u.] 標準偏差 標準偏差 7.02e-2 [a.u.] 2.46e-8 [a.u.] 10.9 1.14 [%] [%] 平均⽐ 平均⽐ MQのよりもNMQの⽅が安定 個体によらず同じような値をとる
  68. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    86 年齢との相関 0 10 20 30 40 50 60 70 80 90 100 0 2 4 6 8 10 12 14 16 0 1 2 3 4 5 6 7 8 9 10 11 12 13 [%] 平 均 相 対 誤 差 [%] 年齢 [年] 平均相対誤差 カバレッジ ⽝の年齢と 平均相対誤差・カバレッジに相関はない
  69. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    87 体重との相関 0 20 40 60 80 100 120 0 2 4 6 8 10 12 14 16 5 10 15 20 25 30 35 40 45 [%] 平 均 相 対 誤 差 [%] 体重 [kg] 平均相対誤差 カバレッジ 回帰直線 (カバレッジ) 相関係数 有意⽔準 +0.76 0.01 ハーネスの⼤きさの調整によりFlexPockと体の密着度が⼀定 となるように配慮している⼀⽅で、コイルの⼤きさを変えてい ないため、⼩さい⽝の肺の動きを捉えるのにコイルの⼤きさが 不適だった可能性。 ⽝の体重とカバレッジに正の相関がある ハーネスの⼤きさ ⽝の⼤きさに応じて3種類 コイルの⼤きさ ⽝の⼤きさによらず⼀定 1 ⽝の体重と呼吸量に正の相関があると の報告がある。つまり、体重の重い、 ⼤きい⽝ほど呼吸量が⼤きい。よって ⼤きい⽝ほど信号強度が強く信号品質 が良いといえる。 2 ⼀⽅、⽝の体重と平均相対誤差に相関はない これは、つまりMQとNMQにより信号品質の良いところのみを選択 して推定することができていると⾒ることができる。
  70. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    88 各状態で参照⽤信号が”無効”でない時間の割合 80% 20% 78% 22% 85% 15% 2% 98% ⽴つ 座る 横たわる 歩く 「歩く」状態では参照信号 (電極) でもまともに呼吸間隔推定が⾏えない よって「歩く状態」以外について状態毎のカバレッジ・平均相対誤差のみ⽰す ⽴つ・座る・横たわるの静⽌状態でないと計測ができない
  71. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    89 結果 ‒ 各状態毎 個体識別 ID ⽴つ 座る 横たわる MAE [BPM] カバレッジ [%] MAE [BPM] カバレッジ [%] MAE [BPM] カバレッジ [%] 1 13.18 60.49 23.53 58.41 34.33 37.26 2 - 0.00 - 0.00 2.84 1.49 3 32.64 24.66 7.49 10.63 12.06 16.13 4 16.06 50.96 10.09 29.28 7.90 17.65 5 11.54 75.24 9.63 82.03 16.92 75.07 6 7.92 68.62 6.30 87.05 14.22 51.45 7 10.66 94.67 6.55 91.10 13.17 83.28 8 16.76 82.32 8.41 76.41 16.70 47.81 9 10.72 10.47 7.36 12.14 20.14 11.15 10 27.23 61.49 9.77 64.14 41.55 46.71 平均 16.30 52.89 9.90 51.12 17.98 38.80 ⽝によってはカバレッジ が0%になってしまって いるような状態もある。 [1] Table. 4
  72. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    90 状態による結果の違いの検討 個体識別 ID ⽴つ 座る 横たわる MAE [BPM] カバレッジ [%] MAE [BPM] カバレッジ [%] MAE [BPM] カバレッジ [%] 平均 16.30 52.89 9.90 51.12 17.98 38.80 センサがある前⾜に⼒を⼊れている状態 → カバレッジが似ている センサが⽝と地⾯に挟まれる センサの位置がズレたり、加 速度センサの動きが制限され て正しく計測できない → カバレッジ低下 / MAE上昇 ⽴っている状態の⽅が動きが⼤きい → 誤差が⼤きい 状態を維持するために餌を与える際わずかに動く (静⽌状態でも常に静⽌ではない) この時はセンサの動きが⼤きくなってしまい、カバレッジが低下 [1] Table. 4
  73. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    91 ⽝種(⽑の特徴)による影響の可能性 カバレッジが最も悪かった個体はシェットランド・シープドッグ ⽑が⻑くて密度の⾼い⽝種である ⽑が⻑いとセンサと体表⾯との距離が離れるため信号品質が低 下することが予想される。よって⽝種(⽑の特徴)とカバレッジ・ 誤差に相関がある可能性がある。 体 ⽑ センサ ただ同じく⽑の⻑い⽝種であるゴールデンレトリーバーの個体は カバレッジが良かったため、そこまで影響はないかもしれない。
  74. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    93 まとめ(1) LED フォトダイオード コイル バッテリー ・・・ 実際の間隔# 合成 (フュージョン) ⽝の呼吸:貴重な情報源 病気の予兆・感情 普段使いできる⾮接触計測 デバイスの開発が重要 ⼩型・ワイヤレス 計測・処理・データ送信 全てを⾏う 3つのセンサを搭載 磁気インピーダンスセンサ 反射型光電容量脈波 加速度センサ 周期推定:波形の類似度を評価 CLIEアルゴリズム MAPのみ不使⽤:呼吸波形に不適 複数のセンサによる 推定結果を合成 信号品質評価関数を導⼊ 推定結果がどの程度信頼できるかを定量化 信頼できないところは利⽤しない
  75. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    94 まとめ(2) 10 ・・・ ・・・ ・・・ ・・・ ・・・ ⽝ #1 ⽝ #2 電極 FlexPock 閾 値 決 定 ⽤ 検 証 ⽤ 平均相対誤差 >10% 個体による ばらつきが⼤きい がそこそこの結果 0 20 40 60 80 100 120 0 5 10 15 5 10 15 20 25 30 35 40 45 [%] 平 均 相 対 誤 差 [%] 体重 [kg] 匹 ⽝種・年齢・体重 バラバラの⽝10匹 歩く・⽴つなど 様々な動きをして もらう 加速度+MIセンサ が最も良かった 閾値を上げるとカバレッジが減少:妥当 閾値決定⽤に9匹のデー タを⽤い残りの1匹につ いて精度を評価 体重とカバレッジに相関 が⾒えられた ⼩さい⽝に不適:コイル の⼤きさが適していない と考察
  76. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    95 まとめ(3) 80% 20% 2% 98% ⽴つ 歩く 平均相対誤差 > 10% 今回開発・検証したFlexPockは静⽌状態についてそこそこの精度で呼吸間隔を推定可能 普段使いできる⽝⽤の⾮接触呼吸計測デバイスの開発の⾜がかりとなった
  77. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    97 参考⽂献(1) [1] C. H. Antink, M. Pirhonen, H. Väätäjä, S. Somppi, H. Törnqvist, A. Card ó, D. Teichmann, O. Vainio, V. Surakka, A. Vehkaoja, “Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs,” IEEE Sensors Journ al, Vol. 19, No. 16, 2019年8⽉. [2] D. Teichmann, D. D. Matteis, T. Barttelt, M. Walter, S. Leonhardt, “A Be ndable and Wearable Cardiorespiratory Monitoring Device Fusing Tw o Noncontact Sensor Principles,” IEEE Journal of Biomedical and Health Informatics, Vol. 19, No. 3, 2015年5⽉. [3] “What is bioimpedance?,” (Webページ), Department of Physics, Univ ersity of Oslo, 2011年2⽉17⽇, https://www.mn.uio.no/fysikk/english/resea rch/projects/bioimpedance/whatis/ [4] 薮上信, 加藤和夫, 加茂芳邦, ⼩澤哲也, 荒井賢⼀, “⾼周波キャリア型薄 膜磁界センサを⽤いた⼼磁界測定,” Journal of the Magnetics Society of Ja pan, Vol. 32, No. 4, 2008年7⽉. [5] “⼈間の体が電気を通すのはなぜ,” (Webページ), OKWAVE, 2007年3⽉, https://okwave.jp/qa/q2801292.html [6] “インピーダンス法の原理,” (Webページ), 株式会社 神⼾メディケア, htt ps://taisya.net/taiseibun/body-composition/ [7] “磁気インピーダンス素⼦,” (Webページ), Wikipedia, https://ja.wikipedi a.org/wiki/%E7%A3%81%E6%B0%97%E3%82%A4%E3%83%B3%E 3%83%94%E3%83%BC%E3%83%80%E3%83%B3%E3%82%B9%E 7%B4%A0%E5%AD%90 [8] ⻄部祐司, 森川健志, ⼭寺秀哉, 坂⽥⼆郎, 野々村裕, ⽵内正治, 多賀康訓, “磁気インピーダンス効果を有する積層型薄膜磁界検出素⼦,” 豊⽥中央研 究所 R&D レビュー, Vol. 32, No. 1, 1997年3⽉. [9] 丹健⼆, ⼤森賢⼀, ⽷井和久, ⻑洲勝⽂, 上道雄介, 相沢卓也, “磁気イン ピーダンス効果を応⽤した⾼感度磁気センサ,” フジクラ技報, Vol. 115, 20 09年3⽉. [10] “MI センサテクノロジー,” (Webページ), 愛知製鋼, https://www.aichi- mi.com/mi-technology/ [11] “MIセンサ,” (Webページ), 愛知製鋼, https://www.aichi-steel.co.jp/pro ducts/electromagnetic/mi_censor/index.html [12] 中島善⼈, “Magnetのはなし,” (Webページ), https://staff.aist.go.jp/nak ashima.yoshito/nouzei/magnet.htm [13] 菅雄⼀, “システム奮闘記:その106 発振回路の仕組み,” (Webページ), OSSSME, 2016年11⽉14⽇, http://osssme.com/doc/funto106-no110.html [14] “コルピッツ発振回路1,” (Webページ), いろいろやりたい, 2014年11 ⽉20⽇, http://turkey7.ria10.com/diary/%E3%82%B3%E3%83%AB%E 3%83%94%E3%83%83%E3%83%84%E7%99%BA%E6%8C%AF%E 5%9B%9E%E8%B7%AF [15] “伝達関数の求め⽅,” (Webページ), 電⼦回路設計 ⼊⾨サイト, https://w ww.kairo-nyumon.com/control_calculation2.html [16] 鏡慎吾, “やる夫で学ぶディジタル信号処理,” (Webページ), 2016年1⽉ 8⽇, http://www.ic.is.tohoku.ac.jp/~swk/lecture/yaruodsp/main.html
  78. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    98 参考⽂献(2) [16] 井澤裕司, “ラプラス変換,” (Webページ), Yizawa Lab, http://www7b.bi globe.ne.jp/~yizawa/InfSys1/basic/chap12/index.htm [17] ⼾⽥尚宏, “回路基礎論,” (講義資料), 2016年4⽉. [18] “光学式⼼拍センサー(PPGセンサー)のシミュレーションと設計,” 光学 総合サイト, https://www.cybernet.co.jp/optical/solution_case/list/310.html [19] P. Celka, N. Granqvist, H. Schwabl, “Traditional Tibetan pulse readin g in the digital era,” (Article), 2019年2⽉. [20] 松村健太, 李知炯, ⼭越健弘, “スマートフォン式光電容量脈波測定法 – ⽇常⽣活中における有効利⽤へ向けて-,” ⽣体医⼯学, Vol. 54, No. 3, 2016 年6⽉. [21] 宮内祐樹, ⽯澤広明, 新村正明, “Fiber Bragg Grating センサによる脈 拍数, 呼吸数計測,” 計測⾃動制御学会論⽂集, Vol. 49, No. 12, 2013年. [22] 濱野円⾹, 横⼭道央, “信号処理による光電容積脈波からの⽣体情報抽 出,” ⽇本シミュレーション学会⼤会発表論⽂集, Vol. 29, 2010年6⽉19⽇. [23] E. Peper, K.H. Gibney, H. Tylova, R. Harvey, D. Combatalade, “第5 章:容積脈波,” (Article), 2007年, http://img.p-kit.com/neurojo/biofeedback /1499840843027328700.pdf [24] “Photoplethysmogram,” (Webページ), Wikipedia, https://en.wikipedi a.org/wiki/Photoplethysmogram [25] 富永あや⼦, 冨⽥晴樹, ⽯⽥岳史, “⼼電図教えてノート―チームでモニ ター事故を予防する!,” 中外医学社, 2015年. [26] 伊藤瑳恵, “ECG(⼼電図),” “デジタルヘルス⽤語,” (Webページ), ⽇ 経XTECH, 2018年10⽉1⽇, https://xtech.nikkei.com/dm/atcl/word/15/3279 20/092800068/ [27] S. Hrishikesan, “Impedance pneumography,” (Webページ), Electroni cs and Communications, 2017年2⽉19⽇, https://www.electronicsandcom munications.com/2017/12/impedance-pneumography.html [28] 朱欣, “⼼電図を⽤いた呼吸検出⽅法,” (⼝頭発表資料), 2017年, https:// shingi.jst.go.jp/var/rev0/0000/6792/2017_u-aizu_3.pdf [29] P. H. Charlton, “BIDMC Dataset,” (Webページ), http://peterhcharlton. github.io/RRest/bidmc_dataset.html [30] M. Pirhonen, V. Antti, “Fusion enhancement for tracking of respirat ory rate through intrinsic mode functions in photoplethysmography,” Biomedical Signal Processing and Control, Vol. 59, 2020年2⽉24⽇. [31] “‘MARSH’ - respiratory signal repository,” (Webページ), Zenodo, 20 20年2⽉24⽇, https://zenodo.org/record/3673924#.XpJkklP7R24 [32] A. Hiroto, “SciPy で Savitzky-Golay フィルタ,” (Webページ), org-技 術, 2016年4⽉28⽇, https://org-technology.com/posts/Savitzky-Golay-filter. html [33] “Savitzky-Golay filter,” (Webページ), Wikipedia, https://en.wikipedia. org/wiki/Savitzky%E2%80%93Golay_filter [34] ⾦⼦弘昌, “スペクトル・時系列データの前処理⽅法 〜平滑化 (スムー ジング) と微分〜,” (Webページ), データ化学⼯学研究室(⾦⼦研究室)@明治 ⼤学 理⼯学部 応⽤化学科, 2017年11⽉12⽇, https://datachemeng.com/pr eprocessspectratimeseriesdata/
  79. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    99 参考⽂献(3) [35] “バターワースフィルタ,” (Webページ), Wikipedia, https://ja.wikipedia. org/wiki/%E3%83%90%E3%82%BF%E3%83%BC%E3%83%AF%E3% 83%BC%E3%82%B9%E3%83%95%E3%82%A3%E3%83%AB%E3%8 2%BF [36] “バタワースフィルターの設計 – MATLAB butter,” (Webページ), Math Worksヘルプセンター, https://jp.mathworks.com/help/signal/ref/butter.ht ml [37] 代⽥健⼆, “数値解析法第7回講義 数値微積分(1) 〜数値微分法, ニュートン・コーツ型積分公式〜,” (講義資料), 2017年11⽉20⽇. [38] “プロミネンス,” (Webページ), Mathworks, https://jp.mathworks.com/ help/signal/ug/prominence.html [39] C. Brüser, S. Winter, S. Leonhardt, “Robust Inter-beat Interval Estim ation in Cardiac Vibration Signals,” Physiological Measurement, Vol. 34, No. 2, 2013年1⽉23⽇. [40] ⼀般社団法⼈ 照明学会, “照明⼯学”, オーム社, 2012年, ISBN 978-4-27 4-21261-1. [*] は特に参考になりました。⼀読をおすすめします。
  80. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    102 信号品質評価関数の意味 # = AH4IJ,# [# ] ∑ -+, -"#$ AH4IJ,# [] 各窓毎の信号品質評価 評価関数の明瞭度を⽰す ;"<=" [] = 1 j >+, - [ − ] "?@A = 1 j >+, - − − /& ?"B = max >∈ ,,⋯,- + [ − ] 間隔[sample]での 周期性の強さ 合成の考え⽅(→p.55)では 確率と⾒なされる ! :⼤ # ! :⼩ ピークの明瞭度を表す と考える事ができる
  81. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    104 結果 ‒ MQかNMQどちらかだけ使⽤ カバレッジ 正規化閾値 信号の品質を評価する関 数の閾値が上がったなら、 当然該当する部分は減少 しなければならない。単 調減少なのは望ましい挙 動である。 ピーク間隔評価関数の明瞭度の分布 が⼀様分布である事が予想される。 ⼀様分布 1-CDF NMQには推定間隔が2次のオーダーで⼊っ ているため、推定ピーク間隔の影響の⽅を 強く受ける。これがある値で急に減少して いるということは推定ピーク間隔の分布に 偏りがあるということが予想される。呼吸 の間隔は特定の帯域に分布していると考え られるためこれは妥当である。 負に偏らせた 正規分布 1-CDF [1] Fig. 9
  82. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    105 結果 ‒ MQかNMQどちらかだけ使⽤ 平均相対誤差 正規化閾値 ピーク間隔の明瞭度 がより⾼いもののみ に絞るほど、誤差が 少なくなるというこ とが分かる。 閾値を上げると誤差が減少するのは MQと同じであり、また信号品質の下 限を上げていると考えれば⾃然であ る。 後で⽰す結果からもわかるように本研究の 実験では最⼤誤差が⾮常に⼤きい。推定した ピーク間隔が⼤きいとNMQが⼤きくなって しまう。 ⼀⽅、MQと違い閾値をさらに上げる と誤差が上昇するのは直感に反する。 著者は特に原因を考察していないが、 これは最⼤誤差が⼤きいためと考え られる。 [] = [] ⋅ 例えば相対誤差の分布が以下のようだったと する。 推定ピーク間隔 誤差 40 40 10 10 5 100 ピーク間隔が⼤きくなるにつれて精度が上が る(これは著者の主張)が、⼀つ⼤きな最⼤誤 差がある。これを幅をずらしながら平均を取 ると 34.1 33.0 31.25 38.33 52.5 ⼀旦減少して⼀旦増加する。 [1] Fig. 9
  83. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    107 参照⽤信号の事前処理(1) % ⼊⼒ sig = ... % 処理対象信号 (列ベクトル) dt = ... % サンプリング間隔 (s) (列ベクトル) % Computed t = (0:dt:(length(sig)-1)*dt)'; % 時間軸 % パラメータ rmsWindowSize = 1.5; % [s] rmsThr = 1.5; % .* [-1 1] .* RMS sgOrder = 2; sgWindowSize = 45; % [sample] btOrder = 6; fcutHigh = .5; %[Hz] fcutLow = 10; %[Hz] % 近似1次導関数値 (後退差分) sigD1st = ([0; diff(sig)] + [diff(sig); 0]) ./ 2*dt;
  84. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    108 参照⽤信号の事前処理(2) % RMSを計算 G = floor(max(t) / rmsWindowSize); rmss = arrayfun(@(g) sqrt(mean( sigD1st( (g-1)*rmsWindowSize <= t & t < g*rmsWindowSize ).^2)), 1:G); rmss(end+1) = inf; %サンプル数を調整 % 時間軸にスケールしたRMS rmssSF = arrayfun(@(tp) rmss(floor(tp/rmsWindowSize) + 1), t); % RMSで閾値を設けてサンプル点を除去 sigRmvd = sig; sigRmvd( (sigD1st < rmssSF.*-rmsThr) | (rmssSF.*rmsThr < sigD1st) ) = NaN; % 除去したサンプル点を区間的エルミート補完で補完 selector = ~isnan(sigRmvd); sigInp = pchip(t(selector), sigRmvd(selector), t); % Savitzky-Golay 適⽤ sigInpSG = sgolayfilt(sigInp, sgOrder, sgWindowSize); % Butterworthフィルタ適⽤ % ※High-Passがうまくできませんでした [b_high, a_high] = butter(btOrder, fcutHigh/(dt/2), 'high'); [b_low, a_low] = butter(btOrder, fcutLow/(dt/2)); sigInpSGBT = filter(b_high, a_high, filter(b_low, a_low, sigInpSG));
  85. 2020/5/27 Sensor Fusion for Unobtrusive Respiratory Rate Estimation in Dogs

    109 ピーク間隔推定の評価関数 % ⼊⼒ sig = ... % 処理対象信号 (列ベクトル) % パラメータ n_min = 170; % 推定間隔最⼩値 n_max = 220; % 推定間隔最⼤値 n_c = n_max+60; % 窓の中⼼の位置 epsilon = 1e-9; % 0割り回避⽤極⼩値 % Computed ns = n_min:n_max; % サンプル軸 % 窓内信号 w_t = (0:2*n_max)-n_max; sigInWindow = sig(w_t); % 各種評価関数 s_lasta = arrayfun(@(n) 1/n*sum(arrayfun(@(v) sig(n_c+v)*sig(n_c-n+v), 0:n-1)), ns); s_amdf = arrayfun(@(n) (1/n*sum(arrayfun(@(v) abs(sig(n_c+v)-sig(n_c-n+v))+epsilon, 0:n-1) ))^-1, ns); s_map = arrayfun(@(n) max(arrayfun(@(v) sig(n_c+v)+sig(n_c-n+v), 0:n-1)), ns); s_fuse = s_lasta .* s_amdf .* s_map;