非接触心拍数計測のための時空間低ランク近似に基づく脈波推定

Transcript

1. 非接触心拍数計測のための時空間低ランク近似に基づく脈波推定 栗原 康佑† 前田 慶博† 杉村 大輔‡ 浜本 隆之† † 東京理科大学大学院 工学研究科 電気工学専攻 ‡ 津田塾大学 学芸学部 情報科学科 正解心拍数との絶対値誤差 (bpm) 参考文献 [1] E. M. Nowara et al., IEEE CVPRW 2018 [2] M. Kumar et al., Biomedical Optics Express 2015 [3] M. Poh et al., IEEE TBE 2011 [4] S. Tulyakov et al., IEEE CVPR 2016 [5] Y. Maki et al., IEEE EMBC 2019 [6] S. Bobbia et al., Pattern Recognition Letters 2019 ◼ RGB動画像の周波数解析に基づく手法 [1, 2] •拍動に伴う皮膚色の変化(脈波)を周波数解析 • 時間・周波数分解能のトレードオフ ◼ 時間ピーク解析に基づく手法 [3] • 脈波のピーク間隔から心拍数を計測 → 周波数分解能による精度低下を低減 • 表情や環境光変動により，ピーク情報が劣化 ◼ 複数の関心領域を活用した手法 [4] • 脈波は顔全体にほぼ同時に空間伝搬 → 空間的に低ランク構造であることが期待 • 低ランク近似により，脈波成分の抽出が可能 • 顔全体にノイズが重畳した場合，脈波とノイズの分離は困難 研究背景・目的 従来手法 顔動画像データセットによる評価実験 ◼ 評価指標 • 正解心拍数との絶対値誤差 • Bland-Altman 解析 (計測誤差のプロット) ◼ 正解心拍数 パルスオキシメーターにより取得 Tokyo [5] MR [1] UBFC [6] 被験者数 9 8 47 動画像数 9 8 50 解像度 640×480 640×640 640×480 フレームレート 30 fps 30 fps 30 fps 動画の長さ 180 秒 180 秒 60 秒 実験に使用したデータセットの詳細 Tokyo [5] MR [1] UBFC [6] 手法 [1] 62.4 28.6 58.3 手法 [2] 15.3 10.3 9.2 手法 [4] 6.0 2.2 10.7 提案手法 3.7 1.9 4.9 提案手法 ◼ Key idea：脈波の時間特性に基づいた低ランク近似 • 脈波：心臓の準周期的な拍動に由来 → 自己回帰過程を用いて，脈波信号を時系列モデリング • システム同定理論に基づく，時間遅れ座標系における低ランク近似 → 自己回帰過程に基づいた脈波信号の推定が可能 ◼ 提案手法の流れ：時間・空間領域における，階層的な低ランク近似処理 Bland-Altman 解析（縦軸：計測誤差） ◼ 心拍数：健康管理や感情推定のための有用な指標 ◼ 従来の接触型計測機器：ユーザーに肉体的・精神的な負担 → 非接触型の計測機器への期待 ◼ 研究目的：イメージセンサによる非接触心拍数計測手法の確立 観測信号 脈波信号 ノイズ 脈波信号の自己回帰モデリング 自己相似 → 時間 t 脈波信号 推定脈波 R G B 時間→ 時系列変化 時間→ 時系列解析 RGB動画像 周波数解析 周波数→ 68 bpm 時間窓：長 周波数→ 時間窓：短 68 bpm ? 非接触型 計測機器 接触型 計測機器 心拍変動を 利用したゲーム 病院における スクリーニング ドライバー モニタリング 非接触計測の 応用例 UBFC [6] #5 Tokyo [5] #3 MR [1] #1 各データセットの撮像例 血管 皮膚 拍動 RGB 動画像 観測行列 𝐘 ←関心領域 時間→ 時間→ 𝐲1 ⁞ 𝐲𝑚 ⁞ 𝐲𝑀 観測行列の構築 観測ハンケル行列 𝐇𝐲𝑚 𝐬𝑚 時間低ランク近似 時間遅れ 座標系への変換 逆変換 脈波候補ハンケル行列 𝐇𝐬𝑚 低ランク 近似 時間→ 空間低ランク近似 脈波候補行列 𝐒 推定脈波行列 𝐗 推定脈波信号 𝐱 計測心拍数 時間→ ←関心領域 時間→ ←関心領域 時間→ 低ランク 近似 心拍数の計測 ピーク解析 時間→ 68 bpm 時間→ 𝐬1 𝐬𝑚 ⁞ 𝐬𝑀 脈波候補信号 RGB動画像 正解脈波 時空間マップ (RGB) 観測行列 (G) :関心領域 時間→ ←関心領域 時間→ ←関心領域 … 低ランク行列 時間→ ←関心領域 環境光変動 (顔全体に影響) 環境光変動 時間→ 脈波 推定脈波