脈波のダイナミクスに基づいた動的モード分解による非接触心拍数推定

Transcript

1. 脈波のダイナミクスに基づいた 動的モード分解による非接触心拍数推定 栗原康佑† 前田慶博† 杉村大輔‡ 浜本隆之† † 東京理科大学大学院 工学研究科 電気工学専攻 ‡ 津田塾大学 学芸学部 情報科学科 画像工学研究会@三重
2. 研究背景 ⚫ 心拍数：健康管理や感情認識における重要な指標 ⚫ 従来の心拍数計測：人体に接触させる必要 → 使用者に肉体的・精神的な負担 1 人体に接触させない計測方法が必要 非接触型計測機器 接触型計測機器 パルスオキシメーター|コニカミノルタ https://www.konicaminolta.jp/healthcare/products/pulseoximeters/index.html Medical mirror: Vital signs at a glance http://alumni.media.mit.edu/~zher/mirror.html
12. 脈波のダイナミクスの考慮：概要 ⚫ 非線形性：拍動の揺らぎや血管特性に由来[4] → 提案手法：時間遅れ座標系における線形近似モデリング ⚫ 準周期性：周期的な心拍に由来[3] →提案手法：ダイナミクスに制約をかけたDMD解析 11 非線形性・準周期性 脈波 時間→ P R Q S T U 心臓の拍動 [3] Tarassenko+, Non-contact video-based vital sign monitoring using ambient light and auto-regressive models, Physiol. Meas., 2014 [4] Sviridova+, Human photoplethysmogram: New insight into chaotic characteristics, Chaos, Solitons & Fractals, 2015
18. 実際の映像による評価実験 ⚫ 使用したデータセット • Tokyo [9]，MR [10]，UBFC [11] ⚫ 比較手法 • 空間特性を活用した手法 “SAMC” [1] • 深層学習に基づく手法 “MTTS-CAN” [12] • 時空間特性を階層的に活用した手法 “Hierarchical” [13] 17 データセットの詳細 データセット [9] Maki+, Inter-beat interval estimation from facial video based on reliability of bvp signals, EMBC 2019 [10] Nowara+, Sparseppg: Towards driver monitoring using camera-based vital signs estimation in near-infrared, CVPRW 2018 [11] Bobbia+, Unsupervised skin tissue segmentation for remote photoplethysmography, Pattern Recognition Letters 2019 比較手法 [1] Kurihara+, Blood Volume Pulse Signal Extraction based on Spatio-Temporal Low-Rank Approximation for Heart Rate Estimation, VCIP 2022 [12]Liu+, Multi-task temporal shift attention networks for on-device contactless vitals measurement, NeurIPS 2020 [13]Tulyakov+, Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions, CVPR 2016 Tokyo [9] MR [10] UBFC [11] 被験者数 9 8 47 映像数 9 8 50 解像度 640×480 640×640 640×480 フレームレート 30 fps 30 fps 30 fps 映像の長さ 180 s 180 s 60 s UBFC #5 Tokyo #3 MR #1 撮影例
19. 定量評価（絶対値誤差・成功率） ⚫ データセットごとの定量評価 • 心拍数の平均二乗誤差（RMSE） • 心拍数推定の成功率（SR）：誤差が±5 bpmに収まった割合 18 Tokyo MR UBFC RMSE↓ (bpm) MTTS-CAN [1] 13.00 8.66 23.02 SAMC [12] 14.43 8.86 10.65 Hierarchical [13] 7.31 5.15 11.32 Ours 7.79 4.17 6.46 SR↑ (%) MTTS-CAN [1] 49.8 70.5 35.1 SAMC [12] 62.1 82.3 71.5 Hierarchical [13] 87.9 94.1 86.7 Ours 83.3 93.9 90.0 比較手法 [1] Kurihara+, Blood Volume Pulse Signal Extraction based on Spatio-Temporal Low-Rank Approximation for Heart Rate Estimation, VCIP 2022 [12]Liu+, Multi-task temporal shift attention networks for on-device contactless vitals measurement, NeurIPS 2020 [13]Tulyakov+, Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions, CVPR 2016
20. 定量評価（Bland-Altman 分析） ⚫ Bland-Altman 分析：誤差分布の解析手法 • 縦軸：正解心拍数との誤差 ／ 横軸：正解心拍数 • 縦軸が0に近い分布のほうが高精度 19 比較手法 [1] Kurihara+, Blood Volume Pulse Signal Extraction based on Spatio-Temporal Low-Rank Approximation for Heart Rate Estimation, VCIP 2022 [12]Liu+, Multi-task temporal shift attention networks for on-device contactless vitals measurement, NeurIPS 2020 [13]Tulyakov+, Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions, CVPR 2016 [1] [12] [13]