脈波の時間特性を考慮したRGB動画像からの脈波信号の分離

Transcript

1. 脈波の時間特性を考慮した RGB 動画像からの脈波信号の分離 栗原康佑† 前田慶博† 杉村大輔‡ 浜本隆之† † 東京理科大学大学院 工学研究科 電気工学専攻 ‡ 津田塾大学 学芸学部 情報科学科 IE２０２３/9/7 @ 大阪
2. 研究背景 ⚫ 脈波：心臓の拍動由来の血液量変化 • 心拍数などのバイタル情報の計測に有効 ⚫ 従来の脈波計測：人体に接触させる必要 → 使用者に肉体的・精神的な負担 1 人体に接触させない計測方法が必要 非接触型計測機器 接触型計測機器 パルスオキシメーター|コニカミノルタ https://www.konicaminolta.jp/healthcare/products/pulseoximeters/index.html Medical mirror: Vital signs at a glance http://alumni.media.mit.edu/~zher/mirror.html
17. 定量評価 ⚫ データセットごとの定量評価 • 推定心拍数の平均絶対値誤差（MAE）を算出 16 データセット [7] Maki+, Inter-beat interval estimation from facial video based on reliability of bvp signals, EMBC 2019 [8] Nowara+, Sparseppg: Towards driver monitoring using camera-based vital signs estimation in near-infrared, CVPRW 2018 [9] Bobbia+, Unsupervised skin tissue segmentation for remote photoplethysmography, Pattern Recognition Letters 2019 比較手法 [1] Haan+, Robust Pulse Rate from Chrominance-Based RPPG, IEEE TBE 2013 [2] Wang+, Algorithmic Principles of Remote PPG, IEEE TBE 2017 [3] Poh+, Advancements in Noncontact, Multiparameter Physiological Measurements Using a Webcam, IEEE TBE 2011 Tokyo[7] MR[8] UBFC[9] Avg. MAE↓ [bpm] 色差解析 [1] 53.8 123.1 64.3 70.0 色差解析 [2] 54.2 111.7 63.7 68.2 独立成分分析 [3] 44.4 77.5 46.7 50.1 提案手法 32.0 47.5 20.5 25.3
18. 推定脈波信号の比較 ⚫ UBFCデータセット[9] 被験者#15における 推定脈波信号の比較 17 [1] Haan+, Robust Pulse Rate from Chrominance-Based RPPG, IEEE TBE 2013 [2] Wang+, Algorithmic Principles of Remote PPG, IEEE TBE 2017 [3] Poh+, Advancements in Noncontact, Multiparameter Physiological Measurements Using a Webcam, IEEE TBE 2011 時系列信号 時間 [s] → 独立成分分析 [3] 色差解析 [1] 色差解析 [2] 提案手法 正解脈波 -2 0 2 -0.05 0 0.05 -3 -5 0 5 10 -2 0 2 -0.2 0 0.2 50 100 150 200 250 300 350 400 450 パワースペクトログラム 時間フレーム → 周波数 [Hz] → 20 40 60 0 20 40 20 40 60 0 10 20 30 20 40 60 0 10 20 30 20 40 60 10 20 30 0 20 40 60 0 20 40 100 200 300 400 500 600