ブロックスパースモデルに基づくRGB動画像からの脈波信号の分離

Transcript

1. ブロックスパースモデルに基づくRGB動画像からの脈波信号の分離 栗原 康佑† 前田 慶博‡ 杉村 大輔§ 浜本 隆之† †東京理科大学 ‡芝浦工業大学 §東京都立大学 研究背景 提案手法 被験者数 47 動画像数 50 解像度 640×480 ビット深度 8ビット フレームレート 30 fps 動画像の長さ 60 秒 データセット[7]の詳細 撮影例：被験者#47 カメラによる非接触計測の応用例 非接触型(カメラ） 接触型 P2-10 参考文献 [1] M. Kumar et al., Biomed. Opt. Exp., 2015 [2] W. Verkruysse et al., Opt. Express, 2008 [3] M. Poh et al., IEEE TBE, 2011 SNR(↑) MAE(↓) SR(↑) Green [2] -4.09 27.1 15.0 ICA [3] -2.45 42.4 8.8 CHROM [4] -6.56 38.2 8.7 POS [5] 1.66 59.6 3.3 PVM [6] -6.82 72.5 6.3 提案手法 2.67 16.2 27.3 従来手法  脈波信号：心周期に伴う血液量変化を表す時系列信号 • 健康管理や感情推定のために有用  従来の脈波計測機器：接触による肉体的・精神的な負担 ➔ 非接触型の計測機器への期待  RGBカメラによる非接触型脈波計測 • 脈波由来の血液量変化に伴い，皮膚の色が僅かに変化 ➔ カメラを用いた，非接触な脈波信号の抽出が可能 • 問題：脈波信号は微弱（8bit動画にて2bit未満の振幅[1]） → 照明変動などの外乱によって容易に劣化  独立成分分析(ICA)に基づく手法[3] • 脈波成分とは独立な，照明変動成分が混合していると仮定 ➔ 統計的独立性を指標として，脈波信号を抽出  色差解析に基づく手法[4][5] • 鏡面反射に照明成分，拡散反射に脈波成分が含まれると仮定 ➔ 色差空間に射影を行い，脈波信号を抽出  自己相関解析に基づく手法[6] • 脈波信号が拍動由来の時間周期性を有することを活用 ➔ 自己相関を指標として，脈波信号を抽出 正解脈波信号 RGB動画像（ビット深度：8） RGB時系列信号 R 1.8/255 G 1.4/255 B 1.9/255 → 時間[s] 5 10 0 画素値 平均 抽出脈波信号 B 時間→ RGB信号 時間→ 信 号 処 理 RGB動画像 R G 血管 カメラ 光源 皮膚 脈波  主要な要素１：時変分離に基づく脈波信号抽出 • 入力RGB信号を短時間フレームに分割 • 各時間フレームにおいて信号分離モデルを構築 ➔ 時変分離により照明変動に適応的な抽出を実現 • 全時間フレームの信号分離モデルをまとめた表現  主要な要素２：脈波信号に対するブロックスパースモデリング • 脈波信号：拍動由来の準周期的な特徴を有する ➔ 時間周波数領域にて，全時間フレームで同じ周波数帯域に成分が集中 • 全時間フレームを周波数ごとにまとめたものをブロックとすると， 脈波信号はブロックスパース構造を有することが期待 心臓の 拍動 P R Q S T U ブロックスパース構造 脈波信号のスペクトログラム 時間フレーム 𝑡𝑡 → 周波数 𝑓𝑓 → 心拍周波数帯域 (0.7-4Hz) 脈波信号 • 信号分離モデル（ 番目の時間フレーム） RGB信号の線形結合により，脈波信号の分離を実施 脈波 入力RGB 抽出ベクトル ノイズ ➔ 抽出脈波信号 • 抽出脈波信号のブロックスパース構造を促進するために正則化項を導入 - ブロックごとのスパース性を促進可能な，重み付き ノルムを利用 短時間フーリエ変換 ブロック の重み から， 番目のブロック成分を抽出したベクトル  顔動画像データセット[7]を用いた性能評価を実施 • 撮影機器：Logitech C920 HD • 正解脈波信号：接触型機器で取得  評価方法 • 正解脈波信号との信号対雑音比(SNR[dB])による評価 • 抽出脈波信号を用いた心拍数推定による評価 評価指標：絶対値誤差(MAE[bpm])，正解率(SR[%]) ( ：スライディングウィンドウ) CHROM POS PVM Ours Ground truth 0 100 200 300 time [s] Input (R) Input (G) Input (B) Green ICA 0 100 200 300 time [s] 撮影例：被験者#16 定量評価の結果 入力RGB信号 脈波信号 と抽出ベクトル に関する最適化問題を解くことで，脈波信号を抽出 抽出脈波信号の例（被験者#47） 評価実験 に対する単位ノルム制約（自明解を回避） が隣接時間フレーム間で滑らかになるよう促進 [4] G. D. Haan et al., IEEE TBE, 2013 [5] W. Wang et al., IEEE TBE, 2017 [6] R. Macwan et al., IEEE/CVF CVPRW, 2018 [7] S. Bobbia et al., Pattern Recognit. Lett., 2019 提案手法では， 精緻な脈波モデルと時変分離により，高精度化を実現