RGB/NIR撮像に基づく照明変動・人物の動きに頑健な心拍数推定

Transcript

1. RGB/NIR 撮像に基づく 照明変動・人物の動きに頑健な心拍数推定 栗原康佑 † 杉村大輔 ‡ 浜本隆之 † † 東京理科大学大学院 工学研究科 電気工学専攻 ‡ 津田塾大学 学芸学部 情報科学科
2. 研究背景 1 従来の計測機器 NICU・GCU・新生児センター（小児医療センター） - 看護部宮崎県立宮崎病院 http://kenritsu-miyazakibyouin.jp/nurse/section/nicu.html パルスオキシメーター|コニカミノルタ https://www.konicaminolta.jp/healthcare/products/pulseoximeters/index.html Medical mirror: Vital signs at a glance http://alumni.media.mit.edu/~zher/mirror.html ◼ カメラを用いた生体情報の計測 ➢ 非接触な計測により，様々な応用が期待 ✓ 例：ドライバー支援，遠隔医療 など カメラを用いた計測の応用例 65 bpm 73 bpm 102 bpm
3. ◼ カメラで撮影した映像による非接触な心拍数の推定 ➢ 拍動に伴う皮膚の色の変化を解析 カメラを用いた心拍数推定 2 研究目的：カメラを用いた高精度な心拍数推定 68 bpm RGB映像 画素値の時系列変化 G B R 心拍数の推定 血管 皮膚 拍動 拍動に伴う 膨張・収縮
4. ◼ RGB空間から色差平面に射影 ➢ 心拍と無関係な鏡面反射成分を分離 従来手法：RGBカメラを用いた心拍数推定[1] 3 [1] W. Wang et al., "Algorithmic Principles of Remote PPG", IEEE TBE 2017 RGB映像 RGB時系列信号 心拍信号の 抽出[2] G B R FFT 心拍数 心拍信号 Ｂ Ｒ Ｇ
5. [2] A. Lam et al., “Robust Heart Rate Measurement from Video Using Select Random Patches”, in IEEE ICCV 2015 [3] E. B. Blackford et al., “Remote spectral measurements of the blood volume pulse with applications for imaging photoplethysmography”, in SPIE BiOS 2018 ◼ 複数の関心領域の心拍数候補から多数決を実施 ➢ 血液の吸光特性に基づき，心拍信号が多く含まれるG成分を使用[3] 従来手法：RGBカメラを用いた心拍数推定[2] 4 G映像 多数決 心拍数候補 の算出 心拍数候補 の算出 心拍数
6. ◼ 低照度・照明変動環境下：心拍信号の抽出は困難 RGBカメラを用いた心拍推定手法の問題点 5 低照度環境 × 心拍成分 << ノイズ × 心拍成分 << 照明変動成分 照明変動環境 不安定な照明環境下では推定が困難
7. ◼ RGB/NIRカメラ：RGB映像と近赤外 (NIR) 映像を同時に取得 ➢ NIR照明により，安定したNIR映像を取得可能 RGB/NIRカメラを用いた心拍数の推定 6 波長 [nm] 400 780 RGBカメラの波長域 RGB/NIRカメラの波長域 低照度環境 RGB映像 NIR映像 照明変動環境 RGB映像 NIR映像
8. ◼ 手法[2]をNIRに拡張 ➢ 安定したNIR映像を加えることで高精度化 RGB/NIRカメラを用いた心拍数の推定[4] 7 [2] A. Lam et al., “Robust Heart Rate Measurement from Video Using Select Random Patches”, in IEEE ICCV 2015 [4] S. Kado et al., “Remote heart rate measurement from RGB-NIR video based on spatial and spectral face patch selection”, in IEEE EMBC 2018 NIR映像 G映像 心拍数候補 の算出 多数決 心拍数候補 の算出 心拍数候補 の算出 心拍数
9. ◼ 不安定な照明環境 ➢ ノイズにより，RGB映像は精度低下の要因 RGB/NIRカメラを用いた手法[4]の問題点 8 [4] S. Kado et al., “Remote heart rate measurement from RGB-NIR video based on spatial and spectral face patch selection”, in IEEE EMBC 2018 RGB映像 ◎NIR映像 照明環境を考慮したRGB/NIR映像の選択が必要
10. ◼ 安定した照明環境 ➢ 血液の吸光特性によって， NIR映像は精度低下の要因 RGB/NIRカメラを用いた手法[4]の問題点 9 [3] E. B. Blackford et al., “Remote spectral measurements of the blood volume pulse with applications for imaging photoplethysmography”, in SPIE BiOS 2018 [4] S. Kado et al., “Remote heart rate measurement from RGB-NIR video based on spatial and spectral face patch selection”, in IEEE EMBC 2018 照明環境を考慮したRGB/NIR映像の選択が必要 ◎RGB映像 波長 [nm] 400 600 800 500 700 900 心拍信号品質[3] RGB NIR NIR映像 波長 [nm] 400 600 800 500 700 900 心拍信号品質[3] RGB NIR
11. ◼ 不安定な照度環境下：顔領域からは背景変動に類似した信号 → NIR映像を優先的に利用 10 心拍数 RGB 映像 優先！ 選択的な利用による心拍数の推定 NIR 映像 R G B 顔領域 R G B 背景領域 強い 相関 顔と背景変動の相関解析 RGB 映像 提案手法のアイデア： 顔と背景変動の相関解析による RGB/NIR映像の選択的な利用
12. ◼ 安定した照度環境下：顔領域からは拍動信号 → RGB映像を優先的に利用 11 R G B 顔領域 R G B 背景領域 RGB 映像 弱い 相関 顔と背景変動の相関解析 心拍数 RGB 映像 優先！ 選択的な利用による心拍数の推定 NIR 映像 提案手法のアイデア： 顔と背景変動の相関解析による RGB/NIR映像の選択的な利用
13. 頭の動き：心拍推定精度を低下させる要因 ◼ 顔の軌跡情報を基に時系列フィルタリング → 動きが大きい時：過去の推定結果を重視 12 提案手法のアイデア： 人物の動きを考慮した時系列フィルタ 時間 動き：小 顔の位置 動き：大 過去の推定結果を重視 推定心拍数 推定心拍数
14. ◼ ベイズ理論の枠組みに基づく心拍数の推定 1. 照明環境に応じて，RGB映像とNIR映像から心拍数の尤度を算出 2. 頭の動きを考慮した時系列フィルタを実施 提案手法の流れ 13 RGB/NIRの 適応的利用 MAP推定 ：心拍数 at 𝜏 NIR 映像 RGB 心拍尤度 at 𝜏 NIR尤度 の算出 RGB 映像 顔/背景の 相関解析 RGB 映像 RGB尤度 の算出 NIR 心拍尤度 at 𝜏 事後確率 at 𝜏-1 事後確率 at 𝜏 頭動き量 + 観測/過去の適応的利用 観測尤度 at 𝜏 事前確率 at 𝜏 (1) (2)
15. ◼ ベイズ理論の枠組みに基づく心拍数の推定 1. 照明環境に応じて，RGB映像とNIR映像から心拍数の尤度を算出 2. 頭の動きを考慮した時系列フィルタを実施 提案手法の流れ 14 RGB/NIRの 適応的利用 MAP推定 ：心拍数 at 𝜏 NIR 映像 RGB 心拍尤度 at 𝜏 NIR尤度 の算出 RGB 映像 顔/背景の 相関解析 RGB 映像 RGB尤度 の算出 NIR 心拍尤度 at 𝜏 事後確率 at 𝜏-1 事後確率 at 𝜏 頭動き量 + 観測/過去の適応的利用 観測尤度 at 𝜏 事前確率 at 𝜏 (1) (2)
16. ◼ パワースペクトルから心拍数候補を算出 ➢ パワースペクトルの急峻さから候補の信頼性を評価 心拍数候補/信頼度の算出 15 心拍信号の抽出[1] BPF (0.7~4Hz) FFT RGB 映像 R G B Ｂ Ｒ Ｇ 心拍数候補/ 信頼度 N NIR 映像 BPF (0.7~4Hz) FFT 心拍数候補/ 信頼度 心拍数候補 信頼度[2] パワースペクトル [1] W. Wang et al., "Algorithmic Principles of Remote PPG", IEEE TBE 2017 [2] A. Lam et al., “Robust Heart Rate Measurement from Video Using Select Random Patches”, in IEEE ICCV 2015
17. ◼ 複数の関心領域の心拍数候補から尤度を算出 ➢ 信頼度を重みとしたカーネル密度推定を使用 心拍数候補/信頼度に基づくRGB/NIR尤度の算出 16 信頼度を重みとした カーネル密度推定 RGB 映像 心拍数 RGB尤度 NIR 映像 心拍数 NIR尤度 信頼度を重みとした カーネル密度推定 関心領域ごとの心拍数候補/信頼度
18. ◼ RGB/NIR尤度の重み 𝛽back を算出 ➢ 顔と背景変動の相関関係を解析 RGB/NIR尤度の照明環境に応じた利用 17 = RGB尤度 𝛽back × 安定した照明環境下で 高い重み 1 − 𝛽back × NIR尤度 不安定な照明環境下で 高い重み + 統合された尤度
19. ◼ 心拍推定に最も重要なG信号を使用 ➢ 顔と背景信号から相関係数 𝜌 を算出 ✓ 大きい場合：顔と背景の変動に相関 背景変動により心拍推定が困難と判断 𝛽back の算出：顔と背景変動の相関解析 18 安定した照明環境 𝜌 : 小 時間 [sec] 顔 背景 0 30 25 20 15 10 5 0 30 25 20 15 10 5 不安定な照明環境 𝜌 : 大 時間 [sec] 0 30 25 20 15 10 5 顔 背景 0 30 25 20 15 10 5 RGB映像 相関解析 G 顔領域 G 背景領域 𝛽back = 1−𝜌 RGB映像 RGB映像
20. ◼ MAP推定による心拍数の推定 ➢ 頭の動きを考慮した時系列フィルタを実施 過去の推定結果を考慮した心拍数の推定 19 RGB/NIRの 適応的利用 MAP推定 ：心拍数 at 𝜏 NIR 映像 RGB 心拍尤度 at 𝜏 NIR尤度 の算出 RGB 映像 顔/背景の 相関解析 RGB 映像 RGB尤度 の算出 NIR 心拍尤度 at 𝜏 事後確率 at 𝜏-1 事後確率 at 𝜏 頭動き量 + 観測/過去の適応的利用 観測尤度 at 𝜏 事前確率 at 𝜏
21. ◼ 頭の動きが大きいとき：過去の推定結果を重視 ➢ 適応的な尤度：一様分布を優先 ✓ 観測尤度に依らない推定を実施 頭の動きを考慮した時系列フィルタ 20 MAP推定 ：心拍数 at 𝜏 事後確率 at 𝜏-1 事後確率 at 𝜏 頭動き量 観測尤度 at 𝜏 一様分布 事前確率 at 𝜏 1- + RGB/NIRの 適応的利用 NIR 映像 RGB 心拍尤度 at 𝜏 NIR尤度 の算出 RGB 映像 顔/背景の 相関解析 RGB 映像 RGB尤度 の算出 NIR 心拍尤度 at 𝜏 + 観測/過去の適応的利用
22. 21 評価実験
23. ◼ 被験者：18名 ◼ 正解心拍数：医療機器により取得 ◼ 照明環境 S1：高照度 600 lx S2：低照度 0.4 lx S3：照明変動1 1 lx S4：照明変動2 1 lx S5：高照度（動き有）600 lx ◼ 比較手法 ➢ RGB映像を用いた手法 [2] ➢ NIR映像を用いた手法 [5] ➢ RGB/NIR映像を用いた手法 [4] 撮影した映像による評価実験 22 心拍数と似た 変動を持つ映像 RGB/NIRカメラ 被験者 シーン”S3” 映画の予告編 RGB/NIRカメラ 被験者 シーン”S4“ [2] A. Lam et al., “Robust Heart Rate Measurement from Video Using Select Random Patches”, in IEEE ICCV 2015 [4] S. Kado et al., “Remote heart rate measurement from RGB-NIR video based on spatial and spectral face patch selection”, in IEEE EMBC 2018 [5] E.M.Nowara et al., “SparsePPG: Towards Driver Monitoring Using Camera-Based Vital Signs Estimation in Near-Infrared”, in IEEE CVPR-W 2018 シーン”S5“ 撮影例
24. ◼ 照明環境ごとの絶対値誤差による評価 ➢ 全被験者の平均値を表記 ➢ 値が低いほうが高精度 定量評価（絶対値誤差） 23 心拍数の推定精度：絶対値誤差 [bpm] S1 S2 S3 S4 S5 平均 手法[2] (RGB) 3.99 21.40 22.08 24.01 17.38 17.77 手法[5] (NIR) 9.20 11.08 9.74 10.98 21.72 12.54 手法[4] (RGB/NIR) 4.35 6.85 22.08 18.43 18.41 14.02 提案手法 0.71 0.60 1.02 1.36 2.16 1.17 S1：高照度 600 lx S2：低照度 0.4 lx S3：照明変動1 1 lx S4：照明変動2 1 lx S5：高照度（動き有）600 lx [2] A. Lam et al., “Robust Heart Rate Measurement from Video Using Select Random Patches”, in IEEE ICCV 2015 [4] S. Kado et al., “Remote heart rate measurement from RGB-NIR video based on spatial and spectral face patch selection”, in IEEE EMBC 2018 [5] E.M.Nowara et al., “SparsePPG: Towards Driver Monitoring Using Camera-Based Vital Signs Estimation in Near-Infrared”, in IEEE CVPR-W 2018
25. ◼ 縦軸に正解心拍数との誤差を示したグラフ ➢ 全被験者・全照明環境における誤差をプロット ➢ 縦軸が0に近い分布のほうが高精度 定量評価（Bland-Altman plots） 24 手法[2] (RGB) 提案手法 手法[4] (RGB/NIR) 手法[5] (NIR) [2] A. Lam et al., “Robust Heart Rate Measurement from Video Using Select Random Patches”, in IEEE ICCV 2015 [4] S. Kado et al., “Remote heart rate measurement from RGB-NIR video based on spatial and spectral face patch selection”, in IEEE EMBC 2018 [5] E.M.Nowara et al., “SparsePPG: Towards Driver Monitoring Using Camera-Based Vital Signs Estimation in Near-Infrared”, in IEEE CVPR-W 2018
26. ◼ 照明変動に頑健な心拍数の推定手法を提案 ➢ RGB/NIRカメラを用いた心拍数の推定 ✓ 顔と背景変動の相関解析に基づくRGB/NIR成分の選択的利用 ✓ 頭の動きを考慮した時系列フィルタの導入 まとめ 25 心拍数 RGB 映像 RGB 映像 優先！ 選択的な利用による心拍数の推定 NIR 映像 顔と背景変動の相関解析 R G B 顔領域 R G B 背景領域 強い 相関 心拍数 RGB 映像 優先！ 選択的な利用による心拍数の推定 NIR 映像 顔と背景変動の相関解析 弱い 相関 RGB 映像 R G B 顔領域 背景領域 R G B