脈波の医学的特性を考慮したRGB/NIR撮像に基づく心拍数推定

Transcript

1. 脈波の医学的特性を考慮したRGB/NIR撮像に基づく心拍数推定 提案手法 栗原康佑† 前田慶博‡ 杉村大輔†† 浜本隆之† †東京理科大学 ‡芝浦工業大学 ††東京都立大学 RGB動画像 画素値の時系列変化 R G B 心拍数の推定 血管 皮膚 拍動 68 bpm 推定脈波信号  心拍数：生命状態やストレス計測に重要な指標  従来の接触型計測機器：利用者に肉体的・精神的な負担 → 非接触型の計測機器への期待  カメラを用いた非接触型心拍数推定 •利便性が高く，汎用的なデバイスであるため，普及・発展が期待  研究目的：カメラを用いた非接触型心拍数推定の精度向上  カラー(RGB)カメラを用いた非接触型心拍数推定 [1,2,3,4] • 心臓の拍動に伴う，僅かな皮膚領域の色変化（脈波信号）を解析 • 脈波信号は2ビット未満と微小であるため，低いSNR 接触型の計測機器 非接触型の計測機器 複数人の同時診断 非接触型計測の応用例 研究背景・目的 従来手法  近赤外(NIR)カメラを用いた非接触型心拍数推定 [5,6] • 不可視光であるNIR照明により，照明変動に影響されずに撮影可能 • 高照度環境では肌や血液の波長特性により，RGB波長域よりも低精度 → 照明環境を考慮したRGB/NIRの適応的利用が必要  Idea ① : 顔と背景変動の相関解析によるRGB/NIRの適応的利用 • 照明変動環境下：顔領域からは背景変動に類似した信号 → NIR動画像を優先的に利用 • 安定照明環境下：顔領域からは脈波信号 → RGB動画像を優先的に利用  Idea ② : 脈波の時空間特性を考慮した動画像解析 • 脈波：拍動に伴う周期変動が血管を通じて顔全体に伝播 • 時空間解析手法である動的モード分解(DMD)を活用 脈波を力学的にモデル化し，推定精度向上を実現 撮影したRGB/NIR動画像による評価実験 （被験者：18名）  提案手法の流れ：ベイズ推定に基づく心拍数推定 RGB/NIRの適応的利用 R G B 顔領域 R G B 背景領域 強い 相関 顔と背景変動の相関解析 RGB 動画像 心拍数 RGB 動画像 NIR 動画像 優先 R G B 顔領域 R G B 背景領域 RGB 動画像 弱い 相関 顔と背景変動の相関解析 RGB/NIRの適応的利用 心拍数 RGB 動画像 優先 NIR 動画像 RGB NIR NIR 照明 動画像 類似 観測時系列信号 時間 空間 脈波の 空間特性 脈波の 時間特性 周期的 高照度 低照度 照明 変動1 照明 変動2 高照度 動き有 照明変動 動き有 平均 可視光 [1] 4.13 87.05 23.14 26.94 6.26 25.6 28.85 [2] 12.08 13.78 17.98 14.34 12.23 21.47 15.31 [3] 3.61 126.63 23.04 33.44 9.99 25.6 37.05 [4] 3.04 104.23 22.9 28.57 6.27 25.8 31.8 可視・ 近赤外 [5] 5.59 13.47 22.34 17.74 15.60 25.59 5.59 [6] 40.34 39.53 30.01 37.96 38.25 37.40 40.34 [7] 23.99 26.94 24.97 20.63 26.06 18.25 23.99 提案 2.20 5.46 6.43 6.80 4.18 14.30 2.20 利用者 照明変動環境におけるRGB/NIR動画像 RGB NIR RGB/NIRカメラ ドライバーモニタリング RGB 動画像 RGB 動画像 RGB/NIRの 適応的利用 NIR 動画像 RGB 尤度 at 𝜏𝜏 DMDによる 尤度算出 顔/背景の 相関解析 DMDによる 尤度算出 NIR 尤度 at 𝜏𝜏 + 推定心拍数 → 事後確率 at 𝜏𝜏-1 事後確率 at 𝜏𝜏 頭の 動き量 動きに頑健な確率モデル 観測尤度 at 𝜏𝜏 事前確率 at 𝜏𝜏  様々な照明環境で撮影実験 ・動画像の取得： 可視・近赤外カメラ ・正解の取得： 接触型計測機器 遠隔診断 50bpmの正弦波変動 カメラ 被験者 撮影実験の様子（照明変動1） 映画 カメラ 被験者 撮影実験の様子（照明変動2） 比較結果 （心拍数の平均絶対誤差[bpm]） 照度環境 高照度 低照度 照明 変動1 照明 変動2 高照度 動き有 照明変動 動き有 照度 [lx] 600 0.4 1 1 600 2 動画像数 11 11 11 11 11 11 各モジュールの影響分析 （心拍数の推定誤差 ±5bpmの割合[%]） 参考文献 [1] Tulyakov+, CVPR 2016 [2] Liu+, NeurIPS 2020 [3] Kurihara+, VCIP 2022 [4] Kurihara+, Access 2023 [5] Kado+, EMBC 2018 [6] Liu+, TCSVT 2024 [7] Kurihara+, TIP 2021 高照度 低照度 照明 変動1 照明 変動2 高照度 動き有 照明変動 動き有 平均 ベースライン 1.1 2.4 0.2 3.5 9.0 7.3 3.9 ベース+idea① 89.3 62.8 0.5 49.1 70.1 0.6 45.4 ベース+idea①② 90.9 61.1 54.0 62.2 76.6 35.1 63.3