SSII2025 [OS2-03] マルチ／ハイパースペクトル領域における高度な画像撮影および処理技術

by 画像センシングシンポジウム

Slide 1

Slide 1 text

マルチ／ハイパースペクトル領域における⾼度な画像撮影及び処理技術国⽴情報学研究所コンテンツ科学研究系特任研究員⽯原慎（Shin Ishihara） OS-2

Slide 2

Slide 2 text

略歴 • 2014年群⾺⼯業⾼等専⾨学校電⼦情報⼯学科卒業修了 • 2016年群⾺⼯業⾼等専⾨学校専攻科修了 • 2018年東京⼯業⼤学（現：東京科学⼤学）⼤学院修⼠課程修了 • 2021年東京⼯業⼤学（現：東京科学⼤学）⼤学院博⼠課程修了 • 2021年 - 国⽴情報学研究所コンテンツ科学研究系特任研究員 • 2021年 - 2022年東京藝術⼤学アートイノベーション推進機構特任助⼿（兼任） [email protected]

Slide 3

Slide 3 text

スペクトル領域について引⽤︓ケイエルブイ光の波⻑：X線〜電波まで可視域、RGBの枠を超えて、連続的に存在

Slide 4

Slide 4 text

スペクトル領域について引⽤︓ケイエルブイ RGBからスペクトルへ紫外線、⾚外線の利⽤物理的な性質を利⽤時間多重⼿法の波⻑多重への拡張

Slide 5

Slide 5 text

RGBからスペクトルへ • 写実的なレンダリングや物体識別分光反射率スペクトル双⽅向反射率分布関数 BRDF J Dupuy, W Jakob, ACM Transactions on graphics (TOG), 2018

Slide 6

Slide 6 text

RGBからスペクトルへ • 写実的なレンダリングや物体識別リアルな反射の表現が可能 J Dupuy, W Jakob, ACM Transactions on graphics (TOG), 2018 分光反射率スペクトル双⽅向反射率分布関数 BRDF

Slide 7

Slide 7 text

RGBからスペクトルへ • 写実的なレンダリングや物体識別分光反射率にもとづく鉱物の分類空撮映像からの植物等の分類引⽤︓ケイエルブイ

Slide 8

Slide 8 text

RGBからスペクトルへ • ⾷品の検査などにも⽤いられる • 近⾚外線を⽤いてメロン断⾯の糖度分布を可視化 • 特定波⻑のみの画像観測も有効 J Sugiyama, Journal of Agricultural and Food Chemistry, 1999 Unripe Partially Ripe Fully Ripe

Slide 9

Slide 9 text

スペクトルカメラの仕組み • 4-16バンド（マルチスペクトル）モザイク状に分光フィルタを配置分光フィルタを⾼速回転引⽤：ARGO 引⽤：Salvo Coating 取得したいスペクトルバンド数によって分光⽅法は様々

Slide 10

Slide 10 text

スペクトルカメラの仕組み • 30-100バンド以上（ハイパースペクトル）回折格⼦＋ラインスキャンファブリペロー⼲渉による分光フィルタ引⽤：ARGO 取得したいスペクトルバンド数によって分光⽅法は様々引⽤：Vision systems design.

Slide 11

Slide 11 text

センシングへの応⽤ • 紫外線、⾚外線を利⽤ • 蛍光発光スペクトルによる識別、⽔による⾚外線の吸収 • 物理的な性質を利⽤ • 反射によるスペクトルの変化、材質屈折率の波⻑依存性 • 時間多重⼿法の波⻑多重への拡張 • 焦点ボケからの深度推定、フォトメトリックステレオ、反射成分分離

Slide 12

Slide 12 text

Slide 13

Slide 13 text

紫外線蛍光発光による⽩⾊顔料の識別・分離 • レオナール・フジタの「乳⽩⾊の肌」：複数の⽩⾊顔料を⽤いたことは知られているが、その意図は明らかではないレオナール・フジタ《ベッドの上の裸婦と⽝》 1921年，88.8×116.1cm，カンヴァス，ポーラ美術館引⽤︓Bois de Jasmin ⽯原慎+, ⾊材協会誌, 2025 | ⽯原慎, 化学と⼯業= Chemistry & chemical industry, 2025 | 他プレスリリース等

Slide 14

Slide 14 text

紫外線蛍光発光による⽩⾊顔料の識別・分離 • 分光反射スペクトル（左）でもほとんど区別できないが、紫外線照射下の蛍光発光スペクトル（右）は顔料毎に固有炭酸カルシウムタルク硫酸バリウム胡粉炭酸カルシウムタルク硫酸バリウム胡粉⽯原慎+, ⾊材協会誌, 2025 | ⽯原慎, 化学と⼯業= Chemistry & chemical industry, 2025 | 他プレスリリース等

Slide 15

Slide 15 text

紫外線蛍光発光による⽩⾊顔料の識別・分離 • 実際の絵画でも蛍光発光を観察すると、様々な⾊が⾒えてくる蛍光発光混合は各成分の和 → 線形分離モデル（NMF）を適⽤⽩⾊光源下での⾒え紫外光源下での⾒え⽯原慎+, ⾊材協会誌, 2025 | ⽯原慎, 化学と⼯業= Chemistry & chemical industry, 2025 | 他プレスリリース等

Slide 16

Slide 16 text

紫外線蛍光発光による⽩⾊顔料の識別・分離 • 分離画像を⾒ると、領域ごとに⾒えてくる成分が異なる蛍光発光画像蛍光成分分離⽯原慎+, ⾊材協会誌, 2025 | ⽯原慎, 化学と⼯業= Chemistry & chemical industry, 2025 | 他プレスリリース等

Slide 17

Slide 17 text

紫外線蛍光発光による識別 • 蛍光発光を利⽤したシロップ類、酒類の識別 Y Asano+, Proceedings of the European Conference on Computer Vision (ECCV), 2018

Slide 18

Slide 18 text

紫外線蛍光発光による識別 • 識別対象のExcitation-Emission Matrix （励起波⻑と発光波⻑の対応）を計測 • 識別対象を最もよく分離可能な光源の分光分布を機械学習により計算 • 計算された分光分布を持つ光源を照射カメラ画像からの識別精度を向上 Y Asano+, Proceedings of the European Conference on Computer Vision (ECCV), 2018

Slide 19

Slide 19 text

⽔による⾚外線の吸収 • 近⾚外域においては、⽔は透明ではなく光を吸収する Y Asano+, Proceedings of the European Conference on Computer Vision (ECCV), 2016 可視光での⾒え近⾚外線での⾒え

Slide 20

Slide 20 text

⽔による⾚外線の吸収 • ランベルト・ベールの法則︓媒質による光の吸収を定式化 Y Asano+, Proceedings of the European Conference on Computer Vision (ECCV), 2016 𝛼 𝜆 :⽔による光の吸収スペクトル可視光近⾚外線 𝐼 = 𝐼! 𝑒"#$ 𝐼: 媒質通過後の光量 𝐼!: 媒質通過前の光量 𝛼: 吸収係数、𝑙: 媒質⻑媒質 𝒍 𝑰𝟎 𝑰

Slide 21

Slide 21 text

⽔による⾚外線の吸収 • 物体の反射率（⾊）は近⾚外域ではあまり影響しない Y Asano+, Proceedings of the European Conference on Computer Vision (ECCV), 2016 <布> <⽊材> <⾦属> <⽪⾰> 𝛼 𝜆 :⽔による光の吸収スペクトル可視光近⾚外線分光反射率データベース

Slide 22

Slide 22 text

⽔による⾚外線の吸収 • ２〜３つの近⾚外波⻑画像の輝度⽐から媒質⻑≒⽔中の対象の形状を取得できる Y Asano+, Proceedings of the European Conference on Computer Vision (ECCV), 2016

Slide 23

Slide 23 text

Slide 24

Slide 24 text

反射によるスペクトルの変化 • ⽔に濡れた表⾯の輝度＆スペクトル変化を観察 M Shimano+, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2017 400 500 600 700 800 Wavelength [nm] Intensity (normalized) wet dry dry wet Reflectance Wavelength

Slide 25

Slide 25 text

反射によるスペクトルの変化 • 濡れることで光がより深部まで到達：表⾯下散乱に似る M Shimano+, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2017 Dry Wet

Slide 26

Slide 26 text

反射によるスペクトルの変化 • 表⾯下散乱によってスペクトルの形状が変化 M Shimano+, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2017 H Okawa+, Asian Conference on Computer Vision (ACCV) 2016 Red: Direct Green: Indirect Input Image ≒ 相互反射によるスペクトル形状変化に類似

Slide 27

Slide 27 text

反射によるスペクトルの変化 • 光の振る舞いをモデル化、スペクトルから濡れ度合いを推定 M Shimano+, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2017 Wetness Scene Surface Color

Slide 28

Slide 28 text

材質屈折率の波⻑依存性 • 光は媒質（空気、⽔、ガラスなど）の境界で屈折する S Ishihara+, International Conference on 3D Vision (3DV), 2020 𝒑𝟏 𝒘 𝒗𝟏 𝒒𝟏 𝒏 𝒍𝟏 Refractive Index: 𝑘(𝜆) Air Water Sensor

Slide 29

Slide 29 text

材質屈折率の波⻑依存性 • 材質ごとに固有の屈折率を持ち、光の波⻑によっても異なる S Ishihara+, International Conference on 3D Vision (3DV), 2020 𝒑𝟑 𝒑𝟐 𝒑𝟏 𝒘 𝒗𝟏 𝒗𝟐 𝒗𝟑 𝒒𝟏 𝒒𝟐 𝒒𝟑 𝒏 𝒍𝟏 𝒍𝟐 𝒍𝟑 Refractive Index: 𝑘(𝜆) Air Water Sensor

Slide 30

Slide 30 text

材質屈折率の波⻑依存性 • 異なる波⻑の２画像間で屈折率差に応じたシフトが⽣じる S Ishihara+, International Conference on 3D Vision (3DV), 2020 𝒑𝟑 𝒑𝟐 𝒑𝟏 𝒘 𝒗𝟏 𝒗𝟐 𝒗𝟑 𝒒𝟏 𝒒𝟐 𝒒𝟑 𝒏 𝒍𝟏 𝒍𝟐 𝒍𝟑 Refractive Index: 𝑘(𝜆) Air Water Sensor 𝑘 = 1.34 𝑘 = 1.33

Slide 31

Slide 31 text

材質屈折率の波⻑依存性 • ３〜６波⻑の画像から⽔⾯形状と⽔中物体の形状を推定 S Ishihara+, International Conference on 3D Vision (3DV), 2020 Underwater Scene Scene Camera View Water Surface Scene Camera View CG 実物

Slide 32

Slide 32 text

Slide 33

Slide 33 text

焦点ボケからの深度推定 • Depth from Defocus：焦点ボケはシーン点の深度と関係焦点ボケのことなる複数枚の画像から深度を推定 S Ishihara+, Journal of the Optical Society of America A, 2021 ⼊⼒画像１⼊⼒画像２ Lens Sensor 𝜇) 𝐷𝑒𝑝𝑡ℎ 𝑍 Object 𝜎 𝜆: 𝑤𝑎𝑣𝑒𝑙𝑒𝑛𝑔𝑡ℎ

Slide 34

Slide 34 text

焦点ボケからの深度推定 • イメージングレンズによる集光も屈折を利⽤波⻑ごとに屈折率が異なる：焦点距離が変化 S Ishihara+, Journal of the Optical Society of America A, 2021 𝜆 = 450𝑛𝑚 𝜆 = 650𝑛𝑚 Lens Sensor 𝜇) 𝐷𝑒𝑝𝑡ℎ 𝑍 Object 𝜎(𝜆) 𝑓(𝜆) 𝜆: 𝑤𝑎𝑣𝑒𝑙𝑒𝑛𝑔𝑡ℎ

Slide 35

Slide 35 text

焦点ボケからの深度推定 • 空間⽅向の微分Δ𝐼と波⻑⽅向の微分𝜕* 𝐼を⽤いて深度𝑍について定式化 S Ishihara+, Journal of the Optical Society of America A, 2021 Lens Sensor 𝜇) 𝐷𝑒𝑝𝑡ℎ 𝑍 Object 𝜎(𝜆) 𝑓(𝜆) 𝜆: 𝑤𝑎𝑣𝑒𝑙𝑒𝑛𝑔𝑡ℎ Δ𝐼 = Δ𝑘 ∗ 𝑃 = 𝜕"𝑘 𝛾#𝜎𝜕"𝜎 ∗ 𝑃 = 𝜕"𝐼 𝛾#𝜎𝜕"𝜎 𝑍 = 𝛼 𝜆 Δ𝐼 𝛽 𝜆 Δ𝐼 − 𝜕" 𝐼 𝜎 𝜆 = 1 𝑍 − 1 𝑓 𝜆 𝜇$ + 1

Slide 36

Slide 36 text

焦点ボケからの深度推定 • ３〜６波⻑の画像から距離推定＋ボケの除去 S Ishihara+, Journal of the Optical Society of America A, 2021 Scene Input Depth 450nm 650nm

Slide 37

Slide 37 text

フォトメトリックステレオ • 異なる位置の光源下で撮影された画像（３枚〜）の陰影の変化から、対象の表⾯法線を推定 S Ishihara+, IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2025 𝒏 (𝑛%, 𝑛&, 𝑛') 𝐼! = 𝛼𝒏 % 𝒍𝒌 𝐼(: 𝑘-th input image | 𝛼: albedo | 𝒏: surface normal | 𝒍𝒌: direction of 𝑘-th light Time multiplexing

Slide 38

Slide 38 text

フォトメトリックステレオ • 光源をそれぞれ波⻑の異なるものに置き換えると⼀枚のスペクトル画像でチャンネル毎に陰影が変化 S Ishihara+, IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2025 𝒏 (𝑛%, 𝑛&, 𝑛') 𝐼# = 𝑟 𝜆 𝒏 % 𝒍𝝀 Spectral multiplexing 𝐼": input spectral image | 𝒓 𝝀 : spectral reflectance | 𝒍𝝀: direction of spectral light ※ill-posed

Slide 39

Slide 39 text

フォトメトリックステレオ Key Idea 1: 光源配置のデザイン Key Idea 2: 分光反射率の仮定 S Ishihara+, IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2025 Linearly Dependent 1 2 3 4 5 Linearly Independent 6 7 Subsets 𝑟 𝜆 → Δ𝑟𝜆 + 𝐶

Slide 40

Slide 40 text

フォトメトリックステレオ • ⾊の境界が不明確なシーン、鏡⾯反射を含むシーンにも対応 S Ishihara+, IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2025

Slide 41

Slide 41 text

プロジェクタカメラシステムによる反射成分の分離 • パターン投影により反射成分を制御し、２〜２０枚以上の画像から成分を分離 SK Nayar+, ACM SIGGRAPH 2006 直接反射成分間接反射成分シーンの反射成分パターンによる反射成分制御

Slide 42

Slide 42 text

プロジェクタカメラシステムによる反射成分の分離 • リアリティの⾼い肌を再現するためには、多くの成分が必要 A Ghosh+, ACM SIGGRAPH Asia 2008 鏡⾯反射拡散反射浅い散乱深い散乱 CG画像写真このような対象を扱う技術も開発中