高品質なフォトグラメトリデータを取得するためのハードウェア＆ソフトウェア開発

by Cygames

Slide 1

Slide 1 text

1/148 ビジュアルアーツ・エンジニアリング高品質なフォトグラメトリデータを取得するためのハードウェア＆ソフトウェア開発株式会社Cygames スキャンスタジオスキャンエンジニア / 湯宇シニアスキャンエンジニア / 遠藤嘉和

Slide 2

Slide 2 text

2/148 講演概要 ◆フォトグラメトリによる3Dモデルの品質のばらつきを改善する方法について ◆フォトグラメトリの基礎のおさらいと、独自に開発したデータ取得手法と処理パイプラインについて ◆スキャンデータの品質を向上させるための内製ツールとその開発背景について

Slide 3

Slide 3 text

3/148 1. スキャンスタジオ設備と事例の紹介 2. フォトグラメトリの基本 3. ハードウェア開発による改善 4. ソフトウェア開発とパイプラインによる改善 5. まとめアジェンダ

Slide 4

Slide 4 text

4/148 湯宇スキャンエンジニア CGプロダクションでスキャンエンジニアとして勤務しながら、文化財のデジタルアーカイブやフォトグラメトリソフトウェアの翻訳に携わる。 2021年に株式会社Cygamesに合流。スキャンスタジオでフェイススキャナーの画像処理ツール開発やスキャン撮影などの業務に従事している。遠藤嘉和シニアスキャンエンジニア CGアーティストとして、キャラクターアート、背景アート、テクニカルサポート、スキャンスタジオの運営など様々な分野での活動を行いながら映像制作やゲーム開発に携わる。 2018年に株式会社Cygamesに合流。スキャンスタジオ責任者兼エンジニアとして、社内プロジェクト向けにスキャンデータの提供を行っている。自己紹介

Slide 5

Slide 5 text

5/148 スキャンスタジオ設備スキャン事例紹介

Slide 6

Slide 6 text

6/148 スキャンスタジオ設備・スキャン事例紹介 1. ボディスキャナー 2. フェイススキャナー 3. 手持ち撮影装置

Slide 7

Slide 7 text

7/148 スキャンスタジオ設備・スキャン事例紹介 1. ボディスキャナー 2. フェイススキャナー 3. 手持ち撮影装置

Slide 8

Slide 8 text

8/148 ボディスキャナー基本仕様 • 2017年設置 • カメラ224台 • ストロボ22台スキャン方式 • フォトグラメトリ

Slide 9

Slide 9 text

9/148 ボディスキャナー自社開発ハードウェア • レリーズ装置 • カメラ電源装置 • 無線撮影装置

Slide 10

Slide 10 text

10/148 ボディスキャナー自社開発ソフトウェア • データ自動処理ツール • 撮影画像確認ツール

Slide 11

Slide 11 text

11/148 ボディスキャナー出力サンプルスキャンデータ

Slide 12

Slide 12 text

12/148 スキャンスタジオ設備・スキャン事例紹介 1. ボディスキャナー 2. フェイススキャナー 3. 手持ち撮影装置

Slide 13

Slide 13 text

13/148 フェイススキャナー基本仕様 • 2020年導入 • カメラ67台 • LEDライトユニット156台スキャン方式 • フォトグラメトリ • フォトメトリックステレオ

Slide 14

Slide 14 text

14/148 フェイススキャナー自社開発ハードウェア • カメラ電源供給装置 • 電動開閉ドア • 電動スライド装置 • ヘッドレスト • 椅子バックレスト

Slide 15

Slide 15 text

15/148 フェイススキャナー自社開発ソフトウェア • 撮影補助ツール • 画像処理ツール • データ自動処理ツール

Slide 16

Slide 16 text

16/148 フェイススキャナー出力サンプルスキャンデータ

Slide 17

Slide 17 text

17/148 スキャンスタジオ設備・スキャン事例紹介 1. ボディスキャナー 2. フェイススキャナー 3. 手持ち撮影装置

Slide 18

Slide 18 text

18/148 手持ち撮影装置スキャン方式 • フォトグラメトリ今回の講演で紹介する内容はこのような機材で取得したデータの品質改善です

Slide 19

Slide 19 text

19/148 スキャンデータ

Slide 20

Slide 20 text

20/148 フォトグラメトリの基本

Slide 21

Slide 21 text

21/148 フォトグラメトリの基本 1. フォトグラメトリとは 2. オーバーラップ 3. 均一な照明 4. 特徴のある被写体

Slide 22

Slide 22 text

22/148 フォトグラメトリの基本 1. フォトグラメトリとは 2. オーバーラップ 3. 均一な照明 4. 特徴のある被写体

Slide 23

Slide 23 text

23/148 フォトグラメトリとは多角度からの複数撮影 CGモデル

Slide 24

Slide 24 text

24/148 フォトグラメトリの基本 1. フォトグラメトリとは 2. オーバーラップ 3. 均一な照明 4. 特徴のある被写体

Slide 25

Slide 25 text

25/148 オーバーラップ RealityCapture

Slide 26

Slide 26 text

26/148 フォトグラメトリの基本 1. フォトグラメトリとは 2. オーバーラップ 3. 均一な照明 4. 特徴のある被写体

Slide 27

Slide 27 text

27/148 均一な照明偏りのある照明均一な照明

Slide 28

Slide 28 text

28/148 フォトグラメトリの基本 1. フォトグラメトリとは 2. オーバーラップ 3. 均一な照明 4. 特徴のある被写体

Slide 29

Slide 29 text

29/148 特徴のある被写体単色で特徴がない特徴が多い

Slide 30

Slide 30 text

30/148 ハードウェア開発による改善

Slide 31

Slide 31 text

31/148 ハードウェア開発による改善 1. 一般的なフォトグラメトリワークフロー 2. ストロボを使った撮影 3. ハードウェア開発 4. ハードウェアでは解決できない問題点

Slide 32

Slide 32 text

32/148 ハードウェア開発による改善 1. 一般的なフォトグラメトリワークフロー 2. ストロボを使った撮影 3. ハードウェア開発 4. ハードウェアでは解決できない問題点

Slide 33

Slide 33 text

33/148 一般的なフォトグラメトリワークフロー現像アライメントメッシュ生成テクスチャ生成クリーニングローポリモデル作成他の工程に続く

Slide 34

Slide 34 text

34/148 一般的なフォトグラメトリワークフロー ◆フォトグラメトリに適した曇天で撮影 ◆均一なテクスチャを得るために ◆ 現像の段階でディライト ◆ テクスチャ生成後にディライト

Slide 35

Slide 35 text

35/148 一般的なフォトグラメトリワークフローディライト現像アライメントメッシュ生成テクスチャ生成クリーニングローポリモデル作成他の工程に続く

Slide 36

Slide 36 text

36/148 一般的なフォトグラメトリワークフロー ◆現像の段階でディライト ◼ ハイライトを抑える ◼ シャドーを持ち上げる ◆コントラストが低くなる ◼ 色が変わるディライトの手法

Slide 37

Slide 37 text

37/148 一般的なフォトグラメトリワークフローディライトの手法処理後処理前

Slide 38

Slide 38 text

38/148 ハードウェア開発による改善 1. 一般的なフォトグラメトリワークフロー 2. ストロボを使った撮影 3. ハードウェア開発 4. ハードウェアでは解決できない問題点

Slide 39

Slide 39 text

39/148 ストロボを使った撮影均一な照明を作るために大光量のストロボを導入 AR400 AD200

Slide 40

Slide 40 text

40/148 ストロボを使った撮影 AR400 • 大光量 400W • チャージ時間が短い • 交差偏光可能 • リングフラッシュ

Slide 41

Slide 41 text

41/148 ストロボを使った撮影 AD200（2台） • 大光量 200W x 2 • チャージ時間が短い • 交差偏光が可能 • 機材調達しやすい • 軽量

Slide 42

Slide 42 text

42/148 ストロボを使った撮影 AD200（2台） • 大光量 200W x 2 • チャージ時間が短い • 交差偏光が可能 • 機材調達しやすい • 軽量

Slide 43

Slide 43 text

43/148 ストロボを使った撮影 • カメラに偏光フィルター • 光源に偏光フィルター • 互いに垂直 • 正反射 Specular 除去 • 拡散反射 Diffuse 取得交差偏光（Cross-Polarization）とは偏光フィルター

Slide 44

Slide 44 text

44/148 交差偏光 Cross-Polarization 偏光フィルター

Slide 45

Slide 45 text

45/148 偏光フィルターを90度回転交差偏光 Cross-Polarization

Slide 46

Slide 46 text

46/148 交差偏光 Cross-Polarization 偏光フィルターを90度回転スペキュラー有りスペキュラー除去

Slide 47

Slide 47 text

47/148 ストロボを使った撮影ストロボ自然光

Slide 48

Slide 48 text

48/148 ストロボを使った撮影 1. 被写体までの距離をキープする 2. オーバーヒートによる撮影中断 3. 持ちにくさストロボ撮影の問題点

Slide 49

Slide 49 text

49/148 ハードウェア開発による改善 1. 一般的なフォトグラメトリワーク 2. ストロボを使った撮影 3. ハードウェア開発 4. ハードウェアでは解決できない問題点

Slide 50

Slide 50 text

50/148 ハードウェア開発ストロボ撮影の問題点への一般的な対応 1. 被写体までの距離をキープする 2. オーバーヒートによる撮影中断 3. 持ちにくさ

Slide 51

Slide 51 text

51/148 ハードウェア開発ストロボ撮影の問題点への一般的な対応 1. 被写体までの距離をキープする → 三脚を使用 2. オーバーヒートによる撮影中断 3. 持ちにくさ

Slide 52

Slide 52 text

52/148 ハードウェア開発ストロボ撮影の問題点への一般的な対応 1. 被写体までの距離をキープする → 三脚を使用 2. オーバーヒートによる撮影中断 → 複数台運用、強制再起動 3. 持ちにくさ

Slide 53

Slide 53 text

53/148 ハンドルハードウェア開発ストロボ撮影の問題点への一般的な対応 1. 被写体までの距離をキープする → 三脚を使用 2. オーバーヒートによる撮影中断 → 複数台運用、強制再起動 3. 持ちにくさ → ストロボ用ハンドルの導入

Slide 54

Slide 54 text

54/148 ハードウェア開発ストロボ撮影の問題点へのハードウェア開発による対応 1. 被写体までの距離をキープする 2. オーバーヒートによる撮影中断 3. 持ちにくさ

Slide 55

Slide 55 text

55/148 ハードウェア開発写真は開発中の機材です

Slide 56

Slide 56 text

56/148 ストロボ撮影の問題点へのハードウェア開発による対応 1. 被写体までの距離をキープする → レーザー距離計 2. オーバーヒートによる撮影中断 3. 持ちにくさハードウェア開発写真は開発中の機材です

Slide 57

Slide 57 text

57/148 ストロボ撮影の問題点へのハードウェア開発による対応 1. 被写体までの距離をキープする → レーザー距離計 2. オーバーヒートによる撮影中断 → 制御ユニット 3. 持ちにくさハードウェア開発写真は開発中の機材です

Slide 58

Slide 58 text

58/148 ハードウェア開発ストロボ撮影の問題点へのハードウェア開発による対応 1. 被写体までの距離をキープする → レーザー距離計 2. オーバーヒートによる撮影中断 → 制御ユニット 3. 持ちにくさ → 専用リグの作成写真は開発中の機材です

Slide 59

Slide 59 text

59/148 スキャンデータ / Cygames展バハムート像（塗装完成前）

Slide 60

Slide 60 text

60/148 スキャンデータ / Cygames展バハムート像（塗装完成前）

Slide 61

Slide 61 text

61/148 ハードウェア開発による改善 1. 一般的なフォトグラメトリワークフロー 2. ストロボを使った撮影 3. ハードウェア開発 4. ハードウェアでは解決できない問題点

Slide 62

Slide 62 text

62/148 ハードウェアでは解決できない問題点常に距離をキープできるわけではない光の減衰を補正する必要がある写真の明るさにばらつきが出る

Slide 63

Slide 63 text

63/148 ハードウェアでは解決できない問題点 • ハードウェアで解決できない問題をソフトウェアで解決 • 光の減衰による画像輝度のばらつきを内製ツールで補正ハードウェアだけでは問題を解決できない

Slide 64

Slide 64 text

64/148 ソフトウェア開発とパイプラインによる改善

Slide 65

Slide 65 text

65/148 ソフトウェア開発とパイプラインによる改善 1. 予備知識 2. 輝度補正 3. 色補正（交差偏光のキャリブレーション） 4. データ処理パイプライン 5. 考察

Slide 66

Slide 66 text

66/148 ソフトウェア開発とパイプラインによる改善 1. 予備知識 2. 輝度補正 3. 色補正（交差偏光のキャリブレーション） 4. データ処理パイプライン 5. 考察

Slide 67

Slide 67 text

67/148 予備知識 • 光の強度を2倍にすることで、被写体の明るさも2倍になる • リニア空間で計算を行うことで数学上正しい輝度計算が可能になるリニアワークフロー

Slide 68

Slide 68 text

68/148 予備知識 • 光の強度を2倍にすることで、被写体の明るさも2倍になる • リニア空間で計算を行うことで数学上正しい輝度計算が可能になるリニアワークフロー

Slide 69

Slide 69 text

69/148 予備知識明るさの再現手法 • 光の強度を2倍 • カメラの露出を2倍 • リニア空間で画像の明るさ RGB値を2倍リニアワークフロー

Slide 70

Slide 70 text

70/148 予備知識上段 • 露光時間 1/60秒 • 絞り値 F8 • ISO感度 800 下段 • 露光時間 1/15秒 • 絞り値 F8 • ISO感度 800 リニアワークフロー

Slide 71

Slide 71 text

71/148 予備知識上段:下段 • 光の量が4倍違う上段の写真のRGB値 • 乗算x4（Multiply x4）リニアワークフロー

Slide 72

Slide 72 text

72/148 予備知識上段:下段 • 光の量が4倍違う上段の写真のRGB値 • 乗算x4（Multiply x4）リニアワークフロー

Slide 73

Slide 73 text

73/148 予備知識処理フロー • sRGB -> Linear sRGB • ImageA’ = ImageA*4 • Linear sRGB -> sRGB sRGB Linear sRGB sRGB Linear sRGB リニアワークフロー

Slide 74

Slide 74 text

74/148 予備知識リニアワークフローが成立する簡単な現像方法 • RawTherapee • darktable • LibRaw • Lightroom リニアワークフロー

Slide 75

Slide 75 text

75/148 予備知識リニアワークフローが成立する簡単な現像方法 • RawTherapee – プロファイルニュートラル • darktable – フィルミックRGB → OFF • LibRaw – Usage Examples参照 • Lightroom – キャリブレーションバージョン2 リニアワークフロー

Slide 76

Slide 76 text

76/148 予備知識リニアワークフローが成立する簡単な現像方法 • RawTherapee • darktable • LibRaw • Lightroom 並列処理による高速化リニアワークフロー

Slide 77

Slide 77 text

77/148 予備知識 • ストロボで撮影する時に、光の減衰の法則によって被写体に届く光の強さが減っていく • 光の強さが光源からの距離の2乗に反比例する（光源の大きさが十分小さく、光が均等に拡散する場合）光の減衰

Slide 78

Slide 78 text

78/148 ソフトウェア開発とパイプラインによる改善 1. 予備知識 2. 輝度補正 3. 色補正（交差偏光のキャリブレーション） 4. データ処理パイプライン 5. 考察

Slide 79

Slide 79 text

79/148 輝度補正光の減衰の補正方法被写体までの距離の取得方法輝度補正ツール輝度補正結果の例

Slide 80

Slide 80 text

80/148 輝度補正光の減衰の補正方法被写体までの距離の取得方法輝度補正ツール輝度補正結果の例

Slide 81

Slide 81 text

81/148 輝度補正 / 光の減衰の補正方法 • 光の強さが光源からの距離の2乗に反比例する LEDの出力を一定

Slide 82

Slide 82 text

82/148 輝度補正 / 光の減衰の補正方法 • 光の強さが光源からの距離の2乗に反比例する • 距離aとbに届く光の強さの比は Ea/Eb = (Rb/Ra)2 • 距離aに対して距離bの光の強さを与える Ea‘ = Eb • Ea‘ = (Ra/Rb)2 * Ea LED出力一定光源からの距離 R 光の強さ照度 E

Slide 83

Slide 83 text

83/148 輝度補正 / 光の減衰の補正方法 • 光の強さが光源からの距離の2乗に反比例する右画像を距離に応じて明るくする補正前

Slide 84

Slide 84 text

84/148 輝度補正 / 光の減衰の補正方法 • 光の強さが光源からの距離の2乗に反比例する右画像を距離に応じて明るくするリニア空間乗算x4 補正後

Slide 85

Slide 85 text

85/148 輝度補正 / 光の減衰の補正方法 • 被写体であるカラーチェッカーの輝度を補正できた補正後

Slide 86

Slide 86 text

86/148 輝度補正 / 光の減衰の補正方法 • ストロボから被写体までの距離が分かれば、数式を用いて光の減衰を補正できることが分かった • カメラの位置とストロボの位置が同じと見なす

Slide 87

Slide 87 text

87/148 輝度補正光の減衰の補正方法被写体までの距離の取得方法輝度補正ツール輝度補正結果の例

Slide 88

Slide 88 text

88/148 輝度補正 / 被写体までの距離の取得方法写真の Exif データから距離を取得 • Exiftool (PyExifTool) 使用 Focus Distance: 0.90m

Slide 89

Slide 89 text

89/148 輝度補正 / 被写体までの距離の取得方法写真の Exif データから距離を取得 Focus Distance: 0.79m

Slide 90

Slide 90 text

90/148 輝度補正 / 被写体までの距離の取得方法写真の Exif データから距離を取得 Focus Distance: 0.90m Focus Distance: 0.90m

Slide 91

Slide 91 text

91/148 輝度補正 / 被写体までの距離の取得方法撮影距離0.90mの画像を撮影距離0.79mの画像に明るさを合わせると (0.9/0.79) 2 ≈ 1.30

Slide 92

Slide 92 text

92/148 輝度補正 / 被写体までの距離の取得方法 • 誤差が大きい • 全画素一律補正のため奥行きのある被写体に対応できない • ピントの距離が必ずしも被写体までの距離ではない検証用 Nuke画面

Slide 93

Slide 93 text

93/148 輝度補正 / 被写体までの距離の取得方法しかし Exif から Focus Distance を取得する手法はに使えることがわかったピントの合っている領域をマスキングピンボケ写真の検出

Slide 94

Slide 94 text

94/148 輝度補正 / 被写体までの距離の取得方法カメラ被写体

Slide 95

Slide 95 text

95/148 DepthMapをレンダリングすればいい輝度補正 / 被写体までの距離の取得方法フォトグラメトリのアライメントとメッシュ生成で得られたカメラの位置と被写体の形状から CG上で各カメラから被写体までの距離を求めればいい

Slide 96

Slide 96 text

96/148 輝度補正 / 被写体までの距離の取得方法それぞれのカメラから見たDepthMapを書き出した

Slide 97

Slide 97 text

97/148 輝度補正 / 被写体までの距離の取得方法 DepthMap フォトグラメトリ素材写真

Slide 98

Slide 98 text

98/148 輝度補正 / 被写体までの距離の取得方法画像 Exif の場合撮影距離0.90mの画像を撮影距離0.79mの画像に明るさを合わせると (0.9/0.79) 2 ≈ 1.30

Slide 99

Slide 99 text

99/148 輝度補正 / 被写体までの距離の取得方法 DepthMap から画像1 : 52.11 画像2 : 42.48 (52.11/42.48) 2 ≈1.50 検証用 Nuke画面

Slide 100

Slide 100 text

100/148 輝度補正光の減衰の補正方法被写体までの距離の取得方法輝度補正ツール輝度補正結果の例

Slide 101

Slide 101 text

101/148 輝度補正 / 輝度補正ツール • 補正前

Slide 102

Slide 102 text

102/148 輝度補正 / 輝度補正ツール • 補正後全画素に対して一律の倍率で明るくする(乗算1.50)

Slide 103

Slide 103 text

103/148 輝度補正 / 輝度補正ツール • 補正後画像の各画素に対して DepthMapに格納されている画素ごとの距離データで明るくする

Slide 104

Slide 104 text

104/148 輝度補正 / 輝度補正ツール • 補正前

Slide 105

Slide 105 text

105/148 輝度補正 / 輝度補正ツール • 補正後全画素に対して一律の倍率で補正する

Slide 106

Slide 106 text

106/148 輝度補正 / 輝度補正ツール • 補正後画像の各画素に対して DepthMapに格納されている画素ごとの距離データで補正する

Slide 107

Slide 107 text

107/148 輝度補正 / 輝度補正ツール NukeやNatronで作ったノード計算をPythonで書き直し自動化と高速化 • NumPy • OpenEXR • imageio 使用ライブラリ

Slide 108

Slide 108 text

108/148 補正前

Slide 109

Slide 109 text

109/148 補正後

Slide 110

Slide 110 text

110/148 輝度補正 / 輝度補正ツール • 全画像の輝度が統一 • 生成されたCGモデルも被写体本来の明るさに補正前補正後

Slide 111

Slide 111 text

111/148 補正の基準色補正に使ったカラーチェッカーまでの1つの距離

Slide 112

Slide 112 text

112/148 輝度補正 / 輝度補正ツール輝度補正の他のメリット：テクスチャのノイズ軽減補正前補正後

Slide 113

Slide 113 text

113/148 輝度補正光の減衰の補正方法被写体までの距離の取得方法輝度補正ツール輝度補正結果の例

Slide 114

Slide 114 text

114/148 輝度補正 / 輝度補正結果の例ジオメトリ補正前補正後アンティーク家具のスキャンデータ

Slide 115

Slide 115 text

115/148 輝度補正 / 輝度補正結果の例ジオメトリ補正前補正後アンティーク家具のスキャンデータ

Slide 116

Slide 116 text

116/148 輝度補正 / 輝度補正結果の例ジオメトリ補正前補正後アンティーク家具のスキャンデータ

Slide 117

Slide 117 text

117/148 輝度補正 / 輝度補正結果の例ジオメトリ補正前補正後アンティーク家具のスキャンデータ

Slide 118

Slide 118 text

118/148 輝度補正 / 輝度補正結果の例ジオメトリ補正前補正後アンティーク家具のスキャンデータ

Slide 119

Slide 119 text

119/148 輝度補正 / 輝度補正結果の例ジオメトリ補正前補正後アンティーク家具のスキャンデータ

Slide 120

Slide 120 text

120/148 ソフトウェア開発とパイプラインによる改善 1. 予備知識 2. 輝度補正 3. 色補正（交差偏光のキャリブレーション） 4. データ処理パイプライン 5. 考察

Slide 121

Slide 121 text

121/148 ◆公称値分光反射率 ◆交差偏光スキャン拡散反射 Diffuse Albedo 鏡面反射 Specular Albedo 色補正（交差偏光のキャリブレーション）

Slide 122

Slide 122 text

122/148 色補正（交差偏光のキャリブレーション） ◆公称値分光反射率 ◆交差偏光スキャン拡散反射 Diffuse Albedo 鏡面反射 Specular Albedo 一致しない

Slide 123

Slide 123 text

123/148 色補正（交差偏光のキャリブレーション）交差偏光の画像から直接カラーコレクションの場合公称値との色差が大きい

Slide 124

Slide 124 text

124/148 偏光フィルターを90度回転色補正（交差偏光のキャリブレーション）平行偏光 Parallel 交差偏光 Cross

Slide 125

Slide 125 text

125/148 色補正（交差偏光のキャリブレーション）交差偏光(Cross Polarization) 平行偏光(Parallel Polarization) の平均画像(Mixed) を使ってカラーコレクションをする場合公称値に近い

Slide 126

Slide 126 text

126/148 色補正（交差偏光のキャリブレーション）通常手法偏光フィルターなし撮影プロファイル適用プロファイル作成偏光フィルターあり交差偏光撮影

Slide 127

Slide 127 text

127/148 色補正（交差偏光のキャリブレーション）毎回フィルターを操作する必要ある通常手法偏光フィルターなし撮影プロファイル適用プロファイル作成偏光フィルターあり交差偏光撮影

Slide 128

Slide 128 text

128/148 色補正（交差偏光のキャリブレーション）提案手法中間プロファイル作成事前: 交差偏光＆平行偏光を撮影本番: 交差偏光撮影プロファイルの作成と適用フィルターを外す必要ない

Slide 129

Slide 129 text

129/148 色補正（交差偏光のキャリブレーション）提案手法 Capture Parallel Polarization(P) Cross Polarization(C) 事前

Slide 130

Slide 130 text

130/148 色補正（交差偏光のキャリブレーション） Capture M = (C+P)/2 提案手法 Parallel Polarization(P) Cross Polarization(C) Mixed Image(M) 事前

Slide 131

Slide 131 text

131/148 色補正（交差偏光のキャリブレーション）提案手法 Parallel Polarization(P) Cross Polarization(C) Mixed Image(M) lstsq 事前

Slide 132

Slide 132 text

132/148 色補正（交差偏光のキャリブレーション）提案手法 Cross Polarization(C) Mixed Image(M) Parallel Polarization(P) lstsq 事前 3x3 Linear Transformation Matrix (P)

Slide 133

Slide 133 text

133/148 色補正（交差偏光のキャリブレーション） Capture 提案手法 Cross Polarization(C) Mixed Image(M) lstsq Cross Polarization Reference Value lstsq Parallel Polarization(P) 事前本番 3x3 Linear Transformation Matrix (P)

Slide 134

Slide 134 text

134/148 色補正（交差偏光のキャリブレーション） Cross Polarization(C) Parallel Polarization(P) Mixed Image(M) lstsq Cross Polarization 提案手法 Reference Value lstsq 事前本番 3x3 Linear Transformation Matrix (P) 3x3 Linear Transformation Matrix (Q)

Slide 135

Slide 135 text

135/148 色補正（交差偏光のキャリブレーション） 3x3 Color Correction Matrix(R) R=P-1Q 3x3 Linear Transformation Matrix (Q) 提案手法 Cross Polarization(C) Mixed Image(M) lstsq Cross Polarization Parallel Polarization(P) Reference Value 3x3 Linear Transformation Matrix (P) lstsq 事前本番

Slide 136

Slide 136 text

136/148 色補正（交差偏光のキャリブレーション） 3x3 Color Correction Matrix (R) Color Corrected 提案手法 Cross Polarization(C) Mixed Image(M) lstsq Cross Polarization Parallel Polarization(P) 事前本番

Slide 137

Slide 137 text

137/148 色補正（交差偏光のキャリブレーション） 3x3 Color Correction Matrix (R) 提案手法 Cross Polarization lstsq Color Corrected Reference Value 本番

Slide 138

Slide 138 text

138/148 色補正（交差偏光のキャリブレーション） • 3x3 の色補正行列 • 中間と本番の行列で最終の色補正行列を算出 • ブラックポイント、ホワイトポイント補正でアルベド近似 • リファレンス写真や計測値を見ながら補正する必要提案手法 Diffuse Albedo

Slide 139

Slide 139 text

139/148 ソフトウェア開発とパイプラインによる改善 1. 予備知識 2. 輝度補正 3. 色補正（交差偏光のキャリブレーション） 4. データ処理パイプライン 5. 考察

Slide 140

Slide 140 text

140/148 データ処理パイプライン従来のパイプライン現像アライメントメッシュ生成テクスチャ生成クリーニングローポリモデル作成

Slide 141

Slide 141 text

141/148 現像データ処理パイプライン画像輝度補正色補正 Geometry Layer アライメントメッシュ生成テクスチャ生成クリーニングローポリモデル作成 Texture Layer 提案のパイプライン

Slide 142

Slide 142 text

142/148 ソフトウェア開発とパイプラインによる改善 1. 予備知識 2. 輝度補正 3. 色補正（交差偏光のキャリブレーション） 4. データ処理パイプライン 5. 考察

Slide 143

Slide 143 text

143/148 考察ストロボを使う時に逆二乗の法則が成り立つか ◆大きい被写体に対して、ストロボの光量を強く、シャッタースピードを短くすれば、環境光の影響、カメラとストロボの位置ずれ、ストロボの大きさの影響も小さくなる ◆ストロボの光量と光源の小ささがトレードオフ ◆スタジオ環境であれば消灯し、ストロボ光源を小さく ◼ Photogrammetry x Photometric Stereo

Slide 144

Slide 144 text

144/148 考察交差偏光について ◆被写体の材質(例えば繊維)と形状(窪み)によって、偏光されたはず光が交差偏光でない状態で撮影される場合がある ◆交差偏光を使用すると、本来見える被写体の特徴が見えなくなる場合がある ◼ 非交差偏光との組み合わせ

Slide 145

Slide 145 text

145/148 まとめ

Slide 146

Slide 146 text

146/148 まとめ ◆フォトグラメトリ撮影時にストロボを使用することで均一な照明を ◆被写体までの距離をキープできるようにハードウェア開発し、さらに内製ソフトウェアを使い、奥行きの影響と画像輝度のばらつきを補正 ◆交差偏光撮影の色補正手法を紹介

Slide 147

Slide 147 text

147/148 参考資料 “Powerful Ring Flash //AR400”. Godox https://www.godox.com/product-d/AR400.html “Outdoor Photogrammetry Surface Scanning for Materials with a Flash”. Grzegorz Baran | YouTube https://www.youtube.com/watch?v=c7tI6ICo23I “物理ベースレンダリング -リニアワークフロー編 (2)-”. Cygames Engineers' Blog https://tech.cygames.co.jp/archives/2339/ “sRGB Gamma”. Desmos https://www.desmos.com/calculator/swx0yxolsd?lang=ja “照度とは”. 光学技術の基礎用語 https://www.optics-words.com/sokkou/shodo.html “Colour(Python)”. COLOUR SCIENCE https://www.colour-science.org/ https://github.com/colour-science/colour-nuke/tree/master/colour_nuke/resources/images/ColorChecker2014 “CGSLABが教えるテクニカルルックデヴの真髄。フォトリアルルックデヴのためのリファレンス撮影TIPS”. CGWORLD.jP https://cgworld.jp/article/202202-hslookdev.html “mmColorTarget – Nuke Gizmo”. marcomeyer https://www.marcomeyer-vfx.de/posts/mmcolortarget-nuke-gizmo/ “DCCツールを用いた広色域テクスチャワークフロー“. Speakerdeck https://speakerdeck.com/bandainamcostudios/wide-gamut-texture-workflow-using-dcc-tools-jp?slide=47 “Nuke’s Grade Node Demystified”. chrisbturner https://www.chrisbturner.com/blog/nukes-grade-node-demystified “Sparse Ellipsometry: Portable Acquisition of Polarimetric SVBRDF and Shape with Unstructured Flash Photography”. VISUAL COMPUTING Lab https://vclab.kaist.ac.kr/siggraph2022p1/index.html

Slide 148

Slide 148 text

148/148