高品質なフォトグラメトリデータを取得するためのハードウェア＆ソフトウェア開発

Transcript

1. 1/148 ビジュアルアーツ・エンジニアリング 高品質なフォトグラメトリデータを取得するための ハードウェア＆ソフトウェア開発 株式会社Cygames スキャンスタジオ スキャンエンジニア / 湯 宇 シニアスキャンエンジニア / 遠藤 嘉和
2. 2/148 講演概要 ◆フォトグラメトリによる3Dモデルの品質のばらつきを 改善する方法について ◆フォトグラメトリの基礎のおさらいと、独自に開発した データ取得手法と処理パイプラインについて ◆スキャンデータの品質を向上させるための内製ツールと その開発背景について
3. 3/148 1. スキャンスタジオ設備と事例の紹介 2. フォトグラメトリの基本 3. ハードウェア開発による改善 4. ソフトウェア開発とパイプラインによる改善 5. まとめ アジェンダ
4. 4/148 湯 宇 スキャンエンジニア CGプロダクションでスキャンエンジニアとして勤務し ながら、文化財のデジタルアーカイブや フォトグラメトリソフトウェアの翻訳に携わる。 2021年に株式会社Cygamesに合流。スキャン スタジオでフェイススキャナーの画像処理ツール開発や スキャン撮影などの業務に従事している。 遠藤 嘉和 シニアスキャンエンジニア CGアーティストとして、キャラクターアート、 背景アート、テクニカルサポート、スキャンスタジオの 運営など様々な分野での活動を行いながら映像制作や ゲーム開発に携わる。 2018年に株式会社Cygamesに 合流。スキャンスタジオ責任者兼エンジニアとして、 社内プロジェクト向けにスキャンデータの提供を行って いる。 自己紹介
5. 5/148 スキャンスタジオ設備 スキャン事例紹介
6. 6/148 スキャンスタジオ設備・スキャン事例紹介 1. ボディスキャナー 2. フェイススキャナー 3. 手持ち撮影装置
7. 7/148 スキャンスタジオ設備・スキャン事例紹介 1. ボディスキャナー 2. フェイススキャナー 3. 手持ち撮影装置
8. 8/148 ボディスキャナー 基本仕様 • 2017年設置 • カメラ224台 • ストロボ22台 スキャン方式 • フォトグラメトリ
9. 9/148 ボディスキャナー 自社開発ハードウェア • レリーズ装置 • カメラ電源装置 • 無線撮影装置
10. 10/148 ボディスキャナー 自社開発ソフトウェア • データ自動処理ツール • 撮影画像確認ツール
11. 11/148 ボディスキャナー 出力サンプル スキャンデータ
12. 12/148 スキャンスタジオ設備・スキャン事例紹介 1. ボディスキャナー 2. フェイススキャナー 3. 手持ち撮影装置
13. 13/148 フェイススキャナー 基本仕様 • 2020年導入 • カメラ67台 • LEDライトユニット156台 スキャン方式 • フォトグラメトリ • フォトメトリックステレオ
14. 14/148 フェイススキャナー 自社開発ハードウェア • カメラ電源供給装置 • 電動開閉ドア • 電動スライド装置 • ヘッドレスト • 椅子バックレスト
15. 15/148 フェイススキャナー 自社開発ソフトウェア • 撮影補助ツール • 画像処理ツール • データ自動処理ツール
16. 16/148 フェイススキャナー 出力サンプル スキャンデータ
17. 17/148 スキャンスタジオ設備・スキャン事例紹介 1. ボディスキャナー 2. フェイススキャナー 3. 手持ち撮影装置
18. 18/148 手持ち撮影装置 スキャン方式 • フォトグラメトリ 今回の講演で紹介する内容は このような機材で取得したデータの 品質改善です
19. 19/148 スキャンデータ
20. 20/148 フォトグラメトリの基本
21. 21/148 フォトグラメトリの基本 1. フォトグラメトリとは 2. オーバーラップ 3. 均一な照明 4. 特徴のある被写体
22. 22/148 フォトグラメトリの基本 1. フォトグラメトリとは 2. オーバーラップ 3. 均一な照明 4. 特徴のある被写体
23. 23/148 フォトグラメトリとは 多角度からの複数撮影 CGモデル
24. 24/148 フォトグラメトリの基本 1. フォトグラメトリとは 2. オーバーラップ 3. 均一な照明 4. 特徴のある被写体
25. 25/148 オーバーラップ RealityCapture
26. 26/148 フォトグラメトリの基本 1. フォトグラメトリとは 2. オーバーラップ 3. 均一な照明 4. 特徴のある被写体
27. 27/148 均一な照明 偏りのある照明 均一な照明
28. 28/148 フォトグラメトリの基本 1. フォトグラメトリとは 2. オーバーラップ 3. 均一な照明 4. 特徴のある被写体
29. 29/148 特徴のある被写体 単色で特徴がない 特徴が多い
30. 30/148 ハードウェア開発による改善
31. 31/148 ハードウェア開発による改善 1. 一般的なフォトグラメトリワークフロー 2. ストロボを使った撮影 3. ハードウェア開発 4. ハードウェアでは解決できない問題点
32. 32/148 ハードウェア開発による改善 1. 一般的なフォトグラメトリワークフロー 2. ストロボを使った撮影 3. ハードウェア開発 4. ハードウェアでは解決できない問題点
33. 33/148 一般的なフォトグラメトリワークフロー 現 像 ア ラ イ メ ン ト メ ッ シ ュ 生 成 テ ク ス チ ャ 生 成 ク リ ー ニ ン グ ロ ー ポ リ モ デ ル 作 成 他の工程に 続く
34. 34/148 一般的なフォトグラメトリワークフロー ◆フォトグラメトリに適した 曇天で撮影 ◆均一なテクスチャを得るために ◆ 現像の段階でディライト ◆ テクスチャ生成後にディライト
35. 35/148 一般的なフォトグラメトリワークフロー ディライト 現 像 ア ラ イ メ ン ト メ ッ シ ュ 生 成 テ ク ス チ ャ 生 成 ク リ ー ニ ン グ ロ ー ポ リ モ デ ル 作 成 他の工程に 続く
36. 36/148 一般的なフォトグラメトリワークフロー ◆現像の段階でディライト ◼ ハイライトを抑える ◼ シャドーを持ち上げる ◆コントラストが低くなる ◼ 色が変わる ディライトの手法
37. 37/148 一般的なフォトグラメトリワークフロー ディライトの手法 処理後 処理前
38. 38/148 ハードウェア開発による改善 1. 一般的なフォトグラメトリワークフロー 2. ストロボを使った撮影 3. ハードウェア開発 4. ハードウェアでは解決できない問題点
39. 39/148 ストロボを使った撮影 均一な照明を作るために大光量のストロボを導入 AR400 AD200
40. 40/148 ストロボを使った撮影 AR400 • 大光量 400W • チャージ時間が短い • 交差偏光可能 • リングフラッシュ
41. 41/148 ストロボを使った撮影 AD200（2台） • 大光量 200W x 2 • チャージ時間が短い • 交差偏光 が可能 • 機材調達しやすい • 軽量
42. 42/148 ストロボを使った撮影 AD200（2台） • 大光量 200W x 2 • チャージ時間が短い • 交差偏光 が可能 • 機材調達しやすい • 軽量
43. 43/148 ストロボを使った撮影 • カメラに偏光フィルター • 光源に偏光フィルター • 互いに垂直 • 正反射 Specular 除去 • 拡散反射 Diffuse 取得 交差偏光（Cross-Polarization）とは 偏光フィルター
44. 44/148 交差偏光 Cross-Polarization 偏光フィルター
45. 45/148 偏光フィルターを90度回転 交差偏光 Cross-Polarization
46. 46/148 交差偏光 Cross-Polarization 偏光フィルターを90度回転 スペキュラー有り スペキュラー除去
47. 47/148 ストロボを使った撮影 ストロボ 自然光
48. 48/148 ストロボを使った撮影 1. 被写体までの距離をキープする 2. オーバーヒートによる撮影中断 3. 持ちにくさ ストロボ撮影の問題点
49. 49/148 ハードウェア開発による改善 1. 一般的なフォトグラメトリワーク 2. ストロボを使った撮影 3. ハードウェア開発 4. ハードウェアでは解決できない問題点
50. 50/148 ハードウェア開発 ストロボ撮影の問題点への 一般的 な対応 1. 被写体までの距離をキープする 2. オーバーヒートによる撮影中断 3. 持ちにくさ
51. 51/148 ハードウェア開発 ストロボ撮影の問題点への 一般的 な対応 1. 被写体までの距離をキープする → 三脚を使用 2. オーバーヒートによる撮影中断 3. 持ちにくさ
52. 52/148 ハードウェア開発 ストロボ撮影の問題点への 一般的 な対応 1. 被写体までの距離をキープする → 三脚を使用 2. オーバーヒートによる撮影中断 → 複数台運用、強制再起動 3. 持ちにくさ
53. 53/148 ハンドル ハードウェア開発 ストロボ撮影の問題点への 一般的 な対応 1. 被写体までの距離をキープする → 三脚を使用 2. オーバーヒートによる撮影中断 → 複数台運用、強制再起動 3. 持ちにくさ → ストロボ用ハンドルの導入
54. 54/148 ハードウェア開発 ストロボ撮影の問題点への ハードウェア開発 による対応 1. 被写体までの距離をキープする 2. オーバーヒートによる撮影中断 3. 持ちにくさ
55. 55/148 ハードウェア開発 写真は開発中の機材です
56. 56/148 ストロボ撮影の問題点への ハードウェア開発 による対応 1. 被写体までの距離をキープする → レーザー距離計 2. オーバーヒートによる撮影中断 3. 持ちにくさ ハードウェア開発 写真は開発中の機材です
57. 57/148 ストロボ撮影の問題点への ハードウェア開発 による対応 1. 被写体までの距離をキープする → レーザー距離計 2. オーバーヒートによる撮影中断 → 制御ユニット 3. 持ちにくさ ハードウェア開発 写真は開発中の機材です
58. 58/148 ハードウェア開発 ストロボ撮影の問題点への ハードウェア開発 による対応 1. 被写体までの距離をキープする → レーザー距離計 2. オーバーヒートによる撮影中断 → 制御ユニット 3. 持ちにくさ → 専用リグの作成 写真は開発中の機材です
59. 59/148 スキャンデータ / Cygames展 バハムート像（塗装完成前）
60. 60/148 スキャンデータ / Cygames展 バハムート像（塗装完成前）
61. 61/148 ハードウェア開発による改善 1. 一般的なフォトグラメトリワークフロー 2. ストロボを使った撮影 3. ハードウェア開発 4. ハードウェアでは解決できない問題点
62. 62/148 ハードウェアでは解決できない問題点 常に距離をキープできるわけではない 光の減衰を補正する必要がある 写真の明るさにばらつきが出る
63. 63/148 ハードウェアでは解決できない問題点 • ハードウェアで解決できない問題をソフトウェアで解決 • 光の減衰による画像輝度のばらつきを内製ツールで補正 ハードウェアだけでは問題を解決できない
64. 64/148 ソフトウェア開発と パイプラインによる改善
65. 65/148 ソフトウェア開発とパイプラインによる改善 1. 予備知識 2. 輝度補正 3. 色補正（交差偏光のキャリブレーション） 4. データ処理パイプライン 5. 考察
66. 66/148 ソフトウェア開発とパイプラインによる改善 1. 予備知識 2. 輝度補正 3. 色補正（交差偏光のキャリブレーション） 4. データ処理パイプライン 5. 考察
67. 67/148 予備知識 • 光の強度を2倍にすることで、 被写体の明るさも2倍になる • リニア空間で計算を行うことで 数学上正しい輝度計算が 可能になる リニアワークフロー
68. 68/148 予備知識 • 光の強度を2倍にすることで、 被写体の明るさも2倍になる • リニア空間で計算を行うことで 数学上正しい輝度計算が 可能になる リニアワークフロー
69. 69/148 予備知識 明るさの再現手法 • 光の強度を2倍 • カメラの露出を2倍 • リニア空間で画像の明るさ RGB値を2倍 リニアワークフロー
70. 70/148 予備知識 上段 • 露光時間 1/60秒 • 絞り値 F8 • ISO感度 800 下段 • 露光時間 1/15秒 • 絞り値 F8 • ISO感度 800 リニアワークフロー
71. 71/148 予備知識 上段:下段 • 光の量が4倍違う 上段の写真のRGB値 • 乗算x4（Multiply x4） リニアワークフロー
72. 72/148 予備知識 上段:下段 • 光の量が4倍違う 上段の写真のRGB値 • 乗算x4（Multiply x4） リニアワークフロー
73. 73/148 予備知識 処理フロー • sRGB -> Linear sRGB • ImageA’ = ImageA*4 • Linear sRGB -> sRGB sRGB Linear sRGB sRGB Linear sRGB リニアワークフロー
74. 74/148 予備知識 リニアワークフローが成立する簡単な現像方法 • RawTherapee • darktable • LibRaw • Lightroom リニアワークフロー
75. 75/148 予備知識 リニアワークフローが成立する簡単な現像方法 • RawTherapee – プロファイルニュートラル • darktable – フィルミックRGB → OFF • LibRaw – Usage Examples参照 • Lightroom – キャリブレーションバージョン2 リニアワークフロー
76. 76/148 予備知識 リニアワークフローが成立する簡単な現像方法 • RawTherapee • darktable • LibRaw • Lightroom 並列処理 による高速化 リニアワークフロー
77. 77/148 予備知識 • ストロボで撮影する時に、 光の減衰の法則によって被写体に 届く光の強さが減っていく • 光の強さが光源からの 距離の2乗に反比例する （光源の大きさが十分小さく、光が均等に拡散する場合） 光の減衰
78. 78/148 ソフトウェア開発とパイプラインによる改善 1. 予備知識 2. 輝度補正 3. 色補正（交差偏光のキャリブレーション） 4. データ処理パイプライン 5. 考察
79. 79/148 輝度補正 光の減衰の補正方法 被写体までの距離の取得方法 輝度補正ツール 輝度補正結果の例
80. 80/148 輝度補正 光の減衰の補正方法 被写体までの距離の取得方法 輝度補正ツール 輝度補正結果の例
81. 81/148 輝度補正 / 光の減衰の補正方法 • 光の強さが光源からの距離の2乗に反比例する LEDの出力を一定
82. 82/148 輝度補正 / 光の減衰の補正方法 • 光の強さが光源からの距離の2乗に反比例する • 距離aとbに届く光の強さの比は Ea/Eb = (Rb/Ra)2 • 距離aに対して距離bの光の強さを与える Ea‘ = Eb • Ea‘ = (Ra/Rb)2 * Ea LED出力 一定 光源からの距離 R 光の強さ 照度 E
83. 83/148 輝度補正 / 光の減衰の補正方法 • 光の強さが光源からの距離の2乗に反比例する 右画像を距離に応じて明るくする 補正前
84. 84/148 輝度補正 / 光の減衰の補正方法 • 光の強さが光源からの距離の2乗に反比例する 右画像を距離に応じて明るくする リニア空間乗算x4 補正後
85. 85/148 輝度補正 / 光の減衰の補正方法 • 被写体であるカラーチェッカーの輝度を補正できた 補正後
86. 86/148 輝度補正 / 光の減衰の補正方法 • ストロボから被写体までの 距離が分かれば、 数式を用いて光の減衰を 補正できることが分かった • カメラの位置とストロボの 位置が同じと見なす
87. 87/148 輝度補正 光の減衰の補正方法 被写体までの距離の取得方法 輝度補正ツール 輝度補正結果の例
88. 88/148 輝度補正 / 被写体までの距離の取得方法 写真の Exif データから 距離を取得 • Exiftool (PyExifTool) 使用 Focus Distance: 0.90m
89. 89/148 輝度補正 / 被写体までの距離の取得方法 写真の Exif データから 距離を取得 Focus Distance: 0.79m
90. 90/148 輝度補正 / 被写体までの距離の取得方法 写真の Exif データから 距離を取得 Focus Distance: 0.90m Focus Distance: 0.90m
91. 91/148 輝度補正 / 被写体までの距離の取得方法 撮影距離0.90mの画像を 撮影距離0.79mの画像に 明るさを合わせると (0.9/0.79) 2 ≈ 1.30
92. 92/148 輝度補正 / 被写体までの距離の取得方法 • 誤差が大きい • 全画素一律補正のため 奥行きのある被写体に 対応できない • ピントの距離が必ずしも 被写体までの距離ではない 検証用 Nuke画面
93. 93/148 輝度補正 / 被写体までの距離の取得方法 しかし Exif から Focus Distance を取得する手法は に使えることがわかった ピントの合っている領域をマスキング ピンボケ写真の検出
94. 94/148 輝度補正 / 被写体までの距離の取得方法 カメラ 被写体
95. 95/148 DepthMapをレンダリングすればいい 輝度補正 / 被写体までの距離の取得方法 フォトグラメトリのアライメントとメッシュ生成で得られた カメラの位置と被写体の形状から CG上で各カメラから被写体までの距離を求めればいい
96. 96/148 輝度補正 / 被写体までの距離の取得方法 それぞれのカメラから見たDepthMapを書き出した
97. 97/148 輝度補正 / 被写体までの距離の取得方法 DepthMap フォトグラメトリ素材写真
98. 98/148 輝度補正 / 被写体までの距離の取得方法 画像 Exif の場合 撮影距離0.90mの画像を 撮影距離0.79mの画像に 明るさを合わせると (0.9/0.79) 2 ≈ 1.30
99. 99/148 輝度補正 / 被写体までの距離の取得方法 DepthMap から 画像1 : 52.11 画像2 : 42.48 (52.11/42.48) 2 ≈1.50 検証用 Nuke画面
100. 100/148 輝度補正 光の減衰の補正方法 被写体までの距離の取得方法 輝度補正ツール 輝度補正結果の例
101. 101/148 輝度補正 / 輝度補正ツール • 補正前
102. 102/148 輝度補正 / 輝度補正ツール • 補正後 全画素に対して一律の倍率で明るくする(乗算1.50)
103. 103/148 輝度補正 / 輝度補正ツール • 補正後 画像の各画素に対して DepthMapに格納されている画素ごとの距離データで明るくする
104. 104/148 輝度補正 / 輝度補正ツール • 補正前
105. 105/148 輝度補正 / 輝度補正ツール • 補正後 全画素に対して一律の倍率で補正する
106. 106/148 輝度補正 / 輝度補正ツール • 補正後 画像の各画素に対して DepthMapに格納されている画素ごとの距離データで補正する
107. 107/148 輝度補正 / 輝度補正ツール NukeやNatronで作ったノード 計算をPythonで書き直し 自動化と高速化 • NumPy • OpenEXR • imageio 使用ライブラリ
108. 108/148 補正前
109. 109/148 補正後
110. 110/148 輝度補正 / 輝度補正ツール • 全画像の輝度が統一 • 生成されたCGモデルも被写体本来の明るさに 補正前 補正後
111. 111/148 補正の基準 色補正に使ったカラーチェッカーまでの1つの距離
112. 112/148 輝度補正 / 輝度補正ツール 輝度補正の他のメリット：テクスチャのノイズ軽減 補正前 補正後
113. 113/148 輝度補正 光の減衰の補正方法 被写体までの距離の取得方法 輝度補正ツール 輝度補正結果の例
114. 114/148 輝度補正 / 輝度補正結果の例 ジオメトリ 補正前 補正後 アンティーク家具のスキャンデータ
115. 115/148 輝度補正 / 輝度補正結果の例 ジオメトリ 補正前 補正後 アンティーク家具のスキャンデータ
116. 116/148 輝度補正 / 輝度補正結果の例 ジオメトリ 補正前 補正後 アンティーク家具のスキャンデータ
117. 117/148 輝度補正 / 輝度補正結果の例 ジオメトリ 補正前 補正後 アンティーク家具のスキャンデータ
118. 118/148 輝度補正 / 輝度補正結果の例 ジオメトリ 補正前 補正後 アンティーク家具のスキャンデータ
119. 119/148 輝度補正 / 輝度補正結果の例 ジオメトリ 補正前 補正後 アンティーク家具のスキャンデータ
120. 120/148 ソフトウェア開発とパイプラインによる改善 1. 予備知識 2. 輝度補正 3. 色補正（交差偏光のキャリブレーション） 4. データ処理パイプライン 5. 考察
121. 121/148 ◆公称値 分光反射率 ◆交差偏光スキャン 拡散反射 Diffuse Albedo 鏡面反射 Specular Albedo 色補正（交差偏光のキャリブレーション）
122. 122/148 色補正（交差偏光のキャリブレーション） ◆公称値 分光反射率 ◆交差偏光スキャン 拡散反射 Diffuse Albedo 鏡面反射 Specular Albedo 一致しない
123. 123/148 色補正（交差偏光のキャリブレーション） 交差偏光の画像から 直接カラーコレクションの場合 公称値との色差が大きい
124. 124/148 偏光フィルターを90度回転 色補正（交差偏光のキャリブレーション） 平行偏光 Parallel 交差偏光 Cross
125. 125/148 色補正（交差偏光のキャリブレーション） 交差偏光(Cross Polarization) 平行偏光(Parallel Polarization) の平均画像(Mixed) を使って カラーコレクションをする場合 公称値に近い
126. 126/148 色補正（交差偏光のキャリブレーション） 通常手法 偏光フィルターなし 撮影 プロファイル 適用 プロファイル 作成 偏光フィルターあり 交差偏光撮影
127. 127/148 色補正（交差偏光のキャリブレーション） 毎回フィルターを 操作する必要ある 通常手法 偏光フィルターなし 撮影 プロファイル 適用 プロファイル 作成 偏光フィルターあり 交差偏光撮影
128. 128/148 色補正（交差偏光のキャリブレーション） 提案手法 中間プロファイル作成 事前: 交差偏光＆平行偏光を撮影 本番: 交差偏光撮影 プロファイルの作成と適用 フィルターを 外す必要ない
129. 129/148 色補正（交差偏光のキャリブレーション） 提案手法 Capture Parallel Polarization(P) Cross Polarization(C) 事前
130. 130/148 色補正（交差偏光のキャリブレーション） Capture M = (C+P)/2 提案手法 Parallel Polarization(P) Cross Polarization(C) Mixed Image(M) 事前
131. 131/148 色補正（交差偏光のキャリブレーション） 提案手法 Parallel Polarization(P) Cross Polarization(C) Mixed Image(M) lstsq 事前
132. 132/148 色補正（交差偏光のキャリブレーション） 提案手法 Cross Polarization(C) Mixed Image(M) Parallel Polarization(P) lstsq 事前 3x3 Linear Transformation Matrix (P)
133. 133/148 色補正（交差偏光のキャリブレーション） Capture 提案手法 Cross Polarization(C) Mixed Image(M) lstsq Cross Polarization Reference Value lstsq Parallel Polarization(P) 事前 本番 3x3 Linear Transformation Matrix (P)
134. 134/148 色補正（交差偏光のキャリブレーション） Cross Polarization(C) Parallel Polarization(P) Mixed Image(M) lstsq Cross Polarization 提案手法 Reference Value lstsq 事前 本番 3x3 Linear Transformation Matrix (P) 3x3 Linear Transformation Matrix (Q)
135. 135/148 色補正（交差偏光のキャリブレーション） 3x3 Color Correction Matrix(R) R=P-1Q 3x3 Linear Transformation Matrix (Q) 提案手法 Cross Polarization(C) Mixed Image(M) lstsq Cross Polarization Parallel Polarization(P) Reference Value 3x3 Linear Transformation Matrix (P) lstsq 事前 本番
136. 136/148 色補正（交差偏光のキャリブレーション） 3x3 Color Correction Matrix (R) Color Corrected 提案手法 Cross Polarization(C) Mixed Image(M) lstsq Cross Polarization Parallel Polarization(P) 事前 本番
137. 137/148 色補正（交差偏光のキャリブレーション） 3x3 Color Correction Matrix (R) 提案手法 Cross Polarization lstsq Color Corrected Reference Value 本番
138. 138/148 色補正（交差偏光のキャリブレーション） • 3x3 の色補正行列 • 中間と本番の行列で最終の色 補正行列を算出 • ブラックポイント、ホワイト ポイント補正でアルベド近似 • リファレンス写真や計測値を 見ながら補正する必要 提案手法 Diffuse Albedo
139. 139/148 ソフトウェア開発とパイプラインによる改善 1. 予備知識 2. 輝度補正 3. 色補正（交差偏光のキャリブレーション） 4. データ処理パイプライン 5. 考察
140. 140/148 データ処理パイプライン 従来のパイプライン 現 像 ア ラ イ メ ン ト メ ッ シ ュ 生 成 テ ク ス チ ャ 生 成 ク リ ー ニ ン グ ロ ー ポ リ モ デ ル 作 成
141. 141/148 現 像 データ処理パイプライン 画像輝度補正 色補正 Geometry Layer ア ラ イ メ ン ト メ ッ シ ュ 生 成 テ ク ス チ ャ 生 成 ク リ ー ニ ン グ ロ ー ポ リ モ デ ル 作 成 Texture Layer 提案のパイプライン
142. 142/148 ソフトウェア開発とパイプラインによる改善 1. 予備知識 2. 輝度補正 3. 色補正（交差偏光のキャリブレーション） 4. データ処理パイプライン 5. 考察
143. 143/148 考察 ストロボを使う時に逆二乗の法則が成り立つか ◆大きい被写体に対して、ストロボの光量を強く、シャッタースピー ドを短くすれば、環境光の影響、カメラとストロボの位置ずれ、ス トロボの大きさの影響も小さくなる ◆ストロボの光量と光源の小ささがトレードオフ ◆スタジオ環境であれば消灯し、ストロボ光源を小さく ◼ Photogrammetry x Photometric Stereo
144. 144/148 考察 交差偏光について ◆被写体の材質(例えば繊維)と形状(窪み)によって、 偏光されたはず光が交差偏光でない状態で撮影される場合がある ◆交差偏光を使用すると、本来見える被写体の特徴が 見えなくなる場合がある ◼ 非交差偏光との組み合わせ
145. 145/148 まとめ
146. 146/148 まとめ ◆フォトグラメトリ撮影時にストロボを 使用することで均一な照明を ◆被写体までの距離をキープできるようにハードウェア開発し、 さらに内製ソフトウェアを使い、奥行きの影響と 画像輝度のばらつきを補正 ◆交差偏光撮影の色補正手法を紹介
147. 147/148 参考資料 “Powerful Ring Flash //AR400”. Godox https://www.godox.com/product-d/AR400.html “Outdoor Photogrammetry Surface Scanning for Materials with a Flash”. Grzegorz Baran | YouTube https://www.youtube.com/watch?v=c7tI6ICo23I “物理ベースレンダリング -リニアワークフロー編 (2)-”. Cygames Engineers' Blog https://tech.cygames.co.jp/archives/2339/ “sRGB Gamma”. Desmos https://www.desmos.com/calculator/swx0yxolsd?lang=ja “照度とは”. 光学技術の基礎用語 https://www.optics-words.com/sokkou/shodo.html “Colour(Python)”. COLOUR SCIENCE https://www.colour-science.org/ https://github.com/colour-science/colour-nuke/tree/master/colour_nuke/resources/images/ColorChecker2014 “CGSLABが教えるテクニカルルックデヴの真髄。フォトリアルルックデヴのためのリファレンス撮影TIPS”. CGWORLD.jP https://cgworld.jp/article/202202-hslookdev.html “mmColorTarget – Nuke Gizmo”. marcomeyer https://www.marcomeyer-vfx.de/posts/mmcolortarget-nuke-gizmo/ “DCCツールを用いた広色域テクスチャワークフロー“. Speakerdeck https://speakerdeck.com/bandainamcostudios/wide-gamut-texture-workflow-using-dcc-tools-jp?slide=47 “Nuke’s Grade Node Demystified”. chrisbturner https://www.chrisbturner.com/blog/nukes-grade-node-demystified “Sparse Ellipsometry: Portable Acquisition of Polarimetric SVBRDF and Shape with Unstructured Flash Photography”. VISUAL COMPUTING Lab https://vclab.kaist.ac.kr/siggraph2022p1/index.html
148. 148/148