空撮フォトグラメトリー技術とレーザースキャン技術の融合による広大な現実空間の3Dデー

2018/08/24 CEDEC 2018

Transcript

1. 空撮フォトグラメトリー技術とレーザースキャン技術の 融合による広大な現実空間の3Dデータ化方法 1/全ページ
2. 自己紹介 造形制作を経てCG業界に転職。映像制作会社でフルCGや実写合 成映像を担当。大手コンシューマーゲーム会社で映像制作、ハイ エンドゲーム開発に携わったのち、2016年に株式会社Cygames へ合流。現在は、ハイエンドゲーム、映像などのグラフィックス 関連を担当するとともに、大阪Cygamesアーティストチームを 牽引している。 2/79 國府 力 株式会社Cygames デザイナー部 3DCGアーティストチーム CGディレクター
3. サマリー 3/79 「レーザースキャニング技術」 「フォトグラメトリ技術」 「ドローンによる空撮技術」 これらを有効に使用することで大規模エリアを高精度な３Dデータとして作成 どのように「大規模エリアを高精度３D化」したのかを詳しく解説
4. アジェンダ 4/79 ・計測物の説明、計測目的 ・技術手法、事例紹介 ・技術的解説 ・データ加工、今後の展開と展望
5. 何を3Dデータにするのか 5/79
6. ベストアメニティスタジアム 6/79
7. 7/79 ベストアメニティスタジアム ・佐賀県鳥栖市にあるサッカー専用球技場 ・1996年5月開場 ・Jリーグサガン鳥栖の ホームスタジアム
8. 8/79 3D化の目的は 老朽化したスタジアムのリニューアルに伴い プレスリリース用の３D映像の制作
9. 9/79 リニューアルスタジアム（完成イメージ）
10. 10/79 プレスリリース映像 https://www.cygames.co.jp/press/press-17848/ 株式会社Cygames、企業版ふるさと納税を活用した佐賀県鳥栖市「スタジアムリニューアル による魅力向上プロジェクト」のスタジアムリニューアル デザイン案を発表 https://www.youtube.com/watch?v=K7GY9HnqcAs
11. 11/79 点群データ
12. 12/79 ソリッドモデル
13. 13/79
14. 14/79 最終データ
15. どのようにして３Dデータ化したのか 15/79 • レーザースキャニング技術 • フォトグラメトリー技術 • ヘリ、ドローンによる空撮技術 数年前までは・・・ 広大な現実世界を高精度な3Dデータにする場合、人手による地道で膨大な作 業をこなしていくしかなく、さらに今ほどの精度を実現すること自体が困難
16. 各技術紹介 16/79
17. レーザースキャニング技術 17/79 高精度レーザーレンジスキャナで実空間をスキャンして 点群データから3Dメッシュを作成 利点 • レーザー照射により精度の高い位置情報が得られるため、 • 高精度な位置データの取得可能 問題点 • スキャナを中心としてレーザーが飛ぶので、死角となる入り組んだ部分な どの撮影には複数回の撮影など工夫が必要 • スキャナからの撮影した天球画像をテクスチャとするため用途によっては 解像度不足が発生する
18. レーザースキャニング技術活用事例 18/79 実際に組まれたセットをレーザーレンジスキャナでスキャンして点群データを 取得し３Dポリゴン化 ウォークスルーデモ
19. フォトグラメトリー技術 19/79 3次元の物体を複数の観測点から撮影して得た画像から、視 差情報を解析して形状を作成 利点 • 手軽 • 入り組んだ複雑な形状の立体化も得意 • 写真の解像度に依存するのでテクスチャーも高解像度が得られる 問題点 • 撮影現場で撮りこぼしがないか確認することが難しい • 高精度な情報を得るには、それなりの経験と技術が必要 • 情報の少ない撮影物を撮影する場合、マッチングが難しい場合がある
20. フォトグラメトリー技術活用事例 20/79 ゲーム用アセット製作にフォトグラメトリーを活用しています。 比較的手軽にリアルなアセットが作成できるので、昨今のトレンドとなってい ますが、上質なディテールを得るためには細かなテクニックや工夫が必要だっ たりします。 アセット制作
21. フォトグラメトリー技術活用事例 21/79 フォトグラメトリー技術を 使用した総カメラ数209台 のスキャンスタジオ 3Dスキャンスタジオ
22. ヘリ、ドローンによる空撮技術 22/79 ヘリコプターやドローンに搭載したカメラやレーザーレン ジスキャナーから点群データを取得 利点 • 高い位置からのデータ取得が可能 • 広範囲のデータ取得が可能 問題点 • 飛ばすまでの手続きが手間 • 天候、風の影響をもろに受けるので撮影自体が困難 • 被写体に近づくことが難しい
23. ヘリ、ドローンによる空撮技術活用事例 23/79 鳥栖駅周辺をヘリコプターから SFM（多視点ステレオ写真測量） により3D化 鳥栖駅周辺空撮
24. これらの技術を融合 24/79
25. 技術融合事例 25/79 2017年末に幕張メッセで行われた「グラブルフェス」で初公開されたHTC Viveを使用したユーザー体験型“MR”アトラクション VR四騎士 レーザースキャニング技術 フォトグラメトリ技術 上記技術を融合させて 実在の部屋を3Dで再現
26. これらの技術を基準に進めていくことに 26/79 • 撮影規模がとんでもなくでかい 約260m×200m • この規模を撮影するノウハウが足りない • リリース日を考えると検証を進める時間もあまりない ただ問題点も・・
27. どうしたのか 27/79 測量的知見が必要
28. 測量会社との連携 28/79 親交のある測量会社に相談 これらの技術を基準に測量技術を踏まえてデータ化 していくことに
29. 29/79 計測手法説明
30. 30/79
31. 大規模空間の３次元測量 31/79
32. 鳥栖スタジアム計測工程 32/79 1.地理空間の基準となる基準点を作成 2.UAVを使用した大縮尺の空中写真測量 3.地上レーザを利用した小縮尺の測量 4.設置標識点を使用した位置合わせと整合
33. 大規模な現実空間の３次元作成の前提 33/79
34. 大規模空間の３次元化 34/79 大きな空間を３次元化する場合に問題となるのが空間の破綻です。 大規模な建造物を計測する際には一度ですべてを計測することは 基本的に不可能なので、何度も移動しつつ計測することになります。
35. 伝播する誤差 35/79 何度も移動しつつ計測すると、少しのズレが大きなズレとなって全体の３次元 形状が破綻してしまいます。 これを測量の用語で誤差の伝播と呼んだりします。 （厳密にはちょっと違いますが…）
36. ３次元データに向けて 36/79 1800年ごろから行われた伊能忠敬 による測量も考え方としてはそんな に大差はないです。 通常の測量では、この誤差を小さくために様々な方法で誤差を収束させようと します。（誤差が無くなる、というのは基本的にありません） 今回使用した方法では、まず基準点測量を行い、誤差の少ない点を基準として 全体として整合のとれた３次元形状を計測しました。 国土交通省国土地理院 基準点測量作業規程より
37. 誤差とは 37/79 大雑把に説明すると、 誤差とは真値との較差になります。 （ただし、真値は永久に与えられないものという考え方が日本だと多いです） この差 いろいろとこねくり回して誤差を無くそうと頑張ります
38. 現実世界をモデル化する際の誤差 38/79 延々と伸びる海岸線 誤差を考える際には、求める縮尺がどのぐらいか、というのが重要になってき ます。 細かい話をすると、物 体ひとつひとつの分子 （海との境目）まで計 測しなくてはならなく なります。
39. 誤差の許容範囲 39/79 現実世界をモデル化する際に、誤差が生まれるのは必然です。 重要なのはどの程度まで誤差を許容するかにあります。 （ex. 大縮尺≒1/25000、小縮尺≒1/2500） 例えば、地図を描く際に 1/25000の地図では10mの線が4mmの線になりますが、 1/2500の地図では10mの線が4cmの線になります。 4ｍｍの線は5mの誤差があっても2mmのズレですみますが、 4cmの線を書く際に5mの誤差があると2cmのズレが起こります。 ややこしいですが、細かい情報を知りたい と思ったら細かい精度が必要になると考え ていただければ…
40. 利用する側から定義する誤差 40/79 誤差の許容範囲は 成果をどのように利用するかによって決める必要があります。 今回の場合であれば人の目線でモデルを見る必要があるので、 位置精度のうち、水平精度±12cm以内、高さ精度±25cm以内を目指しました。 （普通の測量業務では縮尺によってどの程度の誤差が認められるかはあらかじめ法令で定められています）
41. 鳥栖スタジアムの計測 41/79
42. 鳥栖スタジアム計測工程 42/79 1.地理空間の基準となる基準点を作成 2.UAVを使用した大縮尺の空中写真測量 3.地上レーザを利用した小縮尺の測量 4.設置標識点を使用した位置合わせと整合
43. 基準点測量 43/79 基準点測量にはいろいろな方法がありますが、今回はGNSS測量機を利用した スタティック方式による３級基準点測量を実施しました。 乱暴な言い方をするとGPSを利用したカーナビの システムの高精度版です。 数cmから数mmの精度で計測できます。 （ただし同じ場所で１時間以上計測する必要があります） 国土交通省国土地理院ＨＰより
44. 基準点測量結果 44/79 今回は鳥栖スタジアム周辺に8点の新設点を作成しました。 設置した基準点間で基準点網を作成し、基準点計算を行いました。
45. 基準点の誤差？ 45/79 基準点の誤差は説明するのが難しいですが、かなり大雑把に説明すると 網を組んだ時の閉合誤差を最終的な精度の目安としています。 この差 実際には網平均計算等をするので、 ズレっぱなしというわけではないです…
46. 標定点の設置 46/79 ドローンやレーザスキャナで計測するにあたって、基準点を使用して地上に 標識を設置し、その座標を記録しておきます。 最後の計算で標識座標を利用して誤差を収束させます。 あとでこの標識を使ってデータを整合します
47. 基準点を使用して標定点を計測 47/79 トータルステーションもレーザを利用した機器ですが、レーザスキャナと違い、 人が覗き込んで目標を視準し、角度と距離を計測して座標を計算します。 この絵も遠くにある五重塔のてっぺんを 視準して角度を計算しています。 ただし、この時代は距離を測れるレーザ が無かったので人の歩幅で距離を出して いたようです。
48. 鳥栖スタジアム計測工程 48/79 1.地理空間の基準となる基準点を作成 2.UAVを使用した大縮尺の空中写真測量 3.地上レーザを利用した小縮尺の測量 4.設置標識点を使用した位置合わせと整合
49. ドローンによる撮影 49/79 細かく計測する前に屋根の上など人が進入できない部分をドローンで撮影計測。 今回は３次元レーザ機器もドローンに積んで計測を行いました。（計600枚程度撮影）
50. ドローン計測の位置合わせ 50/79 SFM処理は写真に写りこんだ標識をもとに 位置合わせを行いました。 またUAVに搭載したレーザスキャナの点群 データは標識座標に加えて、UAV自体に搭 載したGNSS測量機（GPS）による補正を行 い、位置合わせを行いました。
51. 51/79 空中写真撮影によるフォトグラメトリー処理
52. 52/79 ドローン搭載のレーザスキャナによるデータ 上空から見た範囲で網羅した点群 となるが、点群密度が薄く、この ままではモデル作成に適さない
53. 鳥栖スタジアム計測工程 53/79 1.地理空間の基準となる基準点を作成 2.UAVを使用した大縮尺の空中写真測量 3.地上レーザを利用した小縮尺の測量 4.設置標識点を使用した位置合わせと整合
54. 地上レーザスキャナを利用した計測 54/79 地上レーザスキャナを使用して、レーザによる３次元形状の取得を行いました。 鳥栖スタジアム全体で計428回の据替と計測を行いました。
55. 地上レーザスキャナのしくみ（Time Of Flight方式の場合） 55/79 ３Ｄレーザスキャナはレーザによる計測対象物とセンサーの間をレーザパルス が往復する時間を計測することで距離を計測し、同時にレーザビームを発射し た方向を記録することで、計測対象点の３次元座標を取得する測量機器です。
56. 鳥栖スタジアム計測工程 56/79 1.地理空間の基準となる基準点を作成 2.UAVを使用した大縮尺の空中写真測量 3.地上レーザを利用した小縮尺の測量 4.設置標識点を使用した位置合わせと整合
57. 地上レーザスキャナの整合 57/79 地上レーザースキャナで観測した点群結果はレーザスキャナの受光部を座標原 点として記録されます。記録された点群結果を標定点座標を基に動かして位置 を合わせます。 観測結果は１スキャン毎にまとめられます トータルステーション等で基準点上 から標定点を観測
58. 地上レーザスキャナの整合 58/79
59. 位置合わせと整合 59/79 設置しておいた標識を利用して各データを整合しました。
60. 60/79 レーザスキャナのデータ
61. 全体の誤差 61/79 今回の業務では基準点の誤差が最大7mm程度 全体のデータ取得精度はおおむね5cm以内に収まりました。 （目標は水平精度±12cm以内、高さ精度±25cm以内） 精度の高い3次元測量を行えると、後続のモデル作成で迷う部分が少なくな るので破綻のないモデル作成が可能です。
62. ソリッドモデルの作成 62/79 • 各種資料から図面立て、モデル作成 • テクスチャを手持ち写真、レーザスキャナの360°画像、ドローンによる撮影 データから補完しつつ作成
63. ソリッドモデルの完成 63/79
64. 技術的まとめ 64/79 • 測量的知見から基準点を設置することで大規模な空間の精密なモデル化を破 綻なく行うことが可能でした。 • 利用されるシーンを見越して許容精度を設定したため、手戻りなくモデルを 作成することが可能でした。 • また、作成されたモデルがどの程度の正確さを保っているかを提示できるの で、モデルの汎用性が高まりました。
65. 最終3Dデータに調整 65/79
66. ３Dデータの加工 66/79 ソリッドモデルを元にニューカラーデータに調整 • ソリッドモデルを元にニューカラーの動画用モデルへ変更していきます。 • ３Dで確認することにより、塗り直し後の全体のイメージを把握することが でき、詳細なデザインの調整などもおこなえました。 • 周りの街並みに関しても空撮から起こした３Dデータを使用しています。
67. 67/79
68. 68/79
69. 69/79
70. 70/79
71. 完成 71/79
72. 72/xx
73. 73/xx
74. 74/xx
75. 75/xx
76. 76/xx
77. まとめ 77/79 • 各技術の特性を知り、利点、問題点を明確に把握し異なる 技術を融合することで問題を補うことができました。 • 異業種との協力により新たな技術や知見を得ることができ、 大幅な時間短縮とクオリティーの向上を実現することがで きました。
78. 今後の展望 78/79 今回のデータ作成で得られた知見をもとに、大規模エリアの高精度 なデータ化実績を増やし、新たな技術の導入を模索し、さらなる効 率的な手法の確立を目指します。 また、この技術の発展や、さらなる有効活用方法の模索のため、こ のスタジアムデータを大学や研究機関等に無償で提供公開します。 ご興味のある方はCygamesの研究機関であるCygames Research までご連絡ください。
79. Cygamesは 「新しいこと」 「おもしろいこと」 が大好きです！！ 79/79