Tweet
Tweet

Slide 1

Slide 1 text

空撮フォトグラメトリー技術とレーザースキャン技術の 融合による広大な現実空間の3Dデータ化方法 1/全ページ

Slide 2

Slide 2 text

自己紹介 造形制作を経てCG業界に転職。映像制作会社でフルCGや実写合 成映像を担当。大手コンシューマーゲーム会社で映像制作、ハイ エンドゲーム開発に携わったのち、2016年に株式会社Cygames へ合流。現在は、ハイエンドゲーム、映像などのグラフィックス 関連を担当するとともに、大阪Cygamesアーティストチームを 牽引している。 2/79 國府 力 株式会社Cygames デザイナー部 3DCGアーティストチーム CGディレクター

Slide 3

Slide 3 text

サマリー 3/79 「レーザースキャニング技術」 「フォトグラメトリ技術」 「ドローンによる空撮技術」 これらを有効に使用することで大規模エリアを高精度な３Dデータとして作成 どのように「大規模エリアを高精度３D化」したのかを詳しく解説

Slide 4

Slide 4 text

アジェンダ 4/79 ・計測物の説明、計測目的 ・技術手法、事例紹介 ・技術的解説 ・データ加工、今後の展開と展望

Slide 5

Slide 5 text

何を3Dデータにするのか 5/79

Slide 6

Slide 6 text

ベストアメニティスタジアム 6/79

Slide 7

Slide 7 text

7/79 ベストアメニティスタジアム ・佐賀県鳥栖市にあるサッカー専用球技場 ・1996年5月開場 ・Jリーグサガン鳥栖の ホームスタジアム

Slide 8

Slide 8 text

8/79 3D化の目的は 老朽化したスタジアムのリニューアルに伴い プレスリリース用の３D映像の制作

Slide 9

Slide 9 text

9/79 リニューアルスタジアム（完成イメージ）

Slide 10

Slide 10 text

10/79 プレスリリース映像 https://www.cygames.co.jp/press/press-17848/ 株式会社Cygames、企業版ふるさと納税を活用した佐賀県鳥栖市「スタジアムリニューアル による魅力向上プロジェクト」のスタジアムリニューアル デザイン案を発表 https://www.youtube.com/watch?v=K7GY9HnqcAs

Slide 11

Slide 11 text

11/79 点群データ

Slide 12

Slide 12 text

12/79 ソリッドモデル

Slide 13

Slide 13 text

13/79

Slide 14

Slide 14 text

14/79 最終データ

Slide 15

Slide 15 text

どのようにして３Dデータ化したのか 15/79 • レーザースキャニング技術 • フォトグラメトリー技術 • ヘリ、ドローンによる空撮技術 数年前までは・・・ 広大な現実世界を高精度な3Dデータにする場合、人手による地道で膨大な作 業をこなしていくしかなく、さらに今ほどの精度を実現すること自体が困難

Slide 16

Slide 16 text

各技術紹介 16/79

Slide 17

Slide 17 text

レーザースキャニング技術 17/79 高精度レーザーレンジスキャナで実空間をスキャンして 点群データから3Dメッシュを作成 利点 • レーザー照射により精度の高い位置情報が得られるため、 • 高精度な位置データの取得可能 問題点 • スキャナを中心としてレーザーが飛ぶので、死角となる入り組んだ部分な どの撮影には複数回の撮影など工夫が必要 • スキャナからの撮影した天球画像をテクスチャとするため用途によっては 解像度不足が発生する

Slide 18

Slide 18 text

レーザースキャニング技術活用事例 18/79 実際に組まれたセットをレーザーレンジスキャナでスキャンして点群データを 取得し３Dポリゴン化 ウォークスルーデモ

Slide 19

Slide 19 text

フォトグラメトリー技術 19/79 3次元の物体を複数の観測点から撮影して得た画像から、視 差情報を解析して形状を作成 利点 • 手軽 • 入り組んだ複雑な形状の立体化も得意 • 写真の解像度に依存するのでテクスチャーも高解像度が得られる 問題点 • 撮影現場で撮りこぼしがないか確認することが難しい • 高精度な情報を得るには、それなりの経験と技術が必要 • 情報の少ない撮影物を撮影する場合、マッチングが難しい場合がある

Slide 20

Slide 20 text

フォトグラメトリー技術活用事例 20/79 ゲーム用アセット製作にフォトグラメトリーを活用しています。 比較的手軽にリアルなアセットが作成できるので、昨今のトレンドとなってい ますが、上質なディテールを得るためには細かなテクニックや工夫が必要だっ たりします。 アセット制作

Slide 21

Slide 21 text

フォトグラメトリー技術活用事例 21/79 フォトグラメトリー技術を 使用した総カメラ数209台 のスキャンスタジオ 3Dスキャンスタジオ

Slide 22

Slide 22 text

ヘリ、ドローンによる空撮技術 22/79 ヘリコプターやドローンに搭載したカメラやレーザーレン ジスキャナーから点群データを取得 利点 • 高い位置からのデータ取得が可能 • 広範囲のデータ取得が可能 問題点 • 飛ばすまでの手続きが手間 • 天候、風の影響をもろに受けるので撮影自体が困難 • 被写体に近づくことが難しい

Slide 23

Slide 23 text

ヘリ、ドローンによる空撮技術活用事例 23/79 鳥栖駅周辺をヘリコプターから SFM（多視点ステレオ写真測量） により3D化 鳥栖駅周辺空撮

Slide 24

Slide 24 text

これらの技術を融合 24/79

Slide 25

Slide 25 text

技術融合事例 25/79 2017年末に幕張メッセで行われた「グラブルフェス」で初公開されたHTC Viveを使用したユーザー体験型“MR”アトラクション VR四騎士 レーザースキャニング技術 フォトグラメトリ技術 上記技術を融合させて 実在の部屋を3Dで再現

Slide 26

Slide 26 text

これらの技術を基準に進めていくことに 26/79 • 撮影規模がとんでもなくでかい 約260m×200m • この規模を撮影するノウハウが足りない • リリース日を考えると検証を進める時間もあまりない ただ問題点も・・

Slide 27

Slide 27 text

どうしたのか 27/79 測量的知見が必要

Slide 28

Slide 28 text

測量会社との連携 28/79 親交のある測量会社に相談 これらの技術を基準に測量技術を踏まえてデータ化 していくことに

Slide 29

Slide 29 text

29/79 計測手法説明

Slide 30

Slide 30 text

30/79

Slide 31

Slide 31 text

大規模空間の３次元測量 31/79

Slide 32

Slide 32 text

鳥栖スタジアム計測工程 32/79 1.地理空間の基準となる基準点を作成 2.UAVを使用した大縮尺の空中写真測量 3.地上レーザを利用した小縮尺の測量 4.設置標識点を使用した位置合わせと整合

Slide 33

Slide 33 text

大規模な現実空間の３次元作成の前提 33/79

Slide 34

Slide 34 text

大規模空間の３次元化 34/79 大きな空間を３次元化する場合に問題となるのが空間の破綻です。 大規模な建造物を計測する際には一度ですべてを計測することは 基本的に不可能なので、何度も移動しつつ計測することになります。

Slide 35

Slide 35 text

伝播する誤差 35/79 何度も移動しつつ計測すると、少しのズレが大きなズレとなって全体の３次元 形状が破綻してしまいます。 これを測量の用語で誤差の伝播と呼んだりします。 （厳密にはちょっと違いますが…）

Slide 36

Slide 36 text

３次元データに向けて 36/79 1800年ごろから行われた伊能忠敬 による測量も考え方としてはそんな に大差はないです。 通常の測量では、この誤差を小さくために様々な方法で誤差を収束させようと します。（誤差が無くなる、というのは基本的にありません） 今回使用した方法では、まず基準点測量を行い、誤差の少ない点を基準として 全体として整合のとれた３次元形状を計測しました。 国土交通省国土地理院 基準点測量作業規程より

Slide 37

Slide 37 text

誤差とは 37/79 大雑把に説明すると、 誤差とは真値との較差になります。 （ただし、真値は永久に与えられないものという考え方が日本だと多いです） この差 いろいろとこねくり回して誤差を無くそうと頑張ります

Slide 38

Slide 38 text

現実世界をモデル化する際の誤差 38/79 延々と伸びる海岸線 誤差を考える際には、求める縮尺がどのぐらいか、というのが重要になってき ます。 細かい話をすると、物 体ひとつひとつの分子 （海との境目）まで計 測しなくてはならなく なります。

Slide 39

Slide 39 text

誤差の許容範囲 39/79 現実世界をモデル化する際に、誤差が生まれるのは必然です。 重要なのはどの程度まで誤差を許容するかにあります。 （ex. 大縮尺≒1/25000、小縮尺≒1/2500） 例えば、地図を描く際に 1/25000の地図では10mの線が4mmの線になりますが、 1/2500の地図では10mの線が4cmの線になります。 4ｍｍの線は5mの誤差があっても2mmのズレですみますが、 4cmの線を書く際に5mの誤差があると2cmのズレが起こります。 ややこしいですが、細かい情報を知りたい と思ったら細かい精度が必要になると考え ていただければ…

Slide 40

Slide 40 text

利用する側から定義する誤差 40/79 誤差の許容範囲は 成果をどのように利用するかによって決める必要があります。 今回の場合であれば人の目線でモデルを見る必要があるので、 位置精度のうち、水平精度±12cm以内、高さ精度±25cm以内を目指しました。 （普通の測量業務では縮尺によってどの程度の誤差が認められるかはあらかじめ法令で定められています）

Slide 41

Slide 41 text

鳥栖スタジアムの計測 41/79

Slide 42

Slide 42 text

鳥栖スタジアム計測工程 42/79 1.地理空間の基準となる基準点を作成 2.UAVを使用した大縮尺の空中写真測量 3.地上レーザを利用した小縮尺の測量 4.設置標識点を使用した位置合わせと整合

Slide 43

Slide 43 text

基準点測量 43/79 基準点測量にはいろいろな方法がありますが、今回はGNSS測量機を利用した スタティック方式による３級基準点測量を実施しました。 乱暴な言い方をするとGPSを利用したカーナビの システムの高精度版です。 数cmから数mmの精度で計測できます。 （ただし同じ場所で１時間以上計測する必要があります） 国土交通省国土地理院ＨＰより

Slide 44

Slide 44 text

基準点測量結果 44/79 今回は鳥栖スタジアム周辺に8点の新設点を作成しました。 設置した基準点間で基準点網を作成し、基準点計算を行いました。

Slide 45

Slide 45 text

基準点の誤差？ 45/79 基準点の誤差は説明するのが難しいですが、かなり大雑把に説明すると 網を組んだ時の閉合誤差を最終的な精度の目安としています。 この差 実際には網平均計算等をするので、 ズレっぱなしというわけではないです…

Slide 46

Slide 46 text

標定点の設置 46/79 ドローンやレーザスキャナで計測するにあたって、基準点を使用して地上に 標識を設置し、その座標を記録しておきます。 最後の計算で標識座標を利用して誤差を収束させます。 あとでこの標識を使ってデータを整合します

Slide 47

Slide 47 text

基準点を使用して標定点を計測 47/79 トータルステーションもレーザを利用した機器ですが、レーザスキャナと違い、 人が覗き込んで目標を視準し、角度と距離を計測して座標を計算します。 この絵も遠くにある五重塔のてっぺんを 視準して角度を計算しています。 ただし、この時代は距離を測れるレーザ が無かったので人の歩幅で距離を出して いたようです。

Slide 48

Slide 48 text

鳥栖スタジアム計測工程 48/79 1.地理空間の基準となる基準点を作成 2.UAVを使用した大縮尺の空中写真測量 3.地上レーザを利用した小縮尺の測量 4.設置標識点を使用した位置合わせと整合

Slide 49

Slide 49 text

ドローンによる撮影 49/79 細かく計測する前に屋根の上など人が進入できない部分をドローンで撮影計測。 今回は３次元レーザ機器もドローンに積んで計測を行いました。（計600枚程度撮影）

Slide 50

Slide 50 text

ドローン計測の位置合わせ 50/79 SFM処理は写真に写りこんだ標識をもとに 位置合わせを行いました。 またUAVに搭載したレーザスキャナの点群 データは標識座標に加えて、UAV自体に搭 載したGNSS測量機（GPS）による補正を行 い、位置合わせを行いました。

Slide 51

Slide 51 text

51/79 空中写真撮影によるフォトグラメトリー処理

Slide 52

Slide 52 text

52/79 ドローン搭載のレーザスキャナによるデータ 上空から見た範囲で網羅した点群 となるが、点群密度が薄く、この ままではモデル作成に適さない

Slide 53

Slide 53 text

鳥栖スタジアム計測工程 53/79 1.地理空間の基準となる基準点を作成 2.UAVを使用した大縮尺の空中写真測量 3.地上レーザを利用した小縮尺の測量 4.設置標識点を使用した位置合わせと整合

Slide 54

Slide 54 text

地上レーザスキャナを利用した計測 54/79 地上レーザスキャナを使用して、レーザによる３次元形状の取得を行いました。 鳥栖スタジアム全体で計428回の据替と計測を行いました。

Slide 55

Slide 55 text

地上レーザスキャナのしくみ（Time Of Flight方式の場合） 55/79 ３Ｄレーザスキャナはレーザによる計測対象物とセンサーの間をレーザパルス が往復する時間を計測することで距離を計測し、同時にレーザビームを発射し た方向を記録することで、計測対象点の３次元座標を取得する測量機器です。

Slide 56

Slide 56 text

鳥栖スタジアム計測工程 56/79 1.地理空間の基準となる基準点を作成 2.UAVを使用した大縮尺の空中写真測量 3.地上レーザを利用した小縮尺の測量 4.設置標識点を使用した位置合わせと整合

Slide 57

Slide 57 text

地上レーザスキャナの整合 57/79 地上レーザースキャナで観測した点群結果はレーザスキャナの受光部を座標原 点として記録されます。記録された点群結果を標定点座標を基に動かして位置 を合わせます。 観測結果は１スキャン毎にまとめられます トータルステーション等で基準点上 から標定点を観測

Slide 58

Slide 58 text

地上レーザスキャナの整合 58/79

Slide 59

Slide 59 text

位置合わせと整合 59/79 設置しておいた標識を利用して各データを整合しました。

Slide 60

Slide 60 text

60/79 レーザスキャナのデータ

Slide 61

Slide 61 text

全体の誤差 61/79 今回の業務では基準点の誤差が最大7mm程度 全体のデータ取得精度はおおむね5cm以内に収まりました。 （目標は水平精度±12cm以内、高さ精度±25cm以内） 精度の高い3次元測量を行えると、後続のモデル作成で迷う部分が少なくな るので破綻のないモデル作成が可能です。

Slide 62

Slide 62 text

ソリッドモデルの作成 62/79 • 各種資料から図面立て、モデル作成 • テクスチャを手持ち写真、レーザスキャナの360°画像、ドローンによる撮影 データから補完しつつ作成

Slide 63

Slide 63 text

ソリッドモデルの完成 63/79

Slide 64

Slide 64 text

技術的まとめ 64/79 • 測量的知見から基準点を設置することで大規模な空間の精密なモデル化を破 綻なく行うことが可能でした。 • 利用されるシーンを見越して許容精度を設定したため、手戻りなくモデルを 作成することが可能でした。 • また、作成されたモデルがどの程度の正確さを保っているかを提示できるの で、モデルの汎用性が高まりました。

Slide 65

Slide 65 text

最終3Dデータに調整 65/79

Slide 66

Slide 66 text

３Dデータの加工 66/79 ソリッドモデルを元にニューカラーデータに調整 • ソリッドモデルを元にニューカラーの動画用モデルへ変更していきます。 • ３Dで確認することにより、塗り直し後の全体のイメージを把握することが でき、詳細なデザインの調整などもおこなえました。 • 周りの街並みに関しても空撮から起こした３Dデータを使用しています。

Slide 67

Slide 67 text

67/79

Slide 68

Slide 68 text

68/79

Slide 69

Slide 69 text

69/79

Slide 70

Slide 70 text

70/79

Slide 71

Slide 71 text

完成 71/79

Slide 72

Slide 72 text

72/xx

Slide 73

Slide 73 text

73/xx

Slide 74

Slide 74 text

74/xx

Slide 75

Slide 75 text

75/xx

Slide 76

Slide 76 text

76/xx

Slide 77

Slide 77 text

まとめ 77/79 • 各技術の特性を知り、利点、問題点を明確に把握し異なる 技術を融合することで問題を補うことができました。 • 異業種との協力により新たな技術や知見を得ることができ、 大幅な時間短縮とクオリティーの向上を実現することがで きました。

Slide 78

Slide 78 text

今後の展望 78/79 今回のデータ作成で得られた知見をもとに、大規模エリアの高精度 なデータ化実績を増やし、新たな技術の導入を模索し、さらなる効 率的な手法の確立を目指します。 また、この技術の発展や、さらなる有効活用方法の模索のため、こ のスタジアムデータを大学や研究機関等に無償で提供公開します。 ご興味のある方はCygamesの研究機関であるCygames Research までご連絡ください。

Slide 79

Slide 79 text

Cygamesは 「新しいこと」 「おもしろいこと」 が大好きです！！ 79/79