いくつかの3Dスキャンアプリの比較・検証

copyright©2023 DataLabs, Inc. all rights reserved. 1
中野嵩士
DataLabs, Inc.
2023/05/27
いくつかの3Dスキャンアプリ
の比較・検証

View Slide

目次
● 自己紹介
● 会社紹介
● いろんな3Dスキャンアプリ
● 今回検証したアプリの紹介
○ Scaniverse
○ SiteScape
● 精度検証
○ 概要
○ 結果
● その他の3Dスキャンアプリの例
○ PIX4D、Luma AI
● まとめ

View Slide

自己紹介
● DataLabs（現在）
○ 研究開発部チームリーダー
○ Linkedin : https://jp.linkedin.com/in/takashiznakano/
● 過去
○ 京都大学にて、物理の博士取得
○ 構造計画研究所
■ 流体/粉体解析ソフトウェアを用いた受託解析、導入支援、技術サポート、デジタルマーケティング
○ Arithmer
■ 3D関連技術の技術開発とチームマネジメント
■ 流体力学へのMachine / Deep Learningの応用
○ AMI
■ 医療AIの技術開発とチームマネジメント

View Slide

DataLabsの紹介
● DataLabs: 建設・土木業界向けに3Dデータ処理を行うSaaSを提供する
スタートアップ
○ 創業は2020年
○ 社員は20人弱くらい
○ 資金調達済
● エンジニアは半分以上が外国人（日本語はできない）
○ 開発チームのコミュニケーション・ドキュメントは完全英語化済
● 点群から3Dモデルを生成する手法について、東大と共同研究中
会社概要
● iPadのLiDARなどで撮影した点群から鉄筋の
3Dモデルを生成する
● 円柱のパラメトリックモデルなので、鉄筋間
の距離計算が容易にできる
● その情報を使い、配筋検査用の帳票を自動で
出力する
● 維持管理用に、3DCADファイルも出力できる
Before After
当社の3Dサービス:

View Slide

Modelyの紹介
Modely
https://modely.app/landing/index.html
● 取得した点群から3Dモデルを生成し、鉄筋間の距離などを算出

View Slide

3Dスキャンの手法
「フォトグラメトリ」「LiDAR」「NeRF」
複数の2D画像から3Dデータを作るレーザーを飛ばして、3Dデータを作る場所と視点から色と密度を出力するニューラ
ルネットワークから3Dデータを作る

View Slide

iPad / iPhoneのLiDAR
● ARKitなどからdepthデータなどを取得できる。
○ 詳細は、前回の「3Dなんでも勉強会」のmiyanegiさんの発表がとてもわかりやすい。
○ https://speakerdeck.com/miyanegi/ipadnolidarwotukatutemita
走査方法：フラッシュ方式
新型iPad ProのLiDAR部を分析ソニーの新型Aセンサーを活用
https://xtech.nikkei.com/atcl/nxt/column/18/01267/00043/
An Overview of Lidar Imaging Systems for Autonomous Vehicles
https://www.mdpi.com/2076-3417/9/19/4093
(特集) 車載LiDARの技術動向～種類・方式の特徴と全体像～
https://atx-research.co.jp/2021/02/27/lidar-
technology/#iPhone%E3%81%A7%E3%82%82%E6%8E%A1%E7%94%A8%E3%81%95%E3%82%8C%E3%81%9F%E3
%80%8C3D%E3%83%95%E3%83%A9%E3%83%83%E3%82%B7%E3%83%A5LiDAR%E3%80%8D
パルス信号が往復に要する時間を直接測定し、距離を推定
デジタル撮像のように2次元アレイ状のレーザーを
拡散照射することによって3Dイメージを撮像
計測方法：dToF
https://www.apple.com/jp/ipad-pro/specs/

View Slide

iPad / iPhoneのLiDAR
<=5m
…
…
…
…
…
照射距離自己位置推定照射密度
Advanced Scene Understanding in AR
https://developer.apple.com/videos/play/tech-talks/609/
新iPad Proの「LiDAR」を分析、SPADセンサーとDOEで実現
https://xtech.nikkei.com/atcl/nxt/mag/ne/18/00007/00117/
ARKitではVIO(visual-inertial odometry)を利用。
（iOSデバイスのモーションセンサー情報
＋カメラ画像の組み合わせ）
ドットの数は多くは無い。
「11インチiPad Pro」のLiDARスキャナーを分解
https://eetimes.itmedia.co.jp/ee/articles/2006/09/news059_3.html
12.9インチ iPad Pro 2020の分解: LiDARスキャナーは実際に
どのように見えるのでしょうか？
https://www.youtube.com/watch?v=xz6CExnGw9w&t=1s
Understanding World Tracking
https://developer.apple.com/documentation/arkit/configur
ation_objects/understanding_world_tracking

View Slide

いろんな3Dスキャンアプリ
「フォトグラメトリ」「LiDAR」「NeRF」
Scaniverse
SiteScape
PIX4Dcatch
Luma AI
Polycam
「フォトグラメトリ」
+
「LiDAR」
Metascan
WIDAR
RealityScan
3D Scanner App
3Dアプリの比較は、以下のページに詳しい比較があり、
わかりやすい。
https://note.com/iwamah1/n/n1419056b7445
Trnio Plus

View Slide

● 「Scaniverse」
○ https://scaniverse.com/
○ スキャン手法
■ LiDAR, フォトグラメトリ
○ 利用可能なデバイス（2023/5時点)
■ LiDARあり：2020/2021 iPad Pro,iPhone 12/13 Pro, iPhone 12/13 Pro Max
■ Scaniverse自体は、LiDARが付属していないiOSもサポート
● 「SiteScape」
○ https://www.sitescape.ai/
○ スキャン手法
■ LiDAR
○ 利用可能なデバイス（2023/5時点）
■ 2020/2021 iPad Pro, iPhone 12/13 Pro, iPhone 12/13 Pro Max
今回検証したアプリの紹介

View Slide

精度検証
● 計測条件
○ 計測デバイス
○ 撮影条件
○ 鉄筋模型
○ 測定箇所
● システムによる距離算出方法
● 実験結果
○ 計測データの分布(統計処理)
○ 鉄筋径や計測条件による違い

View Slide

「Scaniverse」
計測条件計測デバイス（点群取得の方法）
「SiteScape」
（※今回の検証では、フォトグラメトリを利用）
デバイス「iPad Pro」
詳しい使い方などは、以下の記事がわかりやすい。
【非公式】Scaniverseの使い方全てまとめました【iPhone 3Dスキャン】
https://note.com/iwamah1/n/nc8a5427157ef

View Slide

計測条件撮影条件
1
屋内×なし
2
屋内×白壁
3
屋内×木板
4
屋外×なし
5
屋外×木板
天候
照明
屋内＆照明あり ● ● ●
屋外(ビル屋上)＆昼間 ● ●
背景
なし ● ●
テクスチャなしの壁 (
オフィス内の白い壁)
●
テクスチャありの壁
(木目パターン)
● ●
鉄筋模型を使用して、下表の5パターンで撮影した。

View Slide

D32
大きさ縦 1400（鉄筋部分）
(ｍｍ) +300（土台）
横 800
奥行き 400
重量約55kg
径 3種類 (D13/22/32)
本数 D13(12.7mm) × 6本
(内3本は継ぎ手あり)
D22(22.2mm) × 5本
D32(31.8mm) × 1本
D22_0
D22_1
D22_2
D22_3
D22_4
D13_0
D13_1
D13_2
D13_3_0
D13_4_0
D13_5_0
D13_3_1
D13_4_1
D13_5_1
計測条件鉄筋模型
参考：鉄筋の直径の規格について
http://kentiku-kouzou.jp/struc-tekkinsize.html

View Slide

参考：国交省作成のデジタルデータを活用した鉄筋出来形計測の試行要領(案) https://www.mlit.go.jp/tec/content/001413510.pdf
計測条件測定箇所
y0 y1
y2 y3
r0 r1 r2 r3 r4 r5
r6 r7 r8 r9 r10 r11
r12 r13 r14 r15 r16 r17
r18
r19
r20
r21
r22
r23
r24
r25
r26
r27
r28
r29
r30
r31
r32
r33
r34
r35
測定箇所個々の間隔(約130mm)
5-6間隔(約750mmなど)の2つの距離
寸法を計測する箇所 100程度
計測箇所 26(=●24+●2)箇所
●鉄筋間の平均間隔縦12＋横12＝24箇所
縦:6本間隔x6、5本間隔x6
横:5本間隔x6、4本間隔x6
●鉄筋間の個々の間隔 2箇所
計測データの数 5パターンx26箇所=130

View Slide

実測での距離の値と、点群または生成した３次元モデルでの距離の値を比較した。
システムによる距離算出方法
実測での距離の値
鉄筋間距離
ソフトウェアによる
距離計測の例
(青い点はソフトウェア
上でクリックした点）
Step1
ソフトウェアで取得した点群から
３次元モデル（メッシュデータ）
を作成
Step2
ソフトウェア上で点群または3次元
モデルの測定箇所の長さを計測
Step3
実測値と上記の計測値を比較

View Slide

実験結果点群の比較
ScaniverseとSiteScapeのデータを用いた結果
1
屋内×なし
2
屋内×白壁
3
屋内×木板
4
屋外×なし
5
屋外×木板
Scaniverse
SiteScape

View Slide

実験結果点群の比較
● Scaniverse
○ 屋内・屋外、背景の種類
■ 鉄筋の点群の質は、環境にあまり依存しない。
■ 壁の点群の質については、木板の方が、白い壁より精度が良い。
● 白い壁は、点群の欠陥が多くなる。
○ 鉄筋径
■ 細い鉄筋径（D13）も取得可能。
○ 処理時間：数10秒~数分程度
● SiteScape
○ 屋内・屋外、背景の種類
■ 屋内の方が屋外より取得しやすい。
■ 点群の取得精度の良い順は、木板、白い壁、背景なし
○ 鉄筋径
■ D22,D32は、比較的点群が取得しやすいが、細い鉄筋径（D13）は、大きい径より特に背景なしの場合ノイズが多い
■ 1cmくらいの物体は、LiDARのレーザーの照射密度的に点群を撮るのがやはり厳しい。
○ 処理時間：数10秒~数分程度
Scaniverse SiteScape
細い鉄筋の点群も
取得できている。
細い鉄筋の点群はあまり
取得できていない。

View Slide

実験結果 3次元モデルの生成
ScaniverseとSiteScapeのデータを用いた結果
1
屋内×なし
2
屋内×白壁
3
屋内×木板
4
屋外×なし
5
屋外×木板
Scaniverse
SiteScape

View Slide

実験結果計測データの分布(統計処理)
計測誤差 [%]
= (ソフトウェアによる計測値 - 実測値)/鉄筋径
計測した鉄筋径
●鉄筋間の平均間隔 D13
●鉄筋間の個々の間隔 D22

View Slide

● 点群と実測値の誤差を計測した結果
○ Scaniverseの方がSiteScapeより精度が良い
○ Scaniverseは、計測誤差が土30%以内
𝜙 鉄筋径
mean 平均
std 標準偏差
pdf_normal 確率分布関数（正規分布）

View Slide

● 生成した3次元モデルと実測値の誤差を計測した結果
○ Scaniverseの方がSiteScapeより精度が良い
○ Scaniverseは、計測誤差が土30%以内
𝜙 鉄筋径
mean 平均
std 標準偏差
pdf_normal 確率分布関数（正規分布）

View Slide

実験結果鉄筋径や計測条件による違い
● 鉄筋径の比較（P.25）
○ Scaniverseの方が、SiteScapeより精度が良い。
○ 鉄筋径による差は、大きくない。
● 計測条件の比較（P.26-28）
○ 計測条件による差は、大きくない。

View Slide

● 鉄筋径の比較（点群）
max_abs_error：最大誤差（絶対値）/ std：標準偏差

View Slide

● 計測条件の比較（点群）
屋内屋外
背景なし白壁木板

View Slide

● 鉄筋径の比較（3次元モデル）

View Slide

● 計測条件の比較（3次元モデル）
屋内
屋外
背景なし
白壁木板

View Slide

補足：そのほかの3Dスキャンアプリの例（PIX4Dcatch / Luma AI）
● 他の3Dスキャンアプリも定性的な比較
● PIX4Dcatch：https://www.pix4d.com/jp/product/pix4dcatch/
○ スキャン手法：LiDARとフォトグラメトリを両方利用。
■ https://support.pix4d.com/hc/ja/articles/360043331092-Pix4Dcatch-
%E3%82%88%E3%81%8F%E3%81%82%E3%82%8B%E3%81%94%E8%B3%AA%E5%95%8F#benefits
● Luma AI：https://lumalabs.ai/
○ スキャン手法：NeRF

View Slide

補足：そのほかの3Dスキャンアプリの例（PIX4Dcatch / Luma AI）
● 他の3Dスキャンアプリも定性的な比較
● PIX4Dcatchを用いた結果
■ 定性的には、綺麗にスキャンができている。
■ スケールも問題ない。
■ 点群生成までの処理時間は、約30分。
● Luma AIを用いた結果
■ 定性的には、綺麗にスキャンができていそう。とくに物体の境界などは結構綺麗。
■ ただし、スケールはあっていない。（実スケールで使うには、スケールの補正が必要。）
■ 点群生成までの処理時間は、約30分。
PIX4Dcatch Luma AI

View Slide

まとめ
● 3Dスキャンアプリ(Scaniverse vs SiteScape)の比較を行いました。
● 鉄筋模型の点群と生成した3次元モデルにおける鉄筋間距離の精度検証を行いました。
● 精度検証結果
○ 今回の対象に対しては、Scaniverseの方が、SiteScapeより精度がよかった。
○ Scaniverseについては、計測誤差30%の結果が得られました。
○ 今回の検証において、鉄筋径や計測条件による違いなどの条件による差は、大きくなかった。
● そのほかの3Dアプリも新しい機能が積極的に追加されたりしているので、色々試して行きたい。

View Slide

DataLabsからのメッセージ
● プロダクトが育ったら、さらにエンジニアを採用する予定です。
○ フロントエンドエンジニア
○ バックエンドエンジニア
○ リサーチエンジニア
● もし弊社に興味をお持ちいただけたら、ぜひ連絡していただきたいです
○ LinkedIn: https://jp.linkedin.com/in/takashiznakano/
○ HP (DataLabs) : https://www.datalabs.jp/
○ LinkedIn (DataLabs) : https://www.linkedin.com/company/datalabs-jp/
○ Twitter (DataLabs) : https://twitter.com/DataLabs_PR
● 直近(2023/5時点)ではフルタイムのポジションは募集していませんが、将来の加入の可能性を見据えて副業として参画するのもOKです
○ 今回の発表者の佐藤・中野含め、副業→正社員の実績あり
● 労働環境
○ フルリモート
○ コミュニケーション（テキスト・オーラル両方）は英語
We are will be hiring !!
(2023/5時点)

View Slide

いくつかの3Dスキャンアプリの比較・検証

いくつかの3Dスキャンアプリの比較・検証

DataLabs inc.

More Decks by DataLabs inc.

Other Decks in Research

Featured

Transcript