いくつかの3Dスキャンアプリの比較・検証

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

copyright©2023 DataLabs, Inc. all rights reserved. 3 自己紹介 ● DataLabs（現在） ○ 研究開発部チームリーダー ○ Linkedin : https://jp.linkedin.com/in/takashiznakano/ ● 過去 ○ 京都大学にて、物理の博士取得 ○ 構造計画研究所 ■ 流体/粉体解析ソフトウェアを用いた受託解析、導入支援、技術サポート、デジタルマーケティング ○ Arithmer ■ 3D関連技術の技術開発とチームマネジメント ■ 流体力学へのMachine / Deep Learningの応用 ○ AMI ■ 医療AIの技術開発とチームマネジメント

Slide 4

Slide 4 text

copyright©2023 DataLabs, Inc. all rights reserved. 4 DataLabsの紹介 ● DataLabs: 建設・土木業界向けに3Dデータ処理を行うSaaSを提供するスタートアップ ○ 創業は2020年 ○ 社員は20人弱くらい ○ 資金調達済 ● エンジニアは半分以上が外国人（日本語はできない） ○ 開発チームのコミュニケーション・ドキュメントは完全英語化済 ● 点群から3Dモデルを生成する手法について、東大と共同研究中会社概要 ● iPadのLiDARなどで撮影した点群から鉄筋の 3Dモデルを生成する ● 円柱のパラメトリックモデルなので、鉄筋間の距離計算が容易にできる ● その情報を使い、配筋検査用の帳票を自動で出力する ● 維持管理用に、3DCADファイルも出力できる Before After 当社の3Dサービス:

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

copyright©2023 DataLabs, Inc. all rights reserved. 7 iPad / iPhoneのLiDAR ● ARKitなどからdepthデータなどを取得できる。 ○ 詳細は、前回の「3Dなんでも勉強会」のmiyanegiさんの発表がとてもわかりやすい。 ○ https://speakerdeck.com/miyanegi/ipadnolidarwotukatutemita 走査方法：フラッシュ方式新型iPad ProのLiDAR部を分析ソニーの新型Aセンサーを活用 https://xtech.nikkei.com/atcl/nxt/column/18/01267/00043/ An Overview of Lidar Imaging Systems for Autonomous Vehicles https://www.mdpi.com/2076-3417/9/19/4093 (特集) 車載LiDARの技術動向～種類・方式の特徴と全体像～ https://atx-research.co.jp/2021/02/27/lidar- technology/#iPhone%E3%81%A7%E3%82%82%E6%8E%A1%E7%94%A8%E3%81%95%E3%82%8C%E3%81%9F%E3 %80%8C3D%E3%83%95%E3%83%A9%E3%83%83%E3%82%B7%E3%83%A5LiDAR%E3%80%8D パルス信号が往復に要する時間を直接測定し、距離を推定デジタル撮像のように2次元アレイ状のレーザーを拡散照射することによって3Dイメージを撮像計測方法：dToF https://www.apple.com/jp/ipad-pro/specs/

Slide 8

Slide 8 text

copyright©2023 DataLabs, Inc. all rights reserved. 8 iPad / iPhoneのLiDAR <=5m … … … … … 照射距離自己位置推定照射密度 Advanced Scene Understanding in AR https://developer.apple.com/videos/play/tech-talks/609/ 新iPad Proの「LiDAR」を分析、SPADセンサーとDOEで実現 https://xtech.nikkei.com/atcl/nxt/mag/ne/18/00007/00117/ ARKitではVIO(visual-inertial odometry)を利用。（iOSデバイスのモーションセンサー情報＋カメラ画像の組み合わせ）ドットの数は多くは無い。「11インチiPad Pro」のLiDARスキャナーを分解 https://eetimes.itmedia.co.jp/ee/articles/2006/09/news059_3.html 12.9インチ iPad Pro 2020の分解: LiDARスキャナーは実際にどのように見えるのでしょうか？ https://www.youtube.com/watch?v=xz6CExnGw9w&t=1s Understanding World Tracking https://developer.apple.com/documentation/arkit/configur ation_objects/understanding_world_tracking

Slide 9

Slide 9 text

copyright©2023 DataLabs, Inc. all rights reserved. 9 いろんな3Dスキャンアプリ「フォトグラメトリ」「LiDAR」「NeRF」 Scaniverse SiteScape PIX4Dcatch Luma AI Polycam 「フォトグラメトリ」 + 「LiDAR」 Metascan WIDAR RealityScan 3D Scanner App 3Dアプリの比較は、以下のページに詳しい比較があり、わかりやすい。 https://note.com/iwamah1/n/n1419056b7445 Trnio Plus

Slide 10

Slide 10 text

copyright©2023 DataLabs, Inc. all rights reserved. 10 ● 「Scaniverse」 ○ https://scaniverse.com/ ○ スキャン手法 ■ LiDAR, フォトグラメトリ ○ 利用可能なデバイス（2023/5時点) ■ LiDARあり：2020/2021 iPad Pro,iPhone 12/13 Pro, iPhone 12/13 Pro Max ■ Scaniverse自体は、LiDARが付属していないiOSもサポート ● 「SiteScape」 ○ https://www.sitescape.ai/ ○ スキャン手法 ■ LiDAR ○ 利用可能なデバイス（2023/5時点） ■ 2020/2021 iPad Pro, iPhone 12/13 Pro, iPhone 12/13 Pro Max 今回検証したアプリの紹介

Slide 11

Slide 11 text

Slide 12

Slide 12 text

copyright©2023 DataLabs, Inc. all rights reserved. 12 「Scaniverse」計測条件計測デバイス（点群取得の方法）「SiteScape」（※今回の検証では、フォトグラメトリを利用）デバイス「iPad Pro」詳しい使い方などは、以下の記事がわかりやすい。【非公式】Scaniverseの使い方全てまとめました【iPhone 3Dスキャン】 https://note.com/iwamah1/n/nc8a5427157ef

Slide 13

Slide 13 text

copyright©2023 DataLabs, Inc. all rights reserved. 13 計測条件撮影条件 1 屋内×なし 2 屋内×白壁 3 屋内×木板 4 屋外×なし 5 屋外×木板天候照明屋内＆照明あり ● ● ● 屋外(ビル屋上)＆昼間 ● ● 背景なし ● ● テクスチャなしの壁 ( オフィス内の白い壁) ● テクスチャありの壁 (木目パターン) ● ● 鉄筋模型を使用して、下表の5パターンで撮影した。

Slide 14

Slide 14 text

copyright©2023 DataLabs, Inc. all rights reserved. 14 D32 大きさ縦 1400（鉄筋部分） (ｍｍ) +300（土台）横 800 奥行き 400 重量約55kg 径 3種類 (D13/22/32) 本数 D13(12.7mm) × 6本 (内3本は継ぎ手あり) D22(22.2mm) × 5本 D32(31.8mm) × 1本 D22_0 D22_1 D22_2 D22_3 D22_4 D13_0 D13_1 D13_2 D13_3_0 D13_4_0 D13_5_0 D13_3_1 D13_4_1 D13_5_1 計測条件鉄筋模型参考：鉄筋の直径の規格について http://kentiku-kouzou.jp/struc-tekkinsize.html

Slide 15

Slide 15 text

copyright©2023 DataLabs, Inc. all rights reserved. 15 参考：国交省作成のデジタルデータを活用した鉄筋出来形計測の試行要領(案) https://www.mlit.go.jp/tec/content/001413510.pdf 計測条件測定箇所 y0 y1 y2 y3 r0 r1 r2 r3 r4 r5 r6 r7 r8 r9 r10 r11 r12 r13 r14 r15 r16 r17 r18 r19 r20 r21 r22 r23 r24 r25 r26 r27 r28 r29 r30 r31 r32 r33 r34 r35 測定箇所個々の間隔(約130mm) 5-6間隔(約750mmなど)の2つの距離寸法を計測する箇所 100程度計測箇所 26(=●24+●2)箇所 ●鉄筋間の平均間隔縦12＋横12＝24箇所縦:6本間隔x6、5本間隔x6 横:5本間隔x6、4本間隔x6 ●鉄筋間の個々の間隔 2箇所計測データの数 5パターンx26箇所=130

Slide 16

Slide 16 text

copyright©2023 DataLabs, Inc. all rights reserved. 16 実測での距離の値と、点群または生成した３次元モデルでの距離の値を比較した。システムによる距離算出方法実測での距離の値鉄筋間距離ソフトウェアによる距離計測の例 (青い点はソフトウェア上でクリックした点） Step1 ソフトウェアで取得した点群から３次元モデル（メッシュデータ）を作成 Step2 ソフトウェア上で点群または3次元モデルの測定箇所の長さを計測 Step3 実測値と上記の計測値を比較

Slide 17

Slide 17 text

Slide 18

Slide 18 text

copyright©2023 DataLabs, Inc. all rights reserved. 18 実験結果点群の比較 ● Scaniverse ○ 屋内・屋外、背景の種類 ■ 鉄筋の点群の質は、環境にあまり依存しない。 ■ 壁の点群の質については、木板の方が、白い壁より精度が良い。 ● 白い壁は、点群の欠陥が多くなる。 ○ 鉄筋径 ■ 細い鉄筋径（D13）も取得可能。 ○ 処理時間：数10秒~数分程度 ● SiteScape ○ 屋内・屋外、背景の種類 ■ 屋内の方が屋外より取得しやすい。 ■ 点群の取得精度の良い順は、木板、白い壁、背景なし ○ 鉄筋径 ■ D22,D32は、比較的点群が取得しやすいが、細い鉄筋径（D13）は、大きい径より特に背景なしの場合ノイズが多い ■ 1cmくらいの物体は、LiDARのレーザーの照射密度的に点群を撮るのがやはり厳しい。 ○ 処理時間：数10秒~数分程度 Scaniverse SiteScape 細い鉄筋の点群も取得できている。細い鉄筋の点群はあまり取得できていない。

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

copyright©2023 DataLabs, Inc. all rights reserved. 22 実験結果計測データの分布(統計処理) ● 生成した3次元モデルと実測値の誤差を計測した結果 ○ Scaniverseの方がSiteScapeより精度が良い ○ Scaniverseは、計測誤差が土30%以内 𝜙 鉄筋径 mean 平均 std 標準偏差 pdf_normal 確率分布関数（正規分布）

Slide 23

Slide 23 text

copyright©2023 DataLabs, Inc. all rights reserved. 23 実験結果鉄筋径や計測条件による違い ● 鉄筋径の比較（P.25） ○ Scaniverseの方が、SiteScapeより精度が良い。 ○ 鉄筋径による差は、大きくない。 ● 計測条件の比較（P.26-28） ○ Scaniverseの方が、SiteScapeより精度が良い。 ○ 計測条件による差は、大きくない。

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

copyright©2023 DataLabs, Inc. all rights reserved. 28 補足：そのほかの3Dスキャンアプリの例（PIX4Dcatch / Luma AI） ● 他の3Dスキャンアプリも定性的な比較 ● PIX4Dcatch：https://www.pix4d.com/jp/product/pix4dcatch/ ○ スキャン手法：LiDARとフォトグラメトリを両方利用。 ■ https://support.pix4d.com/hc/ja/articles/360043331092-Pix4Dcatch- %E3%82%88%E3%81%8F%E3%81%82%E3%82%8B%E3%81%94%E8%B3%AA%E5%95%8F#benefits ● Luma AI：https://lumalabs.ai/ ○ スキャン手法：NeRF

Slide 29

Slide 29 text

copyright©2023 DataLabs, Inc. all rights reserved. 29 補足：そのほかの3Dスキャンアプリの例（PIX4Dcatch / Luma AI） ● 他の3Dスキャンアプリも定性的な比較 ● PIX4Dcatchを用いた結果 ■ 定性的には、綺麗にスキャンができている。 ■ スケールも問題ない。 ■ 点群生成までの処理時間は、約30分。 ● Luma AIを用いた結果 ■ 定性的には、綺麗にスキャンができていそう。とくに物体の境界などは結構綺麗。 ■ ただし、スケールはあっていない。（実スケールで使うには、スケールの補正が必要。） ■ 点群生成までの処理時間は、約30分。 PIX4Dcatch Luma AI

Slide 30

Slide 30 text

copyright©2023 DataLabs, Inc. all rights reserved. 30 まとめ ● 3Dスキャンアプリ(Scaniverse vs SiteScape)の比較を行いました。 ● 鉄筋模型の点群と生成した3次元モデルにおける鉄筋間距離の精度検証を行いました。 ● 精度検証結果 ○ 今回の対象に対しては、Scaniverseの方が、SiteScapeより精度がよかった。 ○ Scaniverseについては、計測誤差30%の結果が得られました。 ○ 今回の検証において、鉄筋径や計測条件による違いなどの条件による差は、大きくなかった。 ● そのほかの3Dアプリも新しい機能が積極的に追加されたりしているので、色々試して行きたい。

Slide 31

Slide 31 text

copyright©2023 DataLabs, Inc. all rights reserved. 31 DataLabsからのメッセージ ● プロダクトが育ったら、さらにエンジニアを採用する予定です。 ○ フロントエンドエンジニア ○ バックエンドエンジニア ○ リサーチエンジニア ● もし弊社に興味をお持ちいただけたら、ぜひ連絡していただきたいです ○ LinkedIn: https://jp.linkedin.com/in/takashiznakano/ ○ HP (DataLabs) : https://www.datalabs.jp/ ○ LinkedIn (DataLabs) : https://www.linkedin.com/company/datalabs-jp/ ○ Twitter (DataLabs) : https://twitter.com/DataLabs_PR ● 直近(2023/5時点)ではフルタイムのポジションは募集していませんが、将来の加入の可能性を見据えて副業として参画するのもOKです ○ 今回の発表者の佐藤・中野含め、副業→正社員の実績あり ● 労働環境 ○ フルリモート ○ コミュニケーション（テキスト・オーラル両方）は英語 We are will be hiring !! (2023/5時点)