iPhone/iPadのLiDARを つかってみた 3D何でも勉強会 #1 miyanegi 2022-08-28

自己紹介 2014年～2016年： 修士、SfM 2016年～2018年： リコー、MVS 2018年～2022年： PFN、SLAM 2022年～現在： Sportip、色々 2 建築現場用ロボット向けにAI技術を搭載した自律移動システムを開発 - 株式会社Preferred Networks https://www.preferred.jp/ja/news/pr20210304/

Sportip Confidential | Do not distribute 着地する足が重心位置より も大きく離れており、力を ロスしてしまっています。 身体の真下で着地する意識 を持ちましょう。 AI × 動作指導の 筑波大学発テックベンチャー 独自のAI技術 Motion analysis 多数の専門家 Experts 幅広い適用シーン Wide range of use case Training Rehabilitation Sports 運動生理学 コーチング学 外科・内科 スポーツ医学 各競技 バイオメカニクス

自社独自の姿勢推定モデル Sportip AI VICON VICON（モーションキャプチャー）を正とした際の 精度検証を実施 実際のサービスで使用されています

目次 •LiDARとは •iPhone/iPadのLiDAR •実験結果 •まとめ 5

LiDARとは 6

LiDARの意味 Light Detection And Ranging 光（Light）を飛ばして対象にあたって 返ってきたものを検出（Detection）すると 測距（Ranging）+αができる 7 LiDARとは

LiDARの具体例 8 左から https://www.ankerjapan.com/collections/robotcleaner/products/t2182 https://waymo.com/press/ https://www.apple.com/jp/newsroom/2020/03/apple-unveils-new-ipad-pro-with-lidar-scanner-and-trackpad-support-in-ipados/ LiDARとは

LiDARの種類 計測方法×走査方法 9 • dToF • iToF • メカニカル • フラッシュ • … LiDARとは

LiDARの種類：計測方法 ToF＝Time of Flight 10 新型iPad ProのLiDAR部を分析 ソニーの新型センサーを活用 | 日経クロステック（xTECH） https://xtech.nikkei.com/atcl/nxt/column/18/01267/00043/ 距離＝光速×時間÷2 LiDARとは

LiDARの種類：走査方法 メカニカル フラッシュ 11 Lidar for Autonomous Driving: The principles, challenges, and trends for automotive lidar and perception systems https://arxiv.org/abs/2004.08467 ⭕広範囲 ❌ブラー ⭕ブラーレス ❌近距離 LiDARとは

iPhone/iPadのLiDAR 12

LiDARの種類 dToF・フラッシュ方式 13 新型iPad ProのLiDAR部を分析 ソニーの新型センサーを活用 | 日経クロステック（xTECH） https://xtech.nikkei.com/atcl/nxt/column/18/01267/00043/ 図6 LiDARモジュールは発光素子（VCSEL）とイメージセンサーで構成 図8（b）照射パターン iPhone/iPadのLiDAR

LiDAR関連API 2種類のアクセス方法がある 1. AVFoundation ビデオや音などを操作するマルチメディアAPI 2. ARKit ARアプリ開発用API 14 iPhone/iPadのLiDAR

iPad Pro 11 2nd GenだとAVFoundationで LiDARが使えない 1/2 公式のサンプルには対応しているように 書いてあるが実際には動かない 15 Capturing Depth Using the LiDAR Camera https://developer.apple.com/documentation/avfoundation/additional_data_capture/capturing_depth_using_the_lidar_camera iPhone/iPadのLiDAR

iPad Pro 11 2nd GenだとAVFoundationで LiDARが使えない 2/2 実はWWDCでは違う内容の発言 → こっちが正しいらしい 16 LiDAR Depth Camera of AVFoundation does not work. (on iPad Pro 12.9-inch 4th generation) https://developer.apple.com/forums/thread/704127 iPhone/iPadのLiDAR

ARKitは使える ARKitの文脈ではLiDARのデータは Scene Depthと呼ばれる 17 Displaying a Point Cloud Using Scene Depth https://developer.apple.com/documentation/arkit/environmental_analysis/displaying_a_point_cloud_using_scene_depth iPhone/iPadのLiDAR

ARKitで取得できる主なデータ capturedImage： カラー画像、1920×1440px 8bit @60fps sceneDepth.depthMap： デプス画像、256×192px float @60fps sceneDepth.confidenceMap： 信頼度、256×192px 8bit @60fps 18 ARFrame https://developer.apple.com/documentation/arkit/arframe iPhone/iPadのLiDAR

他の有用な情報 smoothedSceneDepth： 複数フレームの平均をとったデプス camera.transform： 外パラ（SE3） camera.intrinsics： 内パラ（3×3透視投影行列） 19 iPhone/iPadのLiDAR

実験結果 1. 撮影距離 2. 照明変化 3. 鏡 4. ARKitの外パラ精度 20

撮影距離 1/2 距離を変えながらデブス画像を取得 21 実験結果 40cm

撮影距離 2/2 距離を変えながらデブス画像を取得 22 実験結果

照明変化 23 実験結果

鏡 鏡は検知できない 24 実験結果

ARKitの外パラ精度 1/2 ARKitの外パラを使って各フレームの点群を 世界座標系へ変換・集約 25 実験結果

ARKitの外パラ精度 2/2 2m弱四方の部屋をぐるりと撮影、 誤差はドア枠の太さ半分（1.5cm）ほど 26 実験結果

まとめ 27

まとめ •iPhone/iPadにはdToF・フラッシュ方式の LiDARが搭載されている •深度を手軽に60fpsで取得可能 •ARKitを使うと姿勢も取れる •ドキュメントは間違いがあるので 自分で確認すべし 28

人材募集中 3D以外にも幅広く募集しています CV、ML、フロントエンド、バックエンド、 インフラ、iOS、Flutter、… https://www.wantedly.com/companies/sportip 29

参考文献 • Lidar for Autonomous Driving: The principles, challenges, and trends for automotive lidar and perception systems https://arxiv.org/abs/2004.08467 • 新型iPad ProのLiDAR部を分析 ソニーの新型センサーを活用 | 日経クロ ステック（xTECH） https://xtech.nikkei.com/atcl/nxt/column/18/01267/00043/ • Displaying a Point Cloud Using Scene Depth https://developer.apple.com/documentation/arkit/environmental_analy sis/displaying_a_point_cloud_using_scene_depth 30