第8回 全日本コンピュータビジョン勉強会 / Japan CV

Transcript

1. AR/MRでの画像処理・点群処理活用 2021/10/09 第８回 全日本コンピュータビジョン勉強会 株式会社ホロラボ 中村 薫

2. 自己紹介 –中村 薫 Copyright© HoloLab Inc. All rights reserved ・株式会社ホロラボ

   代表取締役 CEO (2017 - ) ・XRコンソーシアム理事 (2020 - ) ・Microsoft Regional Director (2020 - 2022) ・Microsoft MVP for Windows Development(2016 - 2022) ・Microsoft MVP for Kinect for Windows (2014 - 2016) ・Microsoft MVP for Visual Studio ALM(2012 - 2014) 著作 ・HoloLens 2 入門 (2020 日経BP) ・Kinect for Windows SDKプログラミング V2センサー対応版 (2015 秀和システム) など 来歴 • 2001年よりWindowsアプリおよび組み込み系ソフトウェア開発会社に勤務。 • 2012年にMicrosoft社の開発した3Dセンサー「Kinect」の魅力に出会い独立。 センサー関連の開発から、執筆、登壇活動などを個人事業として取り組む。 • 2013年に技術コミュニティTMCNの立ち上げに参加。 • 2017年にホロラボを設立。

3. 株式会社ホロラボ 事業内容 HoloLensやWindows MRなどxR技術やセンサー技術に関する ・システム/アプリケーションの企画開発 ・調査研究 ・普及啓発活動 設立 2017/01/18 住所

   東京都品川区西五反田2-25-1 インテックス五反田ビル3F 資本金 96,940,000円 取締役 5名 従業員 40名 Web https://hololab.co.jp/ 会社概要 Copyright© HoloLab Inc. All rights reserved https://hololab.co.jp/recruit/

4. 主に使っているデバイス Copyright© HoloLab Inc. All rights reserved Depthセンサー Kinectなど MRデバイス

   HoloLensなど ARデバイス iPadなど

5. 主に使っているデバイス Copyright© HoloLab Inc. All rights reserved RGBカメラ + Depthセンサー

   RGBカメラ + Depthセンサー RGBカメラ + LiDAR

6. はじめてのOpenCV (画像処理) Copyright© HoloLab Inc. All rights reserved Kinect v1

   + OpenNI + OpenCV (2011/01/16)

7. はじめてのPCL (点群処理) Copyright© HoloLab Inc. All rights reserved Kinect v1

   + OpenNI + PCL (2012/11/01)

8. 会社業務紹介 Copyright© HoloLab Inc. All rights reserved

9. 業務ドメイン Copyright© HoloLab Inc. All rights reserved 建築・土木 23% インフラ

   11% 放送・通信 32% 製造 23% 2020/11期 アカデミー 2% その他 13(7%)

10. MR技術の業界導入の進捗とともに Copyright© HoloLab Inc. All rights reserved Envisioning PoC Pilot

    Deploy Rollout 学ぶ機会 概念実証 社内サービス との連携 実導入 PCのように 自由に使える状態

11. 最近の事例 Copyright© HoloLab Inc. All rights reserved 2021年3月株式会社NTTドコモ / 森ビル株式会社

    ヴィーナスフォート 2021年4月 大林組

12. 業務活用事例(画像処理の活用) Copyright© HoloLab Inc. All rights reserved https://prtimes.jp/main/html/rd/p/000000053.000023638.html

13. 試行事例紹介 Copyright© HoloLab Inc. All rights reserved

14. 試行事例 Copyright© HoloLab Inc. All rights reserved HoloLens 2 上で

    TinyYOLOv2 を使って物体検出を行ったデモ https://twitter.com/tarukosu/status/1432601549432246290?s=20

15. 試行事例 Copyright© HoloLab Inc. All rights reserved VRで点群を編集するアプリデモ

16. 試行事例 Copyright© HoloLab Inc. All rights reserved 空間メッシュを HoloLens 2から直接

    Azure Object Anchors で学習させて位置合わせするデモ https://twitter.com/ikorin24/status/1442398187403112450?s=20

17. 試行事例 Copyright© HoloLab Inc. All rights reserved HoloLens 2でBCPDを用いた空間位置合わせシステムデモ https://blog.hololab.co.jp/entry/2021/04/21/154111

18. 試行事例 Copyright© HoloLab Inc. All rights reserved HoloLens 2で顔認識デモ https://twitter.com/Kei32284776/status/1439472948541227008?s=20

19. 試行事例 Copyright© HoloLab Inc. All rights reserved https://twitter.com/tarukosu/status/1423818739867291650

20. 試行事例 Copyright© HoloLab Inc. All rights reserved UnaNancyOwen

21. 試行事例 Copyright© HoloLab Inc. All rights reserved 顔検出モデルのYuNet/libfacedetection OpenCV Face

    Detectorよりも速くてランドマー ク（目、鼻、口角）まで出てくる。（ランドマークの精 度はいまいちかも 入力サイズ160x120で推論と後処理を含めても 2ms（PC）くらい、超高速でサクサク動く。 Jetson Nanoで10ms（100fps）、Raspberry Piで20～30fpsで動いたりするらしい。 https://gist.github.com/UnaNancyOwen/39d1bf42c22870f651a0e9e87ffba033

22. https://hololab.co.jp/#contact https://hololab.co.jp/recruit/