ドローン点検・測量を機械学習を使って「圧倒的」に簡単にした！！ときに困って解決したお話

ML Ops Study #2(https://ml-ops.connpass.com/event/83919/)

発表資料

Transcript

1. 2018/05/29 ドローン点検・測量を機械学習を使って 「圧倒的」に簡単にした！！ ときに困って解決したお話 ソニーネットワークコミュニケーションズ（株） エアロセンス（株） 松本 大佑 真子 創志 Copyright 2018 Sony Network Communications Inc. ML Ops Study #2
2. Copyright 2018 Sony Network Communications Inc. 2018/05/29 2 自己紹介 松本 大佑 (Daisuke Matsumoto) ソフトウェアエンジニア @daikon_buu • 職歴等 • 産業用VR・3Dグラフィックス専門のベンチャー企業 • ～2007 リアルタイム3Dレンダリングエンジンの開発 etc. • 2007年 ソニー（株）入社 • 2007～2015 組み込み向けWebブラウザエンジン・Webフレームワーク・クラウドサービス開発 etc. • 2015年 エアロセンス（株）に創業メンバーとして参画 • 2015～ 測量・GISクラウドシステムの開発・責任者・企画
3. Copyright 2018 Sony Network Communications Inc. 2018/05/29 3 エアロセンス（株）について • ドローンを使った産業用の解析サービス等を提供する会社
4. Copyright 2018 Sony Network Communications Inc. 2018/05/29 4 ビジネスモデル  自社製の自律型無人航空機によるセンシングとクラウドサービスを組み合 わせて、測量・点検等にソリューションを提供
5. Copyright 2018 Sony Network Communications Inc. 2018/05/29 5 これまでのドローンを利用した業務フロー • これまでの業務フローの課題 – 画像や成果物の管理が大変 – 高性能なPCと専用ソフト、それを使える人が必要 – データの入力とデータ処理に手間と時間が掛かる ドローンで空撮 PCに読み込み、 専用ソフトで処理 成果物を利用/納品 3Dモデル
6. Copyright 2018 Sony Network Communications Inc. 2018/05/29 6 エアロボクラウドの特徴 1. ウェブブラウザで全て完結 • 専用のソフトや高性能なマシンが不要 2. 高速なデータ処理 • クラウド上の高性能なマシンを利用して並列化 3. 機械学習による自動化 • 人手でやっていたデータ入力や点検業務を自動化
7. Copyright 2018 Sony Network Communications Inc. 2018/05/29 7 エアロボクラウドのビデオ - ドローン測量のワークフロー: - https://youtu.be/fIzCT-jrUV4 - エアロボクラウド（バージョンが古いです）: - https://youtu.be/YOQSiE6Xb8Y - エアロボクラウドのご紹介： - https://youtu.be/oawByfep7ig - エアロボ点検のご紹介（本発表に出てくる点検です） - https://www.youtube.com/watch?v=r1uT_XDP3Oo
8. Copyright 2018 Sony Network Communications Inc. 2018/05/29 8 システムアーキテクチャ Cloud Datastore Cloud Storage Job Queue Cloud Pub/Sub Job Manager App Engine Web App App Engine Authentication Firebase OnDemand Manager App Engine Instance Group Sheet Inspection Compute Engine Multiple Instances Instance Group Photogrammetry Compute Engine Multiple Instances Kubernetes cluster GeoTile Processing Container Engine Kubernetes cluster Marker-Detection Container Engine Kubernetes cluster GPS log processing Container Engine Webブラウザで アクセス Webアプリケーションサーバー GPUインスタンス起動
9. Copyright 2018 Sony Network Communications Inc. 2018/05/29 9 自己紹介 • 真子 創志 (Soshi Manako) • 所属 • ソニー株式会社 • ソニーネットワークコミュニケーションズ株式会社 • エアロセンス株式会社 • 職歴 • 2008～2010 電子マネー関連組込ソフトウェア開発 • 2010～2016 ネットワークカメラ関連アプリ・画像処理開発 • 2016～ エアロセンスクラウドの画像処理・機械学習関連開発
10. Copyright 2018 Sony Network Communications Inc. 2018/05/29 10 目次 ドローン測量の話 • 背景 • GCPマーカーの必要性 • エアロセンスのソリューション • マーカー検出サーバー ドローン点検の話 • 背景 • シート点検サーバー
11. Copyright 2018 Sony Network Communications Inc. 2018/05/29 11 目次 ドローン測量の話 • 背景 • GCPマーカーの必要性 • エアロセンスのソリューション • マーカー検出サーバー ドローン点検の話 • 背景 • シート点検サーバー
12. Copyright 2018 Sony Network Communications Inc. 2018/05/29 12 背景：ドローン測量 土木工事の大まかな流れ 起工測量 設計・施工計画 施工 検査 • 建設現場では、ICT活用による生産性向上の取り組みが活発 • 国土交通省でも i-Construction として推進 • 施工前および施工後の測量 • 効率的かつ高精度なドローン測量が積極的に実施されている
13. Copyright 2018 Sony Network Communications Inc. 2018/05/29 13 GCPマーカー • 土木工事用に作成する3Dモデルは高い精度(誤差5cm以内)が求められ、 実現方式の一つとして基準点としてマーカーを数点現場に設置する • 一般的なドローンに搭載されたGPSセンサがあまり高精度でなく、3Dモデル補正が必要となるため • 以下の情報を用いると3Dモデルの精度を高めることができるが、 従来は煩わしい手作業が付随していた • マーカーの正確なGPS位置…各マーカーを測量機器で計測して回る • マーカーの空撮画像中の位置…PC上で各画像を開いて、マーカーを探し出し中心をクリック ドローンで現場を空撮するだけ！！ とはいかなかった。。
14. Copyright 2018 Sony Network Communications Inc. 2018/05/29 14 GCPマーカー • エアロセンスのSolution…独自開発したマーカーで全自動測量を実現 • 高精度なGPS測量機器を内蔵したマーカーを開発 • クラウド上で空撮画像中のマーカー位置を自動検出 マーカーログと空撮画像を クラウドにアップロードするだけ！！
15. Copyright 2018 Sony Network Communications Inc. 2018/05/29 15 マーカー検出 識別 候補抽出 空撮画像 画素数: 20MP
16. Copyright 2018 Sony Network Communications Inc. 2018/05/29 16 マーカー検出処理開発 課題：学習データ集め • マーカーの量産に合わせてクラウドをリリースするスケジュール • 量産品がない中、マーカーを写した画像の学習データが欲しい • 市販の部品で擬似マーカー(下図)を複数個作ってテスト空撮 →学習したモデルで量産マーカーもうまく識別できた GPS受信モジュール (外装は3Dプリンタで作成) サッカー練習用 フラットマーカー ポリプロピレンシート
17. Copyright 2018 Sony Network Communications Inc. 2018/05/29 17 マーカー検出サーバーの処理 Photo bucket Marker-Detection Topic Cloud Pub/Sub Job情報(JSON) { photoPath: “…”, markerResultPath: “…”, … } Job Manager App Engine Marker-detection result bucket Marker-Detection Kubernetes Engine Web App App Engine
18. Copyright 2018 Sony Network Communications Inc. 2018/05/29 18 CI/CD deploy release master feature dev stg pro vX.Y.Z merge merge 比較的容易なサンプルで検出テストを実施
19. Copyright 2018 Sony Network Communications Inc. 2018/05/29 19 GKEへのデプロイ(マーカー検出) Kubernetes cluster Docker container Docker container Base Docker Image WorkerApp Worker Docker Image $ git pull $ docker pull $ docker push $ kubectl apply 1 2 3 4 モデルファイルはgitレポジトリで管理
20. Copyright 2018 Sony Network Communications Inc. 2018/05/29 20 エラー時の復帰  ワークフロー上でどのようなエラーが発生しうるか？  マーカーの検出漏れ・誤検出  1つにつき3～5個以上検出されていればOK(ある程度の検出漏れは許容)  誤検出があるとモデルがゆがむ可能性あり ユーザー自身で正しい結果とできるよう 検出結果を編集して再計算するUI・モードを用意
21. Copyright 2018 Sony Network Communications Inc. 2018/05/29 21 Microservices形式バックエンド • 様々なパターンの処理の流れに対応できる柔軟性を持つ • マーカー検出失敗の場合、 手動でマーカー割当を行う場合と同様のフローで処理できる • 新たな処理のためにワーカーを追加するのも比較的容易 パターン 稼働Worker 計算画面のGCPステータス 表示 GCP Type 現場基準点 GPS log Marker Detection Photogrammetry なし - FALSE FALSE TRUE GCPなし 汎用品(手動) - FALSE FALSE TRUE マニュアル設定済み AEROBO™ Marker あり TRUE TRUE TRUE 現場基準点設定済み なし TRUE TRUE TRUE エアロボマーカー設定済み AEROBO™ Marker (再計算) あり FALSE FALSE TRUE 現場基準点設定済み なし FALSE FALSE TRUE エアロボマーカー設定済み
22. Copyright 2018 Sony Network Communications Inc. 2018/05/29 22 ドローン測量まとめ • 機械学習を活用して、手で行っていた作業をアシストすることで 全自動測量を実現 • 検出精度100%を前提にした設計とするのは現実的でないため、 ・ユーザーが自身でエラーを判断できるようにする ・エラーからすぐに復帰できるようなパスを用意しておく ことが重要 • ある程度のシナリオを考慮した上でまずは作って運用、 支障が出てきたらその時考えて改善する • 2017年7月から運用開始、現在までのところ大きな問題は発生せず
23. Copyright 2018 Sony Network Communications Inc. 2018/05/29 23 目次 ドローン測量の話 • 背景 • GCPマーカーの必要性 • エアロセンスのソリューション • マーカー検出サーバー ドローン点検の話 • 背景 • シート点検サーバー
24. Copyright 2018 Sony Network Communications Inc. 2018/05/29 24 目次 ドローン測量の話 • 背景 • GCPマーカーの必要性 • エアロセンスのソリューション • マーカー検出サーバー ドローン点検の話 • 背景 • シート点検サーバー
25. Copyright 2018 Sony Network Communications Inc. 2018/05/29 25 シート点検 • 南相馬市の除染事業 • 除染した土などを仮置場に保管 • フレコンバッグに対象物を詰めて何段かに重ねる • 上部には通気性防水シートがかぶせてある • 紫外線や気候による経年劣化、動物による害獣被害でシートが損傷 →定期的に目視点検(高所作業で危険)が必要 →効率化・安全性のためドローン空撮を導入 3m
26. Copyright 2018 Sony Network Communications Inc. 2018/05/29 26 シート点検 空撮 1区画の撮影に10-20分程度、撮影枚数としては100-500枚
27. Copyright 2018 Sony Network Communications Inc. 2018/05/29 27 シート点検 作成したオルソ画像の例
28. Copyright 2018 Sony Network Communications Inc. 2018/05/29 28 シート点検 損傷箇所の検出 空撮画像 Photogrammetry DSM画像 オルソ画像 検出対象領域 抽出 マスク画像 識別 (CNN) 検出結果 CNNによる検出はsliding window形式でpredictionを行う処理
29. Copyright 2018 Sony Network Communications Inc. 2018/05/29 29 GPUインスタンスのオンデマンド起動 VM Instance Base Image (incl. NVIDIA driver) Disk Metadata App bucket Model bucket Inspection Topic Cloud Pub/Sub V1.0 V1.1 V1.0 V1.1 Job情報(JSON) { orthoPath: “…”, inspectionResultPath: “…”, … } Worker App Job result create Job Manager App Engine On-demand Manager App Engine Result bucket 1 2 3 4 download upload terminate 5 Web App App Engine Orthomosaic bucket
30. Copyright 2018 Sony Network Communications Inc. 2018/05/29 30 ドローン点検まとめ • GPUインスタンスを都度立ち上げてシート点検処理を行う仕組みを実装 • インスタンス作成・起動・終了・削除をGAE Std Envで実施 • NVIDIA Driverやライブラリ(TensorFlow, OpenCV, etc.)をインストール済のBase Imageは予め作成 • 2017年11月から運用開始、現在までのところ大きな問題はない • ML Engine検討 • 検討時、prediction回数に応じた従量課金要素あり • 巨大なオルソ画像に対してsliding window形式で大量のpredictionを行うと コスト的に不利かも…との判断で見送り →2017年12月あたり～処理時間のみに応じた課金体系になったとのことでいずれ試したい • 導入効果：作業時間を60%削減！
31. SONYはソニー株式会社の登録商標または商標です。 各ソニー製品の商品名・サービス名はソニー株式会社またはグループ各社の登録商標または商標です。その他の製品および会社名は、各社の商号、登録商標または商標です。