Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ドローン点検・測量を機械学習を使って「圧倒的」に簡単にした!!ときに困って解決したお話
Search
Daisuke Matsumoto
May 30, 2018
Technology
1
1.6k
ドローン点検・測量を機械学習を使って「圧倒的」に簡単にした!!ときに困って解決したお話
ML Ops Study #2(
https://ml-ops.connpass.com/event/83919/
)
発表資料
Daisuke Matsumoto
May 30, 2018
Tweet
Share
More Decks by Daisuke Matsumoto
See All by Daisuke Matsumoto
[ジオ展2019] 3次元GISをもっと身近に!
daikon
1
170
Geoアクティビティコンテスト2018発表資料・Mapray
daikon
0
340
GoogleクラウドとApp Engineで実現したドローン業務利用・地図配信サービスの仕組み
daikon
0
110
Other Decks in Technology
See All in Technology
ことばをそろえる / Bridging the Terminology Gap
amaotone
5
1k
Binary Authorizationと友達になろう / Let's be friends with Binary Authorization
iselegant
2
130
日経電子版から始まった内製開発の現在地と向き合っている課題/inhouse
nishiuma
0
220
AWS IAM Identity Center議論会 〜 認証認可結合モデルと認証認可分離モデル / 20240827-jawsug-arch-iam_identity_center
opelab
3
320
EitherT_with_Future
aoiroaoino
0
170
Building Static Websites with Sculpin
opdavies
0
1.4k
リクルート新人研修2024 テキスト生成AI活用
recruitengineers
PRO
10
410
waitany と waitall を作った話
mrkn
0
110
チームが自己組織化してから敢えて専任スクラムマスターを置いてみたらめちゃめちゃワークした話 / How bringing in a Scrum Master to an already self-organized team totally worked out
hc0208
2
1.6k
エンジニア採用を起点に取り組む組織の改善活動と課題、中長期のタスク管理/ #HRmethod
nishiuma
4
3.3k
AWS版GitHub?Amazon CodeCatalystの全体像をまとめてみた
oshanqq
1
3.1k
Bidirectional Quadratic Voting Leveraging Issue-Based Matching
kentaro
2
170
Featured
See All Featured
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
88
15k
Ruby is Unlike a Banana
tanoku
96
10k
For a Future-Friendly Web
brad_frost
173
9.3k
How to Ace a Technical Interview
jacobian
275
23k
Navigating Team Friction
lara
183
13k
Unsuck your backbone
ammeep
667
57k
In The Pink: A Labor of Love
frogandcode
139
22k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
225
22k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
131
32k
No one is an island. Learnings from fostering a developers community.
thoeni
18
2.9k
Atom: Resistance is Futile
akmur
261
25k
KATA
mclloyd
27
13k
Transcript
2018/05/29 ドローン点検・測量を機械学習を使って 「圧倒的」に簡単にした!! ときに困って解決したお話 ソニーネットワークコミュニケーションズ(株) エアロセンス(株) 松本 大佑 真子 創志
Copyright 2018 Sony Network Communications Inc. ML Ops Study #2
Copyright 2018 Sony Network Communications Inc. 2018/05/29 2 自己紹介 松本
大佑 (Daisuke Matsumoto) ソフトウェアエンジニア @daikon_buu • 職歴等 • 産業用VR・3Dグラフィックス専門のベンチャー企業 • ~2007 リアルタイム3Dレンダリングエンジンの開発 etc. • 2007年 ソニー(株)入社 • 2007~2015 組み込み向けWebブラウザエンジン・Webフレームワーク・クラウドサービス開発 etc. • 2015年 エアロセンス(株)に創業メンバーとして参画 • 2015~ 測量・GISクラウドシステムの開発・責任者・企画
Copyright 2018 Sony Network Communications Inc. 2018/05/29 3 エアロセンス(株)について •
ドローンを使った産業用の解析サービス等を提供する会社
Copyright 2018 Sony Network Communications Inc. 2018/05/29 4 ビジネスモデル
自社製の自律型無人航空機によるセンシングとクラウドサービスを組み合 わせて、測量・点検等にソリューションを提供
Copyright 2018 Sony Network Communications Inc. 2018/05/29 5 これまでのドローンを利用した業務フロー •
これまでの業務フローの課題 – 画像や成果物の管理が大変 – 高性能なPCと専用ソフト、それを使える人が必要 – データの入力とデータ処理に手間と時間が掛かる ドローンで空撮 PCに読み込み、 専用ソフトで処理 成果物を利用/納品 3Dモデル
Copyright 2018 Sony Network Communications Inc. 2018/05/29 6 エアロボクラウドの特徴 1.
ウェブブラウザで全て完結 • 専用のソフトや高性能なマシンが不要 2. 高速なデータ処理 • クラウド上の高性能なマシンを利用して並列化 3. 機械学習による自動化 • 人手でやっていたデータ入力や点検業務を自動化
Copyright 2018 Sony Network Communications Inc. 2018/05/29 7 エアロボクラウドのビデオ -
ドローン測量のワークフロー: - https://youtu.be/fIzCT-jrUV4 - エアロボクラウド(バージョンが古いです): - https://youtu.be/YOQSiE6Xb8Y - エアロボクラウドのご紹介: - https://youtu.be/oawByfep7ig - エアロボ点検のご紹介(本発表に出てくる点検です) - https://www.youtube.com/watch?v=r1uT_XDP3Oo
Copyright 2018 Sony Network Communications Inc. 2018/05/29 8 システムアーキテクチャ Cloud
Datastore Cloud Storage Job Queue Cloud Pub/Sub Job Manager App Engine Web App App Engine Authentication Firebase OnDemand Manager App Engine Instance Group Sheet Inspection Compute Engine Multiple Instances Instance Group Photogrammetry Compute Engine Multiple Instances Kubernetes cluster GeoTile Processing Container Engine Kubernetes cluster Marker-Detection Container Engine Kubernetes cluster GPS log processing Container Engine Webブラウザで アクセス Webアプリケーションサーバー GPUインスタンス起動
Copyright 2018 Sony Network Communications Inc. 2018/05/29 9 自己紹介 •
真子 創志 (Soshi Manako) • 所属 • ソニー株式会社 • ソニーネットワークコミュニケーションズ株式会社 • エアロセンス株式会社 • 職歴 • 2008~2010 電子マネー関連組込ソフトウェア開発 • 2010~2016 ネットワークカメラ関連アプリ・画像処理開発 • 2016~ エアロセンスクラウドの画像処理・機械学習関連開発
Copyright 2018 Sony Network Communications Inc. 2018/05/29 10 目次 ドローン測量の話
• 背景 • GCPマーカーの必要性 • エアロセンスのソリューション • マーカー検出サーバー ドローン点検の話 • 背景 • シート点検サーバー
Copyright 2018 Sony Network Communications Inc. 2018/05/29 11 目次 ドローン測量の話
• 背景 • GCPマーカーの必要性 • エアロセンスのソリューション • マーカー検出サーバー ドローン点検の話 • 背景 • シート点検サーバー
Copyright 2018 Sony Network Communications Inc. 2018/05/29 12 背景:ドローン測量 土木工事の大まかな流れ
起工測量 設計・施工計画 施工 検査 • 建設現場では、ICT活用による生産性向上の取り組みが活発 • 国土交通省でも i-Construction として推進 • 施工前および施工後の測量 • 効率的かつ高精度なドローン測量が積極的に実施されている
Copyright 2018 Sony Network Communications Inc. 2018/05/29 13 GCPマーカー •
土木工事用に作成する3Dモデルは高い精度(誤差5cm以内)が求められ、 実現方式の一つとして基準点としてマーカーを数点現場に設置する • 一般的なドローンに搭載されたGPSセンサがあまり高精度でなく、3Dモデル補正が必要となるため • 以下の情報を用いると3Dモデルの精度を高めることができるが、 従来は煩わしい手作業が付随していた • マーカーの正確なGPS位置…各マーカーを測量機器で計測して回る • マーカーの空撮画像中の位置…PC上で各画像を開いて、マーカーを探し出し中心をクリック ドローンで現場を空撮するだけ!! とはいかなかった。。
Copyright 2018 Sony Network Communications Inc. 2018/05/29 14 GCPマーカー •
エアロセンスのSolution…独自開発したマーカーで全自動測量を実現 • 高精度なGPS測量機器を内蔵したマーカーを開発 • クラウド上で空撮画像中のマーカー位置を自動検出 マーカーログと空撮画像を クラウドにアップロードするだけ!!
Copyright 2018 Sony Network Communications Inc. 2018/05/29 15 マーカー検出 識別
候補抽出 空撮画像 画素数: 20MP
Copyright 2018 Sony Network Communications Inc. 2018/05/29 16 マーカー検出処理開発 課題:学習データ集め
• マーカーの量産に合わせてクラウドをリリースするスケジュール • 量産品がない中、マーカーを写した画像の学習データが欲しい • 市販の部品で擬似マーカー(下図)を複数個作ってテスト空撮 →学習したモデルで量産マーカーもうまく識別できた GPS受信モジュール (外装は3Dプリンタで作成) サッカー練習用 フラットマーカー ポリプロピレンシート
Copyright 2018 Sony Network Communications Inc. 2018/05/29 17 マーカー検出サーバーの処理 Photo
bucket Marker-Detection Topic Cloud Pub/Sub Job情報(JSON) { photoPath: “…”, markerResultPath: “…”, … } Job Manager App Engine Marker-detection result bucket Marker-Detection Kubernetes Engine Web App App Engine
Copyright 2018 Sony Network Communications Inc. 2018/05/29 18 CI/CD deploy
release master feature dev stg pro vX.Y.Z merge merge 比較的容易なサンプルで検出テストを実施
Copyright 2018 Sony Network Communications Inc. 2018/05/29 19 GKEへのデプロイ(マーカー検出) Kubernetes
cluster Docker container Docker container Base Docker Image WorkerApp Worker Docker Image $ git pull $ docker pull $ docker push $ kubectl apply 1 2 3 4 モデルファイルはgitレポジトリで管理
Copyright 2018 Sony Network Communications Inc. 2018/05/29 20 エラー時の復帰
ワークフロー上でどのようなエラーが発生しうるか? マーカーの検出漏れ・誤検出 1つにつき3~5個以上検出されていればOK(ある程度の検出漏れは許容) 誤検出があるとモデルがゆがむ可能性あり ユーザー自身で正しい結果とできるよう 検出結果を編集して再計算するUI・モードを用意
Copyright 2018 Sony Network Communications Inc. 2018/05/29 21 Microservices形式バックエンド •
様々なパターンの処理の流れに対応できる柔軟性を持つ • マーカー検出失敗の場合、 手動でマーカー割当を行う場合と同様のフローで処理できる • 新たな処理のためにワーカーを追加するのも比較的容易 パターン 稼働Worker 計算画面のGCPステータス 表示 GCP Type 現場基準点 GPS log Marker Detection Photogrammetry なし - FALSE FALSE TRUE GCPなし 汎用品(手動) - FALSE FALSE TRUE マニュアル設定済み AEROBO™ Marker あり TRUE TRUE TRUE 現場基準点設定済み なし TRUE TRUE TRUE エアロボマーカー設定済み AEROBO™ Marker (再計算) あり FALSE FALSE TRUE 現場基準点設定済み なし FALSE FALSE TRUE エアロボマーカー設定済み
Copyright 2018 Sony Network Communications Inc. 2018/05/29 22 ドローン測量まとめ •
機械学習を活用して、手で行っていた作業をアシストすることで 全自動測量を実現 • 検出精度100%を前提にした設計とするのは現実的でないため、 ・ユーザーが自身でエラーを判断できるようにする ・エラーからすぐに復帰できるようなパスを用意しておく ことが重要 • ある程度のシナリオを考慮した上でまずは作って運用、 支障が出てきたらその時考えて改善する • 2017年7月から運用開始、現在までのところ大きな問題は発生せず
Copyright 2018 Sony Network Communications Inc. 2018/05/29 23 目次 ドローン測量の話
• 背景 • GCPマーカーの必要性 • エアロセンスのソリューション • マーカー検出サーバー ドローン点検の話 • 背景 • シート点検サーバー
Copyright 2018 Sony Network Communications Inc. 2018/05/29 24 目次 ドローン測量の話
• 背景 • GCPマーカーの必要性 • エアロセンスのソリューション • マーカー検出サーバー ドローン点検の話 • 背景 • シート点検サーバー
Copyright 2018 Sony Network Communications Inc. 2018/05/29 25 シート点検 •
南相馬市の除染事業 • 除染した土などを仮置場に保管 • フレコンバッグに対象物を詰めて何段かに重ねる • 上部には通気性防水シートがかぶせてある • 紫外線や気候による経年劣化、動物による害獣被害でシートが損傷 →定期的に目視点検(高所作業で危険)が必要 →効率化・安全性のためドローン空撮を導入 3m
Copyright 2018 Sony Network Communications Inc. 2018/05/29 26 シート点検 空撮
1区画の撮影に10-20分程度、撮影枚数としては100-500枚
Copyright 2018 Sony Network Communications Inc. 2018/05/29 27 シート点検 作成したオルソ画像の例
Copyright 2018 Sony Network Communications Inc. 2018/05/29 28 シート点検 損傷箇所の検出
空撮画像 Photogrammetry DSM画像 オルソ画像 検出対象領域 抽出 マスク画像 識別 (CNN) 検出結果 CNNによる検出はsliding window形式でpredictionを行う処理
Copyright 2018 Sony Network Communications Inc. 2018/05/29 29 GPUインスタンスのオンデマンド起動 VM
Instance Base Image (incl. NVIDIA driver) Disk Metadata App bucket Model bucket Inspection Topic Cloud Pub/Sub V1.0 V1.1 V1.0 V1.1 Job情報(JSON) { orthoPath: “…”, inspectionResultPath: “…”, … } Worker App Job result create Job Manager App Engine On-demand Manager App Engine Result bucket 1 2 3 4 download upload terminate 5 Web App App Engine Orthomosaic bucket
Copyright 2018 Sony Network Communications Inc. 2018/05/29 30 ドローン点検まとめ •
GPUインスタンスを都度立ち上げてシート点検処理を行う仕組みを実装 • インスタンス作成・起動・終了・削除をGAE Std Envで実施 • NVIDIA Driverやライブラリ(TensorFlow, OpenCV, etc.)をインストール済のBase Imageは予め作成 • 2017年11月から運用開始、現在までのところ大きな問題はない • ML Engine検討 • 検討時、prediction回数に応じた従量課金要素あり • 巨大なオルソ画像に対してsliding window形式で大量のpredictionを行うと コスト的に不利かも…との判断で見送り →2017年12月あたり~処理時間のみに応じた課金体系になったとのことでいずれ試したい • 導入効果:作業時間を60%削減!
SONYはソニー株式会社の登録商標または商標です。 各ソニー製品の商品名・サービス名はソニー株式会社またはグループ各社の登録商標または商標です。その他の製品および会社名は、各社の商号、登録商標または商標です。