Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
Depth画像で物体検知やってみたー。/ Objects Detection with Depth Images
moonlight-aska
February 08, 2020
Technology
0
230
Depth画像で物体検知やってみたー。/ Objects Detection with Depth Images
2020年2月8日開催の「【奈良】GCPUG in Nara #5【CODE for NARA共催】~ はじめてみよう!! Docker/Kubernetes入門 ~」のLT資料です.
moonlight-aska
February 08, 2020
Tweet
Share
More Decks by moonlight-aska
See All by moonlight-aska
Kingo AI Navi LINEをもっと使い倒せ!!
aska
0
32
Kingyo AI Naviアプリ開発 / Kingyo AI Navi App
aska
0
210
AutoML Vision Edgeで金魚分類モデルを学習してみた / Kingyo Classification Model with AutoML Vision Edge
aska
0
230
AutoML Vision Edge + ML Kit for Firebase ⇒ Kingyo Classification
aska
1
350
Kingyo AI Navi
aska
0
300
ピープルカウンタ、その後。/ People Counter
aska
0
320
物体検出をPythonで動かしてみる! / Try using YOLOv3 in Python
aska
0
600
ML Kitでちょびっと金魚AI / Recognition of goldfish type using ML Kit
aska
0
210
機械学習のための音声信号処理(基礎編)/ Speech Signal Processing
aska
0
700
Other Decks in Technology
See All in Technology
220428event_karibe_part
caddi_eng
0
180
様々な現場のPower Platform ~小さなエンジニアの奮闘記~
hyodol2513
0
1.6k
一人から始めるプロダクトSRE / How to start SRE in a product team, all by yourself
vtryo
4
1.9k
Power BI Report Ops
hanaseleb
0
150
プロダクトグロースと技術のベースアップを両立させるRettyのアプリ開発スタイル / Achieve Product Growth and Tech Update
imaizume
1
250
Motto Go Forward スライドトップと Goを支える文化とコミュニティ してご利用ください 〜なぜ我々はコミュニティにコントリ ビュートするのか〜
luccafort
0
140
1年間のポストモーテム運用とそこから生まれたツール sre-advisor / SRE NEXT 2022
fujiwara3
5
2.3k
220428event_matsuda_part
caddi_eng
0
240
暗号資産ウォレット入門(MetaMaskの入門~NFTの購入~詐欺の注意事項など)
kayato
2
120
Building smarter apps with machine learning, from magic to reality
picardparis
4
3.1k
Microsoft 365の中でのPower BIの利用 / M365VM2022
ishiayaya
0
1.3k
AWS CLI入門_20220513
suzakiyoshito
0
3.1k
Featured
See All Featured
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
37
3.2k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
212
20k
Music & Morning Musume
bryan
35
4.1k
Mobile First: as difficult as doing things right
swwweet
212
7.5k
A Philosophy of Restraint
colly
192
14k
GraphQLの誤解/rethinking-graphql
sonatard
24
6.1k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
655
120k
Art Directing for the Web. Five minutes with CSS Template Areas
malarkey
196
9.4k
Infographics Made Easy
chrislema
233
17k
Building an army of robots
kneath
299
40k
Writing Fast Ruby
sferik
612
57k
Raft: Consensus for Rubyists
vanstee
126
5.4k
Transcript
Depth画像で物体検知やってみたー。 2020/2/8 CODE for YAMATOKORIYAMA Moonlight 明日香 GCPUG in Nara
#5 LT
自己紹介 Facebook moonlight.aska Twitter @moonlight_aska Blog みらいテックラボ http://mirai-tec.hatenablog.com ➢ 鶴田
彰 ➢ (昔の)得意分野 : パターン認識(音声, 画像, etc) ユーザ適応(レコメンド, etc) ➢ コミュニティ活動 : CODE for YAMATOKORIYAMA GCPUG NARA Organizer
おことわり GCPまったくでてきません!!
そもそもの始まり ◼ 2017年12月 ある大きな施設で来場者をカウントしたーい!!
そもそもの始まり アイデア出し(2018.1.14) 1. カメラ RGBカメラだと個人特定できるのでカメラ設置を嫌がれるかも. 2. 感圧マット 3. 赤外線センサ :
提案: 3Dセンサ(Depthカメラ)による人の出入りカウント 理由: ✓ 3Dセンサならプライバシーの問題を回避可能. ✓ 施設内での動線(人の流れ)解析へ拡張しやすそう.
これまでの取組み ◼2018年1月アイデア出し ◼2018年2-4月プロトタイプ開発 ◼2018年12月実証実験@Hug2祭り 課題①:複数人の同時通行 課題②:自動ドアの影響 ◼2019年8月-11月YOLOv3版開発 ◼2019年12月実証実験@Hug2祭り 課題①の例 課題②の例
実証実験の様子(2回目) 2019/12/1 Hug2祭り@奈良市ボランティアインフォメーションセンター 3Dカメラによる人数カウント
計測状況
来場者測定結果
Depthカメラとは? X Y ー 物体の色 + 物体までの距離(Z方向) 実空間上(XYZ)の位置/動きを感知すること!! 写真撮影 RGB画像
https://www.tdk.co.jp/techmag/knowledge/201102u/
システム構成 Intel RealSense D415/D435 Jetson Nano USB3.0 2019年版 2018年版 Intel
RealSense D415/D435 ASUS VivoMini UN62 USB3.0
処理の流れ 距 離 画 像 取 り 込 み グ
レ ー ス ケ ー ル 変 換 人 物 検 出 人 物 領 域 重 心 計 算 追 跡 中 人 物 と 照 合 人 物 情 報 更 新 人 数 カ ウ ン ト YOLOv3 2019年版 2018年版 画 像 取 り 込 み 背 景 差 分 二 値 化 ノ イ ズ 除 去 輪 郭 抽 出 人 物 領 域 重 心 計 算 追 跡 中 人 物 と 照 合 人 物 情 報 更 新 人 数 カ ウ ン ト
YOLOv3とは https://pjreddie.com/darknet/ YOLO Darknet Open Source Neural Networks in C
Real Time Object Detection
Pythonで動かすには YOLOv3はCによるライブラリ PythonでYOLOv3を動かす方法: 1. ctypes(*1)を使う ⇒ darknet/python/darknet.py 2. YOLOv3の学習済モデルを使う ⇒
keras-yolo3 *1:このライブラリはCと互換性のあるデータ型を提供し, 動的リンク/共有 ライブラリ内の関数呼び出しを可能にする.
JetsonNanoで動かすには 課題はすぐにやってきたー. ★3-4 FPSとフレーム毎の処理がまったく間に合わない!! 15FPS程度まで改善 対策①:画像を640x480→320x240にリサイズして渡す 対策②:YOLOv3のモデルの入力サイズを 416x416→224x224に 原因:OpenCVの画像データからYOLOv3に渡す画像デー タに変換する処理.
検出精度をあげるには [当初] [改良後] 手や荷物で変形パターンが多い
トラッキングとカウント 追跡中 人物 ID=10 ID=12 ID=13 処理中 フレーム LEFT・RIGHTエリア ×
× 〇 〇 判定エリア
新たな課題も ◼ 単独通過だが人物検出に失敗 ◼ 子供の検出に失敗 ◼ 通過判定線付近に人物が停滞すると連続カウントup 全国金魚すくい選手権で 来場者のカウントをやってみるか!?
Thank You!