Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Depth画像で物体検知やってみたー。/ Objects Detection with Dep...
Search
moonlight-aska
February 08, 2020
Technology
0
710
Depth画像で物体検知やってみたー。/ Objects Detection with Depth Images
2020年2月8日開催の「【奈良】GCPUG in Nara #5【CODE for NARA共催】~ はじめてみよう!! Docker/Kubernetes入門 ~」のLT資料です.
moonlight-aska
February 08, 2020
Tweet
Share
More Decks by moonlight-aska
See All by moonlight-aska
【入門】プロンプトの書き方のコツ / Tips for writing prompts
aska
0
160
CHATGPT。はじめの一歩 / ChatGPT. Get Started
aska
0
110
「Kingyo AI Navi」アプリ / Kingyo AI Navi App
aska
0
240
Kingo AI Navi LINEをもっと使い倒せ!!
aska
0
110
Kingyo AI Naviアプリ開発 / Kingyo AI Navi App
aska
0
410
AutoML Vision Edgeで金魚分類モデルを学習してみた / Kingyo Classification Model with AutoML Vision Edge
aska
0
540
AutoML Vision Edge + ML Kit for Firebase ⇒ Kingyo Classification
aska
1
670
Kingyo AI Navi
aska
0
640
ピープルカウンタ、その後。/ People Counter
aska
0
580
Other Decks in Technology
See All in Technology
毎晩の 負荷試験自動実行による効果
recruitengineers
PRO
5
180
対話型音声AIアプリケーションの信頼性向上の取り組み
ivry_presentationmaterials
3
1k
AWS CDK 入門ガイド これだけは知っておきたいヒント集
anank
5
750
SRE不在の開発チームが障害対応と 向き合った100日間 / 100 days dealing with issues without SREs
shin1988
2
2k
振り返りTransit Gateway ~VPCをいい感じでつなげるために~
masakiokuda
3
210
Autify Company Deck
autifyhq
2
44k
IPA&AWSダブル全冠が明かす、人生を変えた勉強法のすべて
iwamot
PRO
2
230
Rethinking Incident Response: Context-Aware AI in Practice
rrreeeyyy
2
940
How Do I Contact Jetblue Airlines® Reservation Number: Fast Support Guide
thejetblueairhelpsupport
0
150
Talk to Someone At Delta Airlines™️ USA Contact Numbers
travelcarecenter
0
160
Introduction to Sansan for Engineers / エンジニア向け会社紹介
sansan33
PRO
5
39k
無理しない AI 活用サービス / #jazug
koudaiii
0
100
Featured
See All Featured
The Language of Interfaces
destraynor
158
25k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
21
1.3k
Documentation Writing (for coders)
carmenintech
72
4.9k
The Straight Up "How To Draw Better" Workshop
denniskardys
235
140k
Designing for Performance
lara
610
69k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
357
30k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
Docker and Python
trallard
45
3.5k
BBQ
matthewcrist
89
9.7k
Git: the NoSQL Database
bkeepers
PRO
430
65k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.7k
Transcript
Depth画像で物体検知やってみたー。 2020/2/8 CODE for YAMATOKORIYAMA Moonlight 明日香 GCPUG in Nara
#5 LT
自己紹介 Facebook moonlight.aska Twitter @moonlight_aska Blog みらいテックラボ http://mirai-tec.hatenablog.com ➢ 鶴田
彰 ➢ (昔の)得意分野 : パターン認識(音声, 画像, etc) ユーザ適応(レコメンド, etc) ➢ コミュニティ活動 : CODE for YAMATOKORIYAMA GCPUG NARA Organizer
おことわり GCPまったくでてきません!!
そもそもの始まり ◼ 2017年12月 ある大きな施設で来場者をカウントしたーい!!
そもそもの始まり アイデア出し(2018.1.14) 1. カメラ RGBカメラだと個人特定できるのでカメラ設置を嫌がれるかも. 2. 感圧マット 3. 赤外線センサ :
提案: 3Dセンサ(Depthカメラ)による人の出入りカウント 理由: ✓ 3Dセンサならプライバシーの問題を回避可能. ✓ 施設内での動線(人の流れ)解析へ拡張しやすそう.
これまでの取組み ◼2018年1月アイデア出し ◼2018年2-4月プロトタイプ開発 ◼2018年12月実証実験@Hug2祭り 課題①:複数人の同時通行 課題②:自動ドアの影響 ◼2019年8月-11月YOLOv3版開発 ◼2019年12月実証実験@Hug2祭り 課題①の例 課題②の例
実証実験の様子(2回目) 2019/12/1 Hug2祭り@奈良市ボランティアインフォメーションセンター 3Dカメラによる人数カウント
計測状況
来場者測定結果
Depthカメラとは? X Y ー 物体の色 + 物体までの距離(Z方向) 実空間上(XYZ)の位置/動きを感知すること!! 写真撮影 RGB画像
https://www.tdk.co.jp/techmag/knowledge/201102u/
システム構成 Intel RealSense D415/D435 Jetson Nano USB3.0 2019年版 2018年版 Intel
RealSense D415/D435 ASUS VivoMini UN62 USB3.0
処理の流れ 距 離 画 像 取 り 込 み グ
レ ー ス ケ ー ル 変 換 人 物 検 出 人 物 領 域 重 心 計 算 追 跡 中 人 物 と 照 合 人 物 情 報 更 新 人 数 カ ウ ン ト YOLOv3 2019年版 2018年版 画 像 取 り 込 み 背 景 差 分 二 値 化 ノ イ ズ 除 去 輪 郭 抽 出 人 物 領 域 重 心 計 算 追 跡 中 人 物 と 照 合 人 物 情 報 更 新 人 数 カ ウ ン ト
YOLOv3とは https://pjreddie.com/darknet/ YOLO Darknet Open Source Neural Networks in C
Real Time Object Detection
Pythonで動かすには YOLOv3はCによるライブラリ PythonでYOLOv3を動かす方法: 1. ctypes(*1)を使う ⇒ darknet/python/darknet.py 2. YOLOv3の学習済モデルを使う ⇒
keras-yolo3 *1:このライブラリはCと互換性のあるデータ型を提供し, 動的リンク/共有 ライブラリ内の関数呼び出しを可能にする.
JetsonNanoで動かすには 課題はすぐにやってきたー. ★3-4 FPSとフレーム毎の処理がまったく間に合わない!! 15FPS程度まで改善 対策①:画像を640x480→320x240にリサイズして渡す 対策②:YOLOv3のモデルの入力サイズを 416x416→224x224に 原因:OpenCVの画像データからYOLOv3に渡す画像デー タに変換する処理.
検出精度をあげるには [当初] [改良後] 手や荷物で変形パターンが多い
トラッキングとカウント 追跡中 人物 ID=10 ID=12 ID=13 処理中 フレーム LEFT・RIGHTエリア ×
× 〇 〇 判定エリア
新たな課題も ◼ 単独通過だが人物検出に失敗 ◼ 子供の検出に失敗 ◼ 通過判定線付近に人物が停滞すると連続カウントup 全国金魚すくい選手権で 来場者のカウントをやってみるか!?
Thank You!