Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Depth画像で物体検知やってみたー。/ Objects Detection with Depth Images
Search
moonlight-aska
February 08, 2020
Technology
0
450
Depth画像で物体検知やってみたー。/ Objects Detection with Depth Images
2020年2月8日開催の「【奈良】GCPUG in Nara #5【CODE for NARA共催】~ はじめてみよう!! Docker/Kubernetes入門 ~」のLT資料です.
moonlight-aska
February 08, 2020
Tweet
Share
More Decks by moonlight-aska
See All by moonlight-aska
CHATGPT。はじめの一歩 / ChatGPT. Get Started
aska
0
26
「Kingyo AI Navi」アプリ / Kingyo AI Navi App
aska
0
160
Kingo AI Navi LINEをもっと使い倒せ!!
aska
0
49
Kingyo AI Naviアプリ開発 / Kingyo AI Navi App
aska
0
320
AutoML Vision Edgeで金魚分類モデルを学習してみた / Kingyo Classification Model with AutoML Vision Edge
aska
0
400
AutoML Vision Edge + ML Kit for Firebase ⇒ Kingyo Classification
aska
1
500
Kingyo AI Navi
aska
0
460
ピープルカウンタ、その後。/ People Counter
aska
0
480
物体検出をPythonで動かしてみる! / Try using YOLOv3 in Python
aska
0
890
Other Decks in Technology
See All in Technology
スプリント内で試験を完了させるには?アジャイル・スクラム開発に参加したQAエンジニアの悩みと対策
cybozuinsideout
PRO
1
110
fujiwara-ware OSSをひたすら紹介する/ya8-2024
fujiwara3
7
370
技育祭2024春 LT Finatextホールディングス
kevinrobot34
1
110
『QAという人』が必要ではなく、『QAという技術』が必要
sadonosake
2
250
君はApplication Composerというサービスを知っているか
tsukuboshi
1
510
OpenStack再入門「アーキテクチャ編」
kajinamit
0
240
DevOps Topologies 10 years on: what have we learned about silos, collaboration, and flow? - Matthew Skelton, Conflux
matthewskelton
PRO
2
420
進化する事業とデータ構造 ~Cloudbaseの場合~
tockn
2
230
Microsoft Fabric 開発ガイド
ryomaru0825
6
2.6k
サーバーとは何かを理解して、コンテナ1つで実行しよう | PHPerKaigi2024
sadnessojisan
31
11k
イベント駆動コンテンツ (a.k.a Webアプリケーションの効率を再定義するBEAR.Sundayの分散キャッシングフレームワーク)
koriym
4
1.7k
Datadog による 自己完結的アプリケーションモニタリング
recruitengineers
PRO
3
130
Featured
See All Featured
VelocityConf: Rendering Performance Case Studies
addyosmani
319
23k
Bootstrapping a Software Product
garrettdimon
PRO
302
110k
Fashionably flexible responsive web design (full day workshop)
malarkey
397
65k
Learning to Love Humans: Emotional Interface Design
aarron
266
39k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
101
6.6k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
67
38k
Into the Great Unknown - MozCon
thekraken
10
810
Become a Pro
speakerdeck
PRO
8
4.2k
Optimizing for Happiness
mojombo
369
69k
Building Flexible Design Systems
yeseniaperezcruz
317
37k
Stop Working from a Prison Cell
hatefulcrawdad
265
19k
KATA
mclloyd
14
11k
Transcript
Depth画像で物体検知やってみたー。 2020/2/8 CODE for YAMATOKORIYAMA Moonlight 明日香 GCPUG in Nara
#5 LT
自己紹介 Facebook moonlight.aska Twitter @moonlight_aska Blog みらいテックラボ http://mirai-tec.hatenablog.com ➢ 鶴田
彰 ➢ (昔の)得意分野 : パターン認識(音声, 画像, etc) ユーザ適応(レコメンド, etc) ➢ コミュニティ活動 : CODE for YAMATOKORIYAMA GCPUG NARA Organizer
おことわり GCPまったくでてきません!!
そもそもの始まり ◼ 2017年12月 ある大きな施設で来場者をカウントしたーい!!
そもそもの始まり アイデア出し(2018.1.14) 1. カメラ RGBカメラだと個人特定できるのでカメラ設置を嫌がれるかも. 2. 感圧マット 3. 赤外線センサ :
提案: 3Dセンサ(Depthカメラ)による人の出入りカウント 理由: ✓ 3Dセンサならプライバシーの問題を回避可能. ✓ 施設内での動線(人の流れ)解析へ拡張しやすそう.
これまでの取組み ◼2018年1月アイデア出し ◼2018年2-4月プロトタイプ開発 ◼2018年12月実証実験@Hug2祭り 課題①:複数人の同時通行 課題②:自動ドアの影響 ◼2019年8月-11月YOLOv3版開発 ◼2019年12月実証実験@Hug2祭り 課題①の例 課題②の例
実証実験の様子(2回目) 2019/12/1 Hug2祭り@奈良市ボランティアインフォメーションセンター 3Dカメラによる人数カウント
計測状況
来場者測定結果
Depthカメラとは? X Y ー 物体の色 + 物体までの距離(Z方向) 実空間上(XYZ)の位置/動きを感知すること!! 写真撮影 RGB画像
https://www.tdk.co.jp/techmag/knowledge/201102u/
システム構成 Intel RealSense D415/D435 Jetson Nano USB3.0 2019年版 2018年版 Intel
RealSense D415/D435 ASUS VivoMini UN62 USB3.0
処理の流れ 距 離 画 像 取 り 込 み グ
レ ー ス ケ ー ル 変 換 人 物 検 出 人 物 領 域 重 心 計 算 追 跡 中 人 物 と 照 合 人 物 情 報 更 新 人 数 カ ウ ン ト YOLOv3 2019年版 2018年版 画 像 取 り 込 み 背 景 差 分 二 値 化 ノ イ ズ 除 去 輪 郭 抽 出 人 物 領 域 重 心 計 算 追 跡 中 人 物 と 照 合 人 物 情 報 更 新 人 数 カ ウ ン ト
YOLOv3とは https://pjreddie.com/darknet/ YOLO Darknet Open Source Neural Networks in C
Real Time Object Detection
Pythonで動かすには YOLOv3はCによるライブラリ PythonでYOLOv3を動かす方法: 1. ctypes(*1)を使う ⇒ darknet/python/darknet.py 2. YOLOv3の学習済モデルを使う ⇒
keras-yolo3 *1:このライブラリはCと互換性のあるデータ型を提供し, 動的リンク/共有 ライブラリ内の関数呼び出しを可能にする.
JetsonNanoで動かすには 課題はすぐにやってきたー. ★3-4 FPSとフレーム毎の処理がまったく間に合わない!! 15FPS程度まで改善 対策①:画像を640x480→320x240にリサイズして渡す 対策②:YOLOv3のモデルの入力サイズを 416x416→224x224に 原因:OpenCVの画像データからYOLOv3に渡す画像デー タに変換する処理.
検出精度をあげるには [当初] [改良後] 手や荷物で変形パターンが多い
トラッキングとカウント 追跡中 人物 ID=10 ID=12 ID=13 処理中 フレーム LEFT・RIGHTエリア ×
× 〇 〇 判定エリア
新たな課題も ◼ 単独通過だが人物検出に失敗 ◼ 子供の検出に失敗 ◼ 通過判定線付近に人物が停滞すると連続カウントup 全国金魚すくい選手権で 来場者のカウントをやってみるか!?
Thank You!