Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Depth画像で物体検知やってみたー。/ Objects Detection with Depth Images
Search
moonlight-aska
February 08, 2020
Technology
0
480
Depth画像で物体検知やってみたー。/ Objects Detection with Depth Images
2020年2月8日開催の「【奈良】GCPUG in Nara #5【CODE for NARA共催】~ はじめてみよう!! Docker/Kubernetes入門 ~」のLT資料です.
moonlight-aska
February 08, 2020
Tweet
Share
More Decks by moonlight-aska
See All by moonlight-aska
CHATGPT。はじめの一歩 / ChatGPT. Get Started
aska
0
42
「Kingyo AI Navi」アプリ / Kingyo AI Navi App
aska
0
170
Kingo AI Navi LINEをもっと使い倒せ!!
aska
0
52
Kingyo AI Naviアプリ開発 / Kingyo AI Navi App
aska
0
340
AutoML Vision Edgeで金魚分類モデルを学習してみた / Kingyo Classification Model with AutoML Vision Edge
aska
0
410
AutoML Vision Edge + ML Kit for Firebase ⇒ Kingyo Classification
aska
1
530
Kingyo AI Navi
aska
0
490
ピープルカウンタ、その後。/ People Counter
aska
0
490
物体検出をPythonで動かしてみる! / Try using YOLOv3 in Python
aska
0
920
Other Decks in Technology
See All in Technology
今さら聞けないDocker入門 〜 Dockerfileのベストプラクティス編
devops_vtj
21
6.3k
LLM開発・活用の舞台裏@2024.04.25
yushin_n
3
1.4k
AWSに詳しくない人でも始められるコスト最適化ガイド
yuhta28
2
420
高専で制御を、大学でセンシングを学び、次は脳みそ
satoshirobatofujimoto
0
120
Building Dashboards as a Hobby
egmc
0
430
BPStudyの200回を中心にIT業界を振り返る。そしてこれから
haru860
3
450
Cypress or Playwright?
rainerhahnekamp
0
180
require(ESM)とECMAScript仕様
uhyo
4
1k
令和最新版 Ruby プロファイラ "Pf2" のご紹介
osyoyu
0
170
AWSやJAWS-UGとの出会いを振り返る
yoyoyopg
1
180
Microsoft Intune 勉強会 第 2 回目
tamaiyutaro
2
510
ExaDB-D dbaascli で出来ること
oracle4engineer
PRO
0
2.2k
Featured
See All Featured
How To Stay Up To Date on Web Technology
chriscoyier
782
250k
The Brand Is Dead. Long Live the Brand.
mthomps
49
29k
Agile that works and the tools we love
rasmusluckow
325
20k
Build The Right Thing And Hit Your Dates
maggiecrowley
25
2k
Bash Introduction
62gerente
605
210k
Designing the Hi-DPI Web
ddemaree
276
33k
Intergalactic Javascript Robots from Outer Space
tanoku
266
26k
Imperfection Machines: The Place of Print at Facebook
scottboms
261
12k
Rebuilding a faster, lazier Slack
samanthasiow
74
8.3k
We Have a Design System, Now What?
morganepeng
43
6.8k
The Pragmatic Product Professional
lauravandoore
26
5.8k
A designer walks into a library…
pauljervisheath
201
23k
Transcript
Depth画像で物体検知やってみたー。 2020/2/8 CODE for YAMATOKORIYAMA Moonlight 明日香 GCPUG in Nara
#5 LT
自己紹介 Facebook moonlight.aska Twitter @moonlight_aska Blog みらいテックラボ http://mirai-tec.hatenablog.com ➢ 鶴田
彰 ➢ (昔の)得意分野 : パターン認識(音声, 画像, etc) ユーザ適応(レコメンド, etc) ➢ コミュニティ活動 : CODE for YAMATOKORIYAMA GCPUG NARA Organizer
おことわり GCPまったくでてきません!!
そもそもの始まり ◼ 2017年12月 ある大きな施設で来場者をカウントしたーい!!
そもそもの始まり アイデア出し(2018.1.14) 1. カメラ RGBカメラだと個人特定できるのでカメラ設置を嫌がれるかも. 2. 感圧マット 3. 赤外線センサ :
提案: 3Dセンサ(Depthカメラ)による人の出入りカウント 理由: ✓ 3Dセンサならプライバシーの問題を回避可能. ✓ 施設内での動線(人の流れ)解析へ拡張しやすそう.
これまでの取組み ◼2018年1月アイデア出し ◼2018年2-4月プロトタイプ開発 ◼2018年12月実証実験@Hug2祭り 課題①:複数人の同時通行 課題②:自動ドアの影響 ◼2019年8月-11月YOLOv3版開発 ◼2019年12月実証実験@Hug2祭り 課題①の例 課題②の例
実証実験の様子(2回目) 2019/12/1 Hug2祭り@奈良市ボランティアインフォメーションセンター 3Dカメラによる人数カウント
計測状況
来場者測定結果
Depthカメラとは? X Y ー 物体の色 + 物体までの距離(Z方向) 実空間上(XYZ)の位置/動きを感知すること!! 写真撮影 RGB画像
https://www.tdk.co.jp/techmag/knowledge/201102u/
システム構成 Intel RealSense D415/D435 Jetson Nano USB3.0 2019年版 2018年版 Intel
RealSense D415/D435 ASUS VivoMini UN62 USB3.0
処理の流れ 距 離 画 像 取 り 込 み グ
レ ー ス ケ ー ル 変 換 人 物 検 出 人 物 領 域 重 心 計 算 追 跡 中 人 物 と 照 合 人 物 情 報 更 新 人 数 カ ウ ン ト YOLOv3 2019年版 2018年版 画 像 取 り 込 み 背 景 差 分 二 値 化 ノ イ ズ 除 去 輪 郭 抽 出 人 物 領 域 重 心 計 算 追 跡 中 人 物 と 照 合 人 物 情 報 更 新 人 数 カ ウ ン ト
YOLOv3とは https://pjreddie.com/darknet/ YOLO Darknet Open Source Neural Networks in C
Real Time Object Detection
Pythonで動かすには YOLOv3はCによるライブラリ PythonでYOLOv3を動かす方法: 1. ctypes(*1)を使う ⇒ darknet/python/darknet.py 2. YOLOv3の学習済モデルを使う ⇒
keras-yolo3 *1:このライブラリはCと互換性のあるデータ型を提供し, 動的リンク/共有 ライブラリ内の関数呼び出しを可能にする.
JetsonNanoで動かすには 課題はすぐにやってきたー. ★3-4 FPSとフレーム毎の処理がまったく間に合わない!! 15FPS程度まで改善 対策①:画像を640x480→320x240にリサイズして渡す 対策②:YOLOv3のモデルの入力サイズを 416x416→224x224に 原因:OpenCVの画像データからYOLOv3に渡す画像デー タに変換する処理.
検出精度をあげるには [当初] [改良後] 手や荷物で変形パターンが多い
トラッキングとカウント 追跡中 人物 ID=10 ID=12 ID=13 処理中 フレーム LEFT・RIGHTエリア ×
× 〇 〇 判定エリア
新たな課題も ◼ 単独通過だが人物検出に失敗 ◼ 子供の検出に失敗 ◼ 通過判定線付近に人物が停滞すると連続カウントup 全国金魚すくい選手権で 来場者のカウントをやってみるか!?
Thank You!