Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
機械学習による動作認識
Search
OHNO
January 14, 2020
Research
0
760
機械学習による動作認識
OHNO
January 14, 2020
Tweet
Share
More Decks by OHNO
See All by OHNO
自社データを生成AIに活用
planeta
0
57
生成系AIで自データを扱うには
planeta
0
210
外観検査の難しさ
planeta
0
510
儲かるPython
planeta
0
230
画像処理ライブラリOpenCVの使い方0910
planeta
0
1.5k
Pythonによる工業用カメラ画像取得事例
planeta
0
1.4k
画像処理ライブラリOpenCVの使い方
planeta
0
1k
SONYのNNC
planeta
0
600
画像類似度計算
planeta
0
2k
Other Decks in Research
See All in Research
Google Agent Development Kit (ADK) 入門 🚀
mickey_kubo
2
2.1k
国際論文を出そう!ICRA / IROS / RA-L への論文投稿の心構えとノウハウ / RSJ2025 Luncheon Seminar
koide3
10
5.5k
Mamba-in-Mamba: Centralized Mamba-Cross-Scan in Tokenized Mamba Model for Hyperspectral Image Classification
satai
3
100
Vision and LanguageからのEmbodied AIとAI for Science
yushiku
PRO
1
560
Pythonでジオを使い倒そう! 〜それとFOSS4G Hiroshima 2026のご紹介を少し〜
wata909
0
970
Stealing LUKS Keys via TPM and UUID Spoofing in 10 Minutes - BSides 2025
anykeyshik
0
140
Sat2City:3D City Generation from A Single Satellite Image with Cascaded Latent Diffusion
satai
3
130
ip71_contraflow_reconfiguration
stkmsd
0
110
EarthDial: Turning Multi-sensory Earth Observations to Interactive Dialogues
satai
3
230
不確実性下における目的と手段の統合的探索に向けた連続腕バンディットの応用 / iot70_gp_rff_mab
monochromegane
2
190
とあるSREの博士「過程」 / A Certain SRE’s Ph.D. Journey
yuukit
11
4.4k
大学見本市2025 JSTさきがけ事業セミナー「顔の見えないセンシング技術:多様なセンサにもとづく個人情報に配慮した人物状態推定」
miso2024
0
170
Featured
See All Featured
Building Better People: How to give real-time feedback that sticks.
wjessup
369
20k
Optimizing for Happiness
mojombo
379
70k
Principles of Awesome APIs and How to Build Them.
keavy
127
17k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
55
3k
Site-Speed That Sticks
csswizardry
13
910
Being A Developer After 40
akosma
91
590k
GraphQLとの向き合い方2022年版
quramy
49
14k
Build your cross-platform service in a week with App Engine
jlugia
232
18k
Six Lessons from altMBA
skipperchong
29
4k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
230
22k
Building a Modern Day E-commerce SEO Strategy
aleyda
44
7.8k
Fireside Chat
paigeccino
40
3.7k
Transcript
機械学習による動作認識 大野 宏 2020/1/11 Python機械学習勉強会in新潟Restart#10
本日の内容 ・動作認識の概要 ・センサを使った姿勢データの取得 ・ディープラーニングを使った姿勢推定 ・作業者の解析 ・主成分分析を使った動作認識
動作の取得や認識・解析の目的 ・CGキャラクター用データの取得 ・スポーツ選手やベテラン技術者の動きの違いの把握 ・作業者の解析 ・個人の特定 ・不審な動きの判別
モーションキャプチャ ・CGキャラクター用のデータの取得、スポーツ選手 の動作の解析 ・マーカを付けてモーションキャプチャーが主流
3次元センサKinect ・マイクロソフトがゲーム用のジェスチャー認識する入力 装置として開発 ・スケルトン(関節点)の3次元座標を取得できる ・工業用の3次元センサもあったが高価、Kinectは 約3万 円で(価格は1/10以下)、VGAと高解像度 ・パソコンで使えるSDKが提供され、多くの大学が研究 に利用 ・現在は製造中止、アマゾン購入可
Kinect ・画素数 512×424 ・フレームレイト 30fps ・使用範囲 0.5~4.5m ・価格 3万円くらい
Kinectの利用事例 ・ウルトラセブン https://www.youtube.com/watch?v=eCbURRDUUdI&t=46s ・かめはめ波 https://www.youtube.com/watch?v=r0l18SWKd88
安価な距離画像センサ Intel社 デプスカメラ ・画素数 1280×720 ・フレームレイト 90fps ・使用範囲 0.2~10m ・価格
3万円くらい ・大きさ 90 mm x 25 mm x 25 mm
少し高い距離画像センサ Basler社 Time-of-Flightカメラ ・画素数 640×480 ・フレームレイト 20fps ・使用範囲 0-13.325m ・精度
±1cm ・価格 40万円くらい
OpenPose ・2次元画像から姿勢を推定(関節点の2次元推定) https://qiita.com/nnn112358/items/121dc36c3c1752a00276
PoseNet https://guithub.com/tensorflow/tfjs-models/tree/master/posenet/
人体動作の認識方法 ・ディープラーニングで各関節角の値を取得 これらの値から別の機械学習方法を用いて動作を認識 各関節の動きを時系列データとしてRNNで認識 主成分分析で次元を圧縮して認識 ・3D-CNNで動画像のまま動作を認識 2D画像+1D時間 → 3D 3D
Resnet 学習に要する時間が長い
Resnet ・Residual Network ・深いネットワークの場合、誤差逆伝搬法で勾配が0近く なると消失してしまい入力層近くまで伝播されない ・複数の畳み込み層をまたぐスキップ接続を導入 ・二次元の画像認識でも高い認識率
Kinectを使った動作認識 岐阜県情報技術研究所が開発
デンソーとABEJAのシステム ・作業者の作業時間を解析する
以前取り組んだ研究の紹介 ・「固有平面上での人体動作の認識に関する研究」 ・目的 製造現場の作業工程を改善するため、現状作業を分析 する動作認識技術の開発 従来はストップウォッチを片手に人が見て紙に記録 ・動作の対象はラジオ体操 ・International Conference on
Computer Visionで発表
人体動作の認識方法 ・手順 ①人体モデルを画像にフィッティングさせ、前後のフレー ム間の特徴点(エッジ)の移動量を計算し、人の動き計算 ②各関節の回転角のデータをKL展開を使い、特徴を保 存 しつつ次元を圧縮 30次元(10パーツ×3回転角)の データを2次元まで圧縮して平面上に表示して判別
変換式式 各パーツの姿勢列を値に持つ姿勢データ行列X Xの共分散行列Q Q=XXT 次の固有方程式 λi ei =Qi ei を解き、固有値の大きい2個の固有ベクトルe1
,e2 を使い 各フレームにおける人体姿勢列は次式で固有平面上に G=[e1 ,e2 ]TX
動作の計測 4方向からのカメラで撮像して計測
2次元平面上に表された動作 伸びの動作
9種類の動作 伸びの動作 腕を回す運動
8人の伸びの動作
ICCV1999
ギリシャのケルキラ(コルフ)島
まとめ ・動作認識の概要 ・センサを使った姿勢データの取得 ・ディープラーニングを使った姿勢推定 ・作業者の解析 姿勢データを取得して機械学習で認識 動画像の3D-CNNで認識 ・主成分分析を使った動作認識
お知らせ ・ディープラーニングによる画像処理入門 Tensorflow/Kerasを使いMNISTや自前画像の分類 ローカルPC、グーグルクラウドのGPU環境 1月23日、24日 長岡市NaDeC BASE https://nagaoka-ai-innovationhub.connpass.com/event/159388/ https://connpass.com/ 「長岡市」で検索
・画像処理の基礎 カメラと照明の基礎と選定 画像処理ライブラリOpenCVの使い方講習 3/4