機械学習による動作認識

Transcript

1. 機械学習による動作認識 大野 宏 2020/1/11 Python機械学習勉強会in新潟Restart#10

2. 本日の内容 ・動作認識の概要 ・センサを使った姿勢データの取得 ・ディープラーニングを使った姿勢推定 ・作業者の解析 ・主成分分析を使った動作認識

3. 動作の取得や認識・解析の目的 ・ＣＧキャラクター用データの取得 ・スポーツ選手やベテラン技術者の動きの違いの把握 ・作業者の解析 ・個人の特定 ・不審な動きの判別

4. モーションキャプチャ ・ＣＧキャラクター用のデータの取得、スポーツ選手 の動作の解析 ・マーカを付けてモーションキャプチャーが主流

5. ３次元センサＫｉｎｅｃｔ ・マイクロソフトがゲーム用のジェスチャー認識する入力 装置として開発 ・スケルトン（関節点）の３次元座標を取得できる ・工業用の３次元センサもあったが高価、Kinectは 約３万 円で（価格は1/10以下）、ＶＧＡと高解像度 ・パソコンで使えるＳＤＫが提供され、多くの大学が研究 に利用 ・現在は製造中止、アマゾン購入可

6. Ｋｉｎｅｃｔ ・画素数 512×424 ・フレームレイト 30fps ・使用範囲 0.5～4.5m ・価格 3万円くらい

7. Ｋｉｎｅｃｔの利用事例 ・ウルトラセブン https://www.youtube.com/watch?v=eCbURRDUUdI&t=46s ・かめはめ波 https://www.youtube.com/watch?v=r0l18SWKd88

8. 安価な距離画像センサ Intel社 デプスカメラ ・画素数 1280×720 ・フレームレイト 90fps ・使用範囲 0.2～10m ・価格

   3万円くらい ・大きさ 90 mm x 25 mm x 25 mm

9. 少し高い距離画像センサ Basler社 Time-of-Flightカメラ ・画素数 640×480 ・フレームレイト 20fps ・使用範囲 0-13.325m ・精度

   ±1cm ・価格 40万円くらい

10. ＯｐｅｎＰｏｓｅ ・２次元画像から姿勢を推定（関節点の２次元推定） https://qiita.com/nnn112358/items/121dc36c3c1752a00276

11. ＰｏｓｅＮｅｔ https://guithub.com/tensorflow/tfjs-models/tree/master/posenet/

12. 人体動作の認識方法 ・ディープラーニングで各関節角の値を取得 これらの値から別の機械学習方法を用いて動作を認識 各関節の動きを時系列データとしてＲＮＮで認識 主成分分析で次元を圧縮して認識 ・３Ｄ－ＣＮＮで動画像のまま動作を認識 ２Ｄ画像＋１Ｄ時間 → ３Ｄ ３Ｄ

    Ｒｅｓｎｅｔ 学習に要する時間が長い

13. Ｒｅｓｎｅｔ ・Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ ・深いネットワークの場合、誤差逆伝搬法で勾配が０近く なると消失してしまい入力層近くまで伝播されない ・複数の畳み込み層をまたぐスキップ接続を導入 ・二次元の画像認識でも高い認識率

14. Ｋｉｎｅｃｔを使った動作認識 岐阜県情報技術研究所が開発

15. デンソーとＡＢＥＪＡのシステム ・作業者の作業時間を解析する

16. 以前取り組んだ研究の紹介 ・「固有平面上での人体動作の認識に関する研究」 ・目的 製造現場の作業工程を改善するため、現状作業を分析 する動作認識技術の開発 従来はストップウォッチを片手に人が見て紙に記録 ・動作の対象はラジオ体操 ・International Conference on

    Computer Visionで発表

17. 人体動作の認識方法 ・手順 ①人体モデルを画像にフィッティングさせ、前後のフレー ム間の特徴点（エッジ）の移動量を計算し、人の動き計算 ②各関節の回転角のデータをＫＬ展開を使い、特徴を保 存 しつつ次元を圧縮 ３０次元（１０パーツ×３回転角）の データを２次元まで圧縮して平面上に表示して判別

18. 変換式式 各パーツの姿勢列を値に持つ姿勢データ行列X Xの共分散行列Q Q=XXT 次の固有方程式 λi ei =Qi ei を解き、固有値の大きい２個の固有ベクトルe1

    ,e2 を使い 各フレームにおける人体姿勢列は次式で固有平面上に G=[e1 ,e2 ]TX

19. 動作の計測 ４方向からのカメラで撮像して計測

20. ２次元平面上に表された動作 伸びの動作

21. ９種類の動作 伸びの動作 腕を回す運動

22. ８人の伸びの動作

23. ＩＣＣＶ１９９９

24. ギリシャのケルキラ（コルフ）島

25. まとめ ・動作認識の概要 ・センサを使った姿勢データの取得 ・ディープラーニングを使った姿勢推定 ・作業者の解析 姿勢データを取得して機械学習で認識 動画像の３D－CNNで認識 ・主成分分析を使った動作認識

26. お知らせ ・ディープラーニングによる画像処理入門 Tensorflow/Kerasを使いMNISTや自前画像の分類 ローカルPC、グーグルクラウドのGPU環境 1月23日、24日 長岡市NaDeC BASE https://nagaoka-ai-innovationhub.connpass.com/event/159388/ https://connpass.com/ 「長岡市」で検索

    ・画像処理の基礎 カメラと照明の基礎と選定 画像処理ライブラリOpenCVの使い方講習 3/4