ロボット事業における機械学習エンジニアという仕事について/What does a Machine Learning Engineer do at a robot company?

Transcript

1. ロボット事業における 機械学習エンジニアという仕事について 白金鉱業 Meetup Vol. 6 Alejandro Gonzalez 2019/3/4

2. 自己紹介

3. 自己紹介 ⛊ 名前：Alejandro González (ゴンザレス アレハンドロ) ⛊ 出身地：ベネズエラ ⛊ 履歴

   ◥ 2011 ~ 2014年：修士 ＠ 長岡技術科学大学 ◥ 2014 ~ 2017年：データサイエンティスト ＠ 株式会社ブレインパッド ◥ 2018 ~ 現在：ソフトウェアエンジニア ＠ GROOVE X株式会社 ⛊ Likes: 寿司、ラム酒、夏、ボクシング ⛊ Dislikes: ネバネバ系、アイスコーヒー、冬、団体スポーツ alegonz

4. 本日のTalk ⛊ 家庭用ロボット事業において、機械学習を活用した製品 を開発するにあたって、どのようなチャレンジがあるの か、機械学習エンジニアがどんな役割を持っているかな どについて話します。 ⛊ LOVOTという新世代家庭用ロボットの観点から語ります。 ◥ なお、機密情報のため、

   LOVOT技術の詳細について話せないので、ご了承ください。 ⛊ また、元データサインティストの観点からも語ります。

5. LOVOTとは

6. LOVOTとは ⛊ これ Image credit: GROOVE X, Inc.

7. LOVOTとは Image credit: GROOVE X, Inc. www.stickpng.com www.walmart.com ⛊ 公式サイトより

   「テクノロジーで追求したのは、効 率や便利さではなく、抱いた時の心 地よさや、愛くるしいしぐさ、憎め ないキャラクター。」 ⛊ 生命感がある ⛊ 周りを認識できる ⛊ 反応力がある ⛊ 表現力がある

8. 家族型ロボット LOVOT [らぼっと] ｜ ”LOVE STORY” https://youtu.be/gWMMdJb_5mI

9. LOVOTとは ５０以上のセンサー ⛊ 半天球カメラ ⛊ 深度カメラ ⛊ 温度カメラ ⛊ 半天球マイクアレイ

   ⛊ 全身をカバーするタッチ センサー ⛊ IMUs ⛊ 障害物センサー ⛊ 温度センサー ⛊ 気圧センサー ⛊ 照度センサー ⛊ などなど

10. LOVOTの魅力を実現するために、 認識機能が必要

11. ⛊ 単に言うと、LOVOTに感覚を与えること ⛊ 様々なセンサーの生信号を処理して、意味のある信号と して上位レイヤに伝える 認識 センサー （HW） 基盤 （FW/SW）

    認識 （SW） ビヘイビア （KW）

12. 認識機能を実現するために機械学習を活用 機械学習エンジニアが活躍

13. 様々な認識領域 ⛊ 画像認識 ◥ 顔認識・顔識別・顔登録 ◥ 一般物体認識 ◥ トラッキング ⛊

    音声認識 ◥ キーワード認識 ◥ DoA ◥ 音源分離 ⛊ タッチ認識 ◥ 触られる・撫でられる ◥ 抱っこ ◥ 叩かれる ⛊ Navigation & SLAM ◥ 自律マッピング ◥ 自己位置推定 ◥ セーフティ

14. 機械学習エンジニアとは ⛊ 機械学習を利用可能とする役割 ◥ 製品でデプロイできる機械学習アルゴリズムを開発 ◥ また、その開発を支えるインフラも開発 ⛊ 自身の見解や意見であり、 GROOVE

    X株式会社の公式見解や意見表明を代表するものではない

15. 機械学習エンジニアの仕事？

16. アルゴリズム開発 Doing more with less

17. アルゴリズム開発 精度 Precision Recall etc CPU負荷 メモリ容量 負荷が大きいほど、 • 他の機能に悪影響

    • バッテリが減る • 温度が上がる 反応速度 Reactivity（反応力）に 不可欠 汎用性 機体と環境にわたって性能が一 緒 保守性 パラメータの数、構造の複雑さ によって、デバッギングしやす さ、メンテナンスしやすさが変 わる 使用性 • 学習データが測りやすい構造 • 信号を足しやすい構造 • ビヘイビアを開発するのに意 味の有る形を出す 気を付けないといけないこと

18. ⛊ アルゴリズム選択 ◥ 種類 ⁃ Hand-crafted rules ⁃ Traditional machine

    learning • Including sensor fusion (e.g. Kalman Filter) ⁃ Deep Learning アルゴリズム開発

19. アルゴリズム開発 アルゴリズ ム種類 精度 (見込み) CPU負荷 反応速度 汎用性 保守性 使用性

    実装 スピード データ 要求 拡張性 (変数追加) Hand-craft ed rules ✕ • • ✕ • • ✕ • Traditiona l machine learning ▲ ▲ ▲ データ 次第 ▲ ▲ • ▲ Deep Learning • ✕ ✕ データ 次第 ✕ ✕ • ✕ ※ 相対的にだいたいこんな感じっていう比較 アルゴリズムの各種類のメリット・デメリット ただ、画像認識や音声認識は間違い なくDeep Learningがベスト 牛 刀 割 鶏 順

20. ⛊ アルゴリズム選択 ◥ 学習パラダイム ⁃ Offline • 出荷前にモデルを固定する ⁃ Online

    • 出荷後に動的に学習していく ⁃ Hybrid アルゴリズム開発 ⁃ Supervised ⁃ Unsupervised

21. アルゴリズム開発 ⛊ アルゴリズム実行環境 ◥ LOVOT ⁃ Main PC ⁃ Sub

    PC ◥ ネスト（エッジ） ◥ クラウドがあまり 利用できない ⁃ Reactivity↓ Image credit: GROOVE X, Inc.

22. ⛊ 前処理！ ◥ AKA データクレンジング、正規化 ◥ 機械学習アルゴリズムにクリティカル ⁃ Garbage in,

    garbage out といったところで… アルゴリズム開発

23. そもそもハードウェアから 妥当な信号が上がっているか？

24. ハードウェア評価 Garbage in, garbage out

25. ハードウェア評価 ⛊ 信号のクオリティーは、 どこまでHWで工夫できるか、 どこからSWで工夫できるか？のトレードオフがある ⛊ センサー信号のクオリティーを評価する指標の開発 ◥ SNR, 期待誤判定率、など

    ⛊ また、評価のためのツールも開発 ◥ 生産組立用の評価仕組みを含め

26. アルゴリズムの方針と 信号の仕様が決まったら…

27. データ収集 データがない！データを作る！

28. ⛊ LOVOTに特有なデータを収集する必要 ◥ 魚眼カメラの画像 ◥ 子供の音声 ◥ タッチと抱っこの信号 ◥ etc

    ⛊ 実験を設計してデータを収集する ⛊ もちろん、転移学習も可能な限り活用する データ収集

29. データ収集 ⛊ ラベルデータも必要 ◥ アルゴリズム評価に不可欠 ⛊ どうやってラベリングする？色んな方法でやっています： ◥ 自分で手動でラベリングする ◥

    アウトソーシングする ◥ 自動化する ⁃ 例：画像のクロマキ撮影（Augmentation的に）

30. データ収集とラベリングをするのに、 何らかのインフラが必要

31. インフラ構築 データを作るものを作る！

32. インフラ構築 ⛊ スムーズに楽にデータ収集できるようなツールも開発 ◥ データ収集ツール ◥ アノテーションツール ◥ 可視化ツール ⛊

    デバッギングのために、Logging仕組みも必要 ⛊ CIで精度評価をトラッキングしていく

33. ソフトウェア開発 Develop a deployable software

34. ソフトウェア開発 ⛊ Version control ◥ Codeだけではない！ ◥ Data, Annotations, Metadataも

    ⛊ Continuous integration ⛊ Tests ⛊ Documentation ⛊ Licensesを注意!

35. 日々に活用しているソフト

36. コミュニケーション＆プロジェクト管理 Collaboration with multidisciplinary teams

37. コミュニケーション 37 各Featureの開発に多種多様なメンバーが関わっている コミュニケーションは重要！ 認識機 能の開 発 HW 服 評価

    HW メカ HW エレ KW ビヘイ ビア SW 認識 FW SW 基盤

38. プロジェクト管理 ⛊ 要件定義 ◥ PO、各チーム、協力会社と協働しながら ⛊ 開発ベンダー選定・折衝・共同開発 ⛊ 予算計画 ⛊

    他社進捗管理

39. サマリー ⛊ アルゴリズム開発 ◥ 「精度、CPU負荷、反応速度、汎用性、保守性、使用性」を重視しながら、最低限のアルゴ リズムで最高のパフォーマンスを追求 ⛊ ハードウェア評価 ◥ 妥当な信号を実現するために、

    HW開発を支える評価指標と評価ツールを開発 ⛊ データ収集 ◥ アルゴリズム学習のために、 LOVOTに特有なデータを収集 ⛊ インフラ構築 ◥ データ収集に必要なツールとプロセスを開発 ⛊ ソフトウェア開発 ◥ 製品にデプロイ可能な SWに必要なpracticesを重視 ⛊ コミュニケーション＆プロジェクト管理 ◥ 多種多様なチームと他社と協働し、認識機能を開発

40. 終わり。 ご清聴ありがとうございます