機械学習システム開発プロジェクトの予算・予定・人情 / Budget, schedule and humanity of ML system dev PJ

機械学習システム開発プロジェクトの予算・予定・人情 / Budget, schedule and humanity of ML system dev PJ

2019.4.10に行われたAWSのイベント"ML@Loft" での登壇スライドです。
https://awsmlatloft20190410tokyo.splashthat.com/

こちらのスライド↓で話しきれなかった部分をまとめた内容です。
https://speakerdeck.com/ysdyt/to-incorporate-deep-learning-into-actual-operation-system

4d4fbbd8ec5f9393b90d510782818fbb?s=128

吉田勇太 / ysdyt

April 10, 2019
Tweet

Transcript

  1. 2.

    © BrainPad Inc. 2 自己紹介 - 吉田 勇太/Yuta Yoshida(@yutatatatata) -

    株式会社ブレインパッド - リードデータサイエンティスト - 業務: 画像分析・機械学習システムの導入 - 東洋大学 連携情報学部 非常勤講師
  2. 3.

    © BrainPad Inc. 3 ラウンドテーブルファシリテーター - 上総 虎智/Taketoshi Kazusa (@tkazusa)

    - 株式会社ブレインパッド - シニアリードデータサイエンティスト - 業務: 製薬・自動車・土木などの業界で機械学 習システム開発プロジェクトを支援
  3. 4.

    - DSがたくさんいる会社です - 受託分析の老舗(創業15周年) - あるあらゆる業界を支援 - 1案件3ヶ月~ - PM1名,

    メンバー1~2名, 営業1名, 技術アドバイザー1名が一般的な チーム構成 - 2015年後半くらいから深層学習(AI) のビジネス活用が出始める https://ai.brainpad.co.jp/people/list/
  4. 8.
  5. 9.
  6. 11.

    - 機械学習PJでは各社の課題, データ, 仕様が異なることが常 - (現状では) 汎用的なベストプラクティスを言語化・網羅化するこ とが難しい - 専門家以外ぼんやりと「AI」を理解している&ブームで期待値が

    上がってしまっている - そのため、機械学習PJは「経験するほどわかってくる」「経験し ないと理解できない部分がある」状態なのが現実
  7. 16.

    機械学習PJの予算はどこからやってくる? (続くツイートをまとめると) - 機械学習システムはPoCが必要 - PoC費用はR&D費から出ることが多く、一 般的にR&D費は少額でかつ真っ先に削ら れる予算 - 継続的開発が難しい

    - 各社の課題, データ, 仕様が違うので技術 的にもアセットになりにくい - SaaSにしにくい - SaaSパッケージにしたり技術特化しない と, 分析・AIの技術はレッドオーシャンにな る一方
  8. 17.

    PJ継続のためにPJ中に予算を取ってくる必要がでてくる - PoCの結果をもって予算(ステークホルダーの実施判断)を取る - 「良いPoCの結果」? - 精度もそこそこ出て、現場導入の可能性が見えるもの - 「現場導入の可能性が見えるもの」? -

    つまり、試作機(プロトタイプ)を作ってほしい - 機能は最低限で良いので「実際に動くもの」を作ってほしい - なので、多くの場合「試作機の制作」までがPoCの範囲となる - 動くものを見て初めて期待値が高くなる - 動くものを見せれば”上”も予算をつけてくれる!
  9. 20.

    MVP的プロトタイプ制作 - 関係者 - MLモデルを考えるDS - システムエンジニア - ハードウェアエンジニア(※対象によっては不参加) -

    実際にシステムを動かす現場の人 - プロジェクト責任者 注! - PoCで精度だけ考えていると「プロジェクト責任者」と「DS」のみのPJになりがち。 そういったPJは失敗確率高め
  10. 21.

    MVP的プロトタイプ制作 - 関係者 - MLモデルを考えるDS - In/Outするデータ形式を考える - 根幹となるアルゴリズム作成 -

    システムエンジニア - ハードウェアエンジニア - 実際にシステムを動かす現場の人 - プロジェクト責任者
  11. 22.

    MVP的プロトタイプ制作 - 関係者 - MLモデルを考えるDS - システムエンジニア - DSが想定するデータのIn/Outの安定稼働 -

    他のデバイスとの繋ぎ込み(ex.カメラ) - 非技術者が操作する画面の設計 - ハードウェアエンジニア - 実際にシステムを動かす現場の人 - プロジェクト責任者
  12. 23.

    MVP的プロトタイプ制作 - 関係者 - MLモデルを考えるDS - システムエンジニア - ハードウェアエンジニア(※対象によっては不参加) -

    カメラの選定 - 撮影環境の作成 - 実際にシステムを動かす現場の人 - プロジェクト責任者
  13. 24.

    MVP的プロトタイプ制作 - 関係者 - MLモデルを考えるDS - システムエンジニア - ハードウェアエンジニア -

    実際にシステムを動かす現場の人 - 現場にfitするシステムかどうかワークフローの確認など - プロジェクト責任者
  14. 25.

    MVP的プロトタイプ制作 - 関係者 - MLモデルを考えるDS - システムエンジニア - ハードウェアエンジニア -

    実際にシステムを動かす現場の人 - プロジェクト責任者 - MLシステムを入れるビジネスインパクトの試算など
  15. 26.

    MVP的プロトタイプ制作 - 関係者 - MLモデルを考えるDS - システムエンジニア - (ハードウェアエンジニア) -

    実際にシステムを動かす現場の人 - プロジェクト責任者 MVPと言いつつ、すでに「小ライス大盛り」状態 しかし、上の期待を高めて予算を引き出すにはここまでがミニマム  (PJをPoCの次に繋げる)
  16. 41.
  17. 42.

    人情?期待値調整?ちょっとポエム過ぎない?(笑) おそらく機械学習社会実装の一番の障壁は「人間の感情」 - 各家庭に繋がる古い水道管で汚染水問題 が発生→掘り出して交換が必要 - 機械学習で交換必要性が高い水道管を予 想。交換優先度をつける。 - 優先度が低い住民がクレーム。「なぜ自分

    は後回しなんだ!」 - 機械学習の内容や結果を住民にわかりや すく説明できない実施側 - 機械学習の結果を無視し、 ”平等に”パイプ を調べて交換するようになる - 結果、交換対応が遅れて被害が拡大 https://note.mu/datascience/n/nde5bd9d68afe