機械学習システム開発プロジェクトの予算・予定・人情 / Budget, schedule and humanity of ML system dev PJ

Slide 1

Slide 1 text

April.10.2019 ML@Loft 株式会社ブレインパッド吉田勇太機械学習システム開発プロジェクトの予算・予定・人情

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

- DSがたくさんいる会社です - 受託分析の老舗（創業15周年） - あるあらゆる業界を支援 - 1案件3ヶ月~ - PM1名, メンバー1~2名, 営業1名, 技術アドバイザー1名が一般的なチーム構成 - 2015年後半くらいから深層学習(AI) のビジネス活用が出始める https://ai.brainpad.co.jp/people/list/

Slide 5

Slide 5 text

このスライドの副題

Slide 6

Slide 6 text

期待値調整観点からの機械学習PJの予算・予定・人情

Slide 7

Slide 7 text

- 世の中に機械学習PJの知見・ケーススタディーはたくさん溜まってきました。（弊社もたくさんスライド＆書籍出していますのでゼヒ） - それでもまだまだ機械学習PJは難しいと思われています。なぜか？

Slide 8

Slide 8 text

No content

Slide 9

Slide 9 text

No content

Slide 10

Slide 10 text

機械学習PJでよく聞く言葉 “機械学習はやってみないとわからないことがある”

Slide 11

Slide 11 text

- 機械学習PJでは各社の課題, データ, 仕様が異なることが常 - (現状では) 汎用的なベストプラクティスを言語化・網羅化することが難しい - 専門家以外ぼんやりと「AI」を理解している＆ブームで期待値が上がってしまっている - そのため、機械学習PJは「経験するほどわかってくる」「経験しないと理解できない部分がある」状態なのが現実

Slide 12

Slide 12 text

- 経験によって掴めてくるもの？ - ノウハウもさることながら、 - 「実行力・判断力」という腕力 - 機械学習PJ的「期待値調整」のしどころ

Slide 13

Slide 13 text

- 経験によって掴めてくるもの？ - ノウハウもさることながら、 - 「実行力・判断力」という腕力 - 機械学習PJ的「期待値調整」のしどころ

Slide 14

Slide 14 text

期待値調整観点からの機械学習PJの予算・予定・人情 ※受託の機械学習PJ視点で話しますが、事業会社でも同じだと思ってます

Slide 15

Slide 15 text

期待値調整観点からの機械学習PJの予算・予定・人情

Slide 16

Slide 16 text

機械学習PJの予算はどこからやってくる？（続くツイートをまとめると） - 機械学習システムはPoCが必要 - PoC費用はR＆D費から出ることが多く、一般的にR＆D費は少額でかつ真っ先に削られる予算 - 継続的開発が難しい - 各社の課題, データ, 仕様が違うので技術的にもアセットになりにくい - SaaSにしにくい - SaaSパッケージにしたり技術特化しないと, 分析・AIの技術はレッドオーシャンになる一方

Slide 17

Slide 17 text

PJ継続のためにPJ中に予算を取ってくる必要がでてくる - PoCの結果をもって予算(ステークホルダーの実施判断)を取る - 「良いPoCの結果」？ - 精度もそこそこ出て、現場導入の可能性が見えるもの - 「現場導入の可能性が見えるもの」？ - つまり、試作機（プロトタイプ）を作ってほしい - 機能は最低限で良いので「実際に動くもの」を作ってほしい - なので、多くの場合「試作機の制作」までがPoCの範囲となる - 動くものを見て初めて期待値が高くなる - 動くものを見せれば”上”も予算をつけてくれる！

Slide 18

Slide 18 text

いつの時代も人は動くものにトキメク - PoCなので最低限の機能で動くものが欲しい - 「最低限の機能で動くもの」？ - Minimum Viable Product (実用最小限の製品) - 「Minimum」とは？ - 現場, 対象に寄る - DS, エンジニア, 現場の人で話し合う必要あり MVP 完成機

Slide 19

Slide 19 text

MVP的プロトタイプ制作 - 関係者 - MLモデルを考えるDS - システムエンジニア - ハードウェアエンジニア（※対象によっては不参加） - 実際にシステムを動かす現場の人 - プロジェクト責任者

Slide 20

Slide 20 text

MVP的プロトタイプ制作 - 関係者 - MLモデルを考えるDS - システムエンジニア - ハードウェアエンジニア（※対象によっては不参加） - 実際にシステムを動かす現場の人 - プロジェクト責任者注！ - PoCで精度だけ考えていると「プロジェクト責任者」と「DS」のみのPJになりがち。そういったPJは失敗確率高め

Slide 21

Slide 21 text

MVP的プロトタイプ制作 - 関係者 - MLモデルを考えるDS - In/Outするデータ形式を考える - 根幹となるアルゴリズム作成 - システムエンジニア - ハードウェアエンジニア - 実際にシステムを動かす現場の人 - プロジェクト責任者

Slide 22

Slide 22 text

MVP的プロトタイプ制作 - 関係者 - MLモデルを考えるDS - システムエンジニア - DSが想定するデータのIn/Outの安定稼働 - 他のデバイスとの繋ぎ込み（ex.カメラ） - 非技術者が操作する画面の設計 - ハードウェアエンジニア - 実際にシステムを動かす現場の人 - プロジェクト責任者

Slide 23

Slide 23 text

MVP的プロトタイプ制作 - 関係者 - MLモデルを考えるDS - システムエンジニア - ハードウェアエンジニア（※対象によっては不参加） - カメラの選定 - 撮影環境の作成 - 実際にシステムを動かす現場の人 - プロジェクト責任者

Slide 24

Slide 24 text

MVP的プロトタイプ制作 - 関係者 - MLモデルを考えるDS - システムエンジニア - ハードウェアエンジニア - 実際にシステムを動かす現場の人 - 現場にfitするシステムかどうかワークフローの確認など - プロジェクト責任者

Slide 25

Slide 25 text

MVP的プロトタイプ制作 - 関係者 - MLモデルを考えるDS - システムエンジニア - ハードウェアエンジニア - 実際にシステムを動かす現場の人 - プロジェクト責任者 - MLシステムを入れるビジネスインパクトの試算など

Slide 26

Slide 26 text

MVP的プロトタイプ制作 - 関係者 - MLモデルを考えるDS - システムエンジニア - （ハードウェアエンジニア） - 実際にシステムを動かす現場の人 - プロジェクト責任者 MVPと言いつつ、すでに「小ライス大盛り」状態しかし、上の期待を高めて予算を引き出すにはここまでがミニマム　（PJをPoCの次に繋げる）

Slide 27

Slide 27 text

期待値調整観点からの機械学習PJの予算・予定・人情

Slide 28

Slide 28 text

機械学習PJはもちろんPoCだけでは終わらない PoC期間だけではなく、システム化・運用までを含めた全体のスケジュールをPJ オーナー達に見せられていますか？

Slide 29

Slide 29 text

こういう全体図最初のPoCだけではなく, 「運用保守」までの全工程試作機のお披露目 ※PoCは内容を切り分けて何度か行うのが吉 ※ 実際はPoCやプロトタイピングに試行錯誤が入るのでアジャイルなループで進んでいく

Slide 30

Slide 30 text

PoC以降の予定を見せてないと何が起こるか『PoCで意外に良い精度が出た！一旦社内のお披露目会を前倒しでやろう！』となるここのスケジュール感が見えていないと、、、試作機のお披露目

Slide 31

Slide 31 text

PoC以降の予定を見せてないと何が起こるか『PoCで意外に良い精度が出た！一旦社内のお披露目会を前倒しでやろう！』となるここのスケジュール感が見えていないと、、、試作機のお披露目 - 年度で予算額が決まっている場合、いつまでに計画をすれば次年度の予算が取れるか？ - そのスケジュールと開発スケジュールの摺り合わせができているか？ (受託企業や部署外からはそういったところが見えないが調整は必須)

Slide 32

Slide 32 text

お披露目会に間に合うように開発を圧縮チーム内で想定していたシステム化フェーズを無茶な形で前倒し実施することになり大変な目にあう（メテオフォール型開発へのルート分岐点になったりもするかも？）一部PoC内容を後回しにし、試作機作成のために開発フェーズをやや詰め気味に再スケジュールすることに。前倒しされた試作機のお披露目急いで設計＆開発

Slide 33

Slide 33 text

PoC前の想定予定は変わるものと覚悟する - 動くものができると意思決定者の温度感に変化が出てくる事は常 - 試作機をお披露目してPJを続けるための予算獲得に活かそう！ - 予算取り時期に間に合わせるために試作機開発時期を前倒そう！

Slide 34

Slide 34 text

- PoC以降にも必要な作業が多数あることを先にしっかり示す - なぜ各工程が必要なのか説明を怠らない - 「長引きそうだ・大変そうだ」と思わせたくないからボカす、は後々自分に返ってくる... - 期待値を正しく調整する必要がある対策

Slide 35

Slide 35 text

期待値調整観点からの機械学習PJの予算・予定・人情

Slide 36

Slide 36 text

PoCの前にも地道な作業がたくさんある - 機械学習PJではPoCの前に、 - 現状の作業フローを現場の人達と洗い出しましょう - 漏れなく要求整理を行いましょう - 想定されうる課題の検討を行いましょう etc... が推奨されています。

Slide 37

Slide 37 text

PoCの前に開発計画を立てる全てのステップの前に、計画を立てることが推奨されている

Slide 38

Slide 38 text

正しいやり方とモチベーションは両立しないこともある - しかし現実は「AIプロジェクトをやるぞ！」というクライアントに「では業務フローの洗い出しから…」とお願いするとプロジェクト全体の士気が下がることも。

Slide 39

Slide 39 text

チーム内のモチベーションにも意識を向ける - 機械学習PJでは長い期間に渡って泥臭い作業が沢山発生するので、チーム全体のモチベーションを高く保てるかどうかも重要なポイント - PoCで良い結果を出したり、試作機など動くものを作ってチームの熱量が高まったところでお願いをするというのも一つのやり方。（※何かと連携することが決まっているor工場ラインのように後から修正が難しいものものはそれでも早めに要件要求・定義が必要） - AIなどの言葉を（正しく）掲げ、PJに色気を付けるのも方法の一つ。

Slide 40

Slide 40 text

現実的にはこういった感じが良さそう PoCで良さそうな結果が出た頃に地味で大変な作業をお願いする。現実的には、PoCとやや並走する形で計画を立てていく

Slide 41

Slide 41 text

最後に

Slide 42

Slide 42 text

人情？期待値調整？ちょっとポエム過ぎない？(笑) おそらく機械学習社会実装の一番の障壁は「人間の感情」 - 各家庭に繋がる古い水道管で汚染水問題が発生→掘り出して交換が必要 - 機械学習で交換必要性が高い水道管を予想。交換優先度をつける。 - 優先度が低い住民がクレーム。「なぜ自分は後回しなんだ！」 - 機械学習の内容や結果を住民にわかりやすく説明できない実施側 - 機械学習の結果を無視し、 ”平等に”パイプを調べて交換するようになる - 結果、交換対応が遅れて被害が拡大 https://note.mu/datascience/n/nde5bd9d68afe

Slide 43

Slide 43 text

43 『機械学習というよくわからんものに大金を出すのか？』『これほんとに使えるの？従来オペレーションの方がよくない？』はたまた『これは良い！すぐ投入しよう！』という「人間の気持ちの動き」を適切に調整し続け、チームを鼓舞し続けながら、 MLシステム開発を続ける必要がある

Slide 44

Slide 44 text

期待値調整観点からの機械学習PJの予算・予定・人情

Slide 45

Slide 45 text

まとめ - 予算 - 最初から結構大変ではあるが、動く試作機を作ることでステークホルダーを動かすPoCで勝ち取る（期待値を上げる） - 予定 - 動くものが出来た！→早くお披露目しよう！を正しく抑止する（正しい予定を期待させるためにすり合わせる） - 人情 - 杓子定規なやり方だけでは進まないかも（期待値を上げる・時に煽る）

Slide 46

Slide 46 text

ではデータ分析や、機械学習の社会実装を通じて社会を良くしていく仲間を大募集中です！分析のことでも会社のことでも、超気軽に話しかけてくださいー！ Follow Us! @yutatatatata, @tkazusa