AI・データサイエンス組織のアンチパターンとその対応ケースの事例紹介 ~LIFULL AI Hub 100 ミニッツ＃4 「データ組織のマネジメント」~

by keisuke-osone

Slide 1

Slide 1 text

AI・データサイエンス組織のアンチパターンとその対応ケースの事例紹介 LIFULL AI Hub 100 ミニッツ＃4 「データ組織のマネジメント」

Slide 2

Slide 2 text

Confidential & Proprietary | 2 自己紹介株式会社アダコテック Chief Development Officer 大曽根圭輔 / Keisuke Osone 博士（工学）サイバード=>Gunosy=>アダコテック Webエンジニア、データアナリスト、プロダクトマネージャー（事業責任者）、エンジニアリングマネージャーなどを経験著書に「現場で使える！Python機械学習入門機械学習アルゴリズムの理論と実践」

Slide 3

Slide 3 text

Confidential & Proprietary | 3 アダコテックについて

Slide 4

Slide 4 text

Confidential & Proprietary | 4 本日の内容 ● 主に目標設定（パフォーマンス評価）および組織・プロセス設計におけるアンチパターンというか失敗例に焦点を当てます。 ● 組織（ハード）・人材育成（ソフト）・日々の営み（プロセス）の三点の設計が大事！ ● 主に事業会社の話でいかに事業にデータサイエンスやAIで貢献しつつピープルマネジメントを行うかを発表者の経験から話せればと思います。

Slide 5

Slide 5 text

Confidential & Proprietary | 5 本日のスコープ ● データ組織と言ってもたくさんのタスクがあります ● 今回は下記の実施を行うのをざっくりデータ組織としてみる ○ データ可視化と探索的データ分析 ○ データ収集、データパイプラインと自動化（Data Pipeline & Automation） ○ 統計分析とモデリング ○ AI・機械学習モデルの開発・運用 ○ ビジネスインサイトの提供とコミュニケーション

Slide 6

Slide 6 text

Confidential & Proprietary | 6 https://clas.style/biz/contents/439 本日の内容 ● 組織と人材にフォーカス

Slide 7

Slide 7 text

Confidential & Proprietary | 7 組織の型 ● 組織の型によって進めやすいもの、進めづらいものがある ○ 事業部制 ○ 横断機能別（マトリクス） ○ チームベース（プロジェクト型） ○ ホラクラシーなど

Slide 8

Slide 8 text

Confidential & Proprietary | 8 事業部制経営者 A事業部営業開発企画管理 B事業部営業開発企画管理 C事業部営業開発企画管理

Slide 9

Slide 9 text

Confidential & Proprietary | 9 機能別組織経営者営業部開発部企画

Slide 10

Slide 10 text

Confidential & Proprietary | 10 マトリックス型組織経営者営業部 A事業 B事業 C事業開発部管理部

Slide 11

Slide 11 text

Confidential & Proprietary | https://www.atlassian.com/ja/agile/agile-at-scale/spotify 11 チームベース組織（Spotifyモデル、プロジェクト制）

Slide 12

Slide 12 text

Confidential & Proprietary | 12 組織の話 ● 組織の型でやりたいことの難易度が変わる（それぞれ罠がある）事業部制横串（マトリックス）チームベース（プロジェクト）制成果（パフォーマンス） KPIへの貢献* KPIへの貢献* プロジェクトの目標への貢献コスト事業部工数での配賦？プロジェクト評価者事業部のマネージャー分析マネージャープロジェクトオーナー 360度評価などチーム（日々の営み）事業部分析チームプロジェクトチーム知識共有勉強会・LTなど勉強会・LTなど勉強会・LTなど陥りやすい罠車輪の再発明学習と成長の機会の欠如サイロ化象牙の塔学習と成長の機会の欠如車輪の再発明

Slide 13

Slide 13 text

Confidential & Proprietary | 13 組織の話 ● 目標設定および評価方法に関して事業部制横串（マトリックス）チームベース（プロジェクト）制成果（パフォーマンス） KPIへの貢献* KPIへの貢献* プロジェクトの目標への貢献コスト事業部工数での配賦？プロジェクト評価者事業部のマネージャー分析マネージャープロジェクトオーナー 360度評価などチーム（日々の営み）事業部分析チームプロジェクトチーム知識共有勉強会・LTなど勉強会・LTなど勉強会・LTなど陥りやすい罠車輪の再発明学習と成長の機会の欠如サイロ化象牙の塔学習と成長の機会の欠如車輪の再発明

Slide 14

Slide 14 text

Confidential & Proprietary | 14 目標設定: 事業価値への貢献プロダクトマネジメント ―ビルドトラップを避け顧客に価値を届けるより引用 ● 事業会社が提供するサービス・プロダクトが提供する価値に応じた売上が得られる

Slide 15

Slide 15 text

Confidential & Proprietary | 15 目標設定:事業価値への貢献プロダクトマネジメント ―ビルドトラップを避け顧客に価値を届けるより引用 ● 売上に貢献できると言い切れればシンプルだが… KPI データ分析組織

Slide 16

Slide 16 text

Confidential & Proprietary | 16 目標設定:事業価値への貢献プロダクトマネジメント ―ビルドトラップを避け顧客に価値を届けるより引用 ● 売上に貢献できると言い切れればシンプルだが… KPI データ分析組織ここを測定したいけど難しいここは定量だけど評価も難しい

Slide 17

Slide 17 text

Confidential & Proprietary | 17 目標設定: OKR ● 目標と成果を明確にし、チームや個人のパフォーマンスを向上させるためのフレームワーク O KR1 KR2 KR3 指標をxx%リフトさせる Hogehogeの体験の提供

Slide 18

Slide 18 text

Confidential & Proprietary | 18 目標設定:どう評価する？ ● パフォーマンス評価には成果目標と行動目標を上記のOKRやKPIにアラインさせる ○ 成果目標（例） ■ （理想）指標をxx%リフトさせる ■ （やや現実み）指標をxx%リフトさせる可能性のある施策をn個実施できている ■ （やや現実み）A/Bテストの分析結果から施策をn個実施できている ○ 行動評価（例） ■ 探索的データ分析による施策提案をn回 ■ A/Bテストの実施のリード ● 主導的に実施 = 催促されないで自ら計画を立てる ● 基本的には組織やプロジェクトが掲げるOKRやKPIに従う

Slide 19

Slide 19 text

Confidential & Proprietary | 19 目標設定:どう評価する？ ● パフォーマンス評価には成果目標と行動目標を上記のOKRやKPIにアラインさせる ○ 成果目標（例） ■ （理想）指標をxx%リフトさせる ■ （やや現実み）指標をxx%リフトさせる可能性のある施策をn個実施できている ■ （やや現実み）A/Bテストの分析結果から施策をn個実施できている ○ 行動評価（例） ■ 探索的データ分析による施策提案をn回 ■ A/Bテストの実施のリード ● 主導的に実施 = 催促されないで自ら計画を立てる ● 基本的には組織やプロジェクトが掲げるOKRやKPIに従う内容のレベル感が等級によって変わる

Slide 20

Slide 20 text

Confidential & Proprietary | 20 評価者の話 ● スキル評価（育成）と事業評価を分けるなどの工夫を行う ○ 育成とチームの底上げ担当の職位などを設ける ○ 以降の話も参考になるかも ● 事業制の場合には評価者が分析者じゃない場合もある

Slide 21

Slide 21 text

Confidential & Proprietary | 21 人材の話（スキルなど） ● より成果を出すためには育成や知識共有が重要事業部制横串（マトリックス）チームベース（プロジェクト）制成果（パフォーマンス） KPIへの貢献* KPIへの貢献* プロジェクトの目標への貢献コスト事業部工数での配賦？プロジェクト評価者事業部のマネージャー分析マネージャープロジェクトオーナー 360度評価などチーム（日々の営み）事業部分析チームプロジェクトチーム知識共有勉強会・LTなど勉強会・LT 越境（部署またぎ）など勉強会・LT アサインするプロジェクトを変える陥りやすい罠車輪の再発明学習と成長の機会の欠如サイロ化象牙の塔学習と成長の機会の欠如

Slide 22

Slide 22 text

Confidential & Proprietary | 22 事業部制でのケース ● 事業部制などで起こるアンチパターン ○ 異なるサービスのA/Bテストで別の人が同じクエリを作る ● 対面する相手が分析を専門にしていないため結果が不安になる ● 車輪の再発明、学習と成長の機会の欠如あたりが課題サービスA サービスB 事業責任者など事業責任者など

Slide 23

Slide 23 text

Confidential & Proprietary | 23 事業部制でのケース ● 事業部制などで起こるアンチパターン ○ 異なるサービスのA/Bテストで別の人が同じクエリを作る ● 対面する相手が分析を専門にしていないため結果が不安になる ● 車輪の再発明、学習と成長の機会の欠如あたりが課題サービスA サービスB 事業責任者など事業責任者など読書会輪読会 LT会などで知識の底上げを図る

Slide 24

Slide 24 text

Confidential & Proprietary | 24 横断組織（マトリクス型）でのケース ● 機能別組織などで起こるアンチパターン ○ モデルに妙に凝っちゃう、パラメータ多すぎで実運用に合わない、モデルが過学習してる ○ ちょっと話せばもらえるデータ（ログ）を追加しないで分析するなど ● ステークホルダーの業務に対しての無理解などが多い ● サイロ化、象牙の塔あたりが課題サービスA サービスB

Slide 25

Slide 25 text

Confidential & Proprietary | 25 横断組織（マトリクス型）でのケース ● 多くはコミュニケーションと他者理解の欠如の問題 ○ 定期的にコミュニケーションをとれる場を作る ○ 新卒にいきなり分析業務を担当してもらうのではなくプロモーションやエンジニアリングタスクを担当してもらう、アプリエンジニアに分析を担当してもらうなど ● サイロ化、象牙の塔あたりが課題サービスA サービスB 越境実際にマーケやエンジニアリングのタスクを行うなど

Slide 26

Slide 26 text

Confidential & Proprietary | 26 チームベース（プロジェクト型）でのケース ● 新しいプロジェクトやプロジェクトが長く続くと同じ仕事の繰り返しになる ○ プロジェクトのアサインを変える ○ プロジェクト以外にも勉強会などの機会を設ける（Spotifyモデルにおけるギルド） ● 学習と成長の機会の欠如などが課題プロジェクトA プロジェクトB プロジェクトC

Slide 27

Slide 27 text

Confidential & Proprietary | 27 チームベース（プロジェクト型）でのケース ● 新しいプロジェクトやプロジェクトが長く続くと同じ仕事の繰り返しになる ○ プロジェクトのアサインを変える ○ プロジェクト以外にも勉強会などの機会を設ける（Spotifyモデルにおけるギルド） ● 学習と成長の機会の欠如などが課題プロジェクトA プロジェクトB プロジェクトC 輪読会・LT会などなんならランチや部活・合宿でも

Slide 28

Slide 28 text

Confidential & Proprietary | 28 https://www.nikkei.com/article/DGXZQOUC28B8B0Y4A620C2000000/ その他の課題に対する取り組み ● 1on1は傾聴などでメンバーの動向を知るには非常によいがメンバーとメンバー、マネージャーの自己開示が足りなかったりする場合がある（リモートワークだと特に…） ○ 合宿・オフサイトなどでチームビルディング兼研修を行う ● 最近は1on1を行う企業も多いが、マネージャーに情報が集中してしまうマネージャーメンバー同士で何ができるか・どういう人かがわかりづらい

Slide 29

Slide 29 text

Confidential & Proprietary | 29 https://www.nikkei.com/article/DGXZQOUC28B8B0Y4A620C2000000/ その他の課題に対する取り組み ● ワーキングアグリーメントの作成、像・死んだ魚・嘔吐、ハピネスレーダー、ムービングモチベーターなど ● 合宿・オフサイトではスキル以外にもチームビルディング的なワークも実施マネージャー合宿などでカバー

Slide 30

Slide 30 text

Confidential & Proprietary | 30 その他の課題に対する取り組み ● マイクラを使ったプロダクトマネジメント合宿 ● 開発スタイル（アジャイル）に関する振り返り ● アダコテックでの例

Slide 31

Slide 31 text

Confidential & Proprietary | 31 日々の営みの話（プロセス） ● 日々の業務の型化を行うことで改善をしていく（人のせいにしにくい）事業部制横串（マトリックス）チームベース（プロジェクト）制成果（パフォーマンス） KPIへの貢献* KPIへの貢献* プロジェクトの目標への貢献コスト事業部工数での配賦？プロジェクト評価者事業部のマネージャー分析マネージャープロジェクトオーナー 360度評価などチーム（日々の営み）事業部分析チームプロジェクトチーム知識共有勉強会・LTなど勉強会・LT 越境（部署またぎ）など勉強会・LT アサインするプロジェクトを変える陥りやすい罠車輪の再発明学習と成長の機会の欠如サイロ化象牙の塔学習と成長の機会の欠如

Slide 32

Slide 32 text

Confidential & Proprietary | 32 30分で分かった気になるチームトポロジー https://www.ryuzee.com/contents/blog/14566 日々の営み（プロセス） ● コミュニケーションの複雑性を抑えるためにチームの人数は多くなりすぎないように分割

Slide 33

Slide 33 text

Confidential & Proprietary | 33 日々の営み（プロセス） ● 不確実性へのアジャイル対応だが、依頼がふわっとしてるとだいたい失敗する ○ 調査依頼のテンプレを作成する（Product Requirements Documentとかデザインドックっぽいもの、Slackワークフローでも可能） ■ どのユーザにどんな価値を届けたいか、いつまでに欲しいか、どの程度の粒度でいいのか ● アジャイルなデータサイエンスを目指して直接の依頼だと不明瞭かつ透明性にかける文書を埋めることで明確にする（依頼側の言語化スキルに依存するので注意）

Slide 34

Slide 34 text

Confidential & Proprietary | 34 https://amzn.asia/d/e1LtoHi 日々の営み（プロセス） ● 話しやすい人に依頼が集中する（横断組織などの場合） ○ Slackワークフローに加えランダムアサインの仕組みなどを導入 ■ バス係数の増加や透明性にもつながる ○ リファインメントも実施（効果が不明瞭なアイテムは優先度上がりにくい） ■ デメリットもあるので注意* ● アジャイルなデータサイエンスを目指してリファインメント

Slide 35

Slide 35 text

Confidential & Proprietary | 35 おまけ: データ分析といっても色々ある ● マトリクス型や事業部パターンとほぼ同様ケースで考えられるなので越境を推奨（チームトポロジー的に考える） ● 機械学習チーム（推薦や認識）、データ基盤、研究開発などなどサービスA サービスB 分析チーム MLチームデータ基盤チーム

Slide 36

Slide 36 text

Confidential & Proprietary | 36 おまけ: データ分析といっても色々ある ● チームトポロジー的に考える ● 機械学習チーム（推薦や認識）、データ基盤、研究開発などなどプラットフォームチーム（データ基盤）ストリームアラインドチーム（プロジェクト、スクワッド）コンプリケイテッド・サブシステムチーム（研究開発など）イネイブリングチーム（データ分析） SQLの作成、分析の定型化ダッシュボードの作成ログの追加サマリテーブルの追加

Slide 37

Slide 37 text

Confidential & Proprietary | 37 おまけ: データ分析といっても色々ある ● 研究・アルゴリズム改修・UX改善で成果を出せる頻度・コミュニケーションの頻度が異なる ○ 中途半端な研究成果をレビューに出すと意図せぬ期待・失望を生む ■ 一度思い込むと挽回が難しい（人間ムズカシイ） ● ディープテックスタートアップで難しい部分

Slide 38

Slide 38 text

Confidential & Proprietary | 38 おまけ: ディープテックスタートアップの開発の流れの例お客様 UX改善コアロジック改善プロダクトバックログ 1週間スプリント 2~3週間スプリントフィードバックの反映経営開発チームプロダクトバックログ 1週間スプリントスプリントレビュープロダクト開発受託 /PoC フィードバックリファインメント研究研究テーマ 1~3ヶ月のマイルストーンレビューレポートお客様

Slide 39

Slide 39 text

Confidential & Proprietary | 39 本日の内容 ● 主に目標設定（パフォーマンス評価）および組織・プロセス設計におけるアンチパターンというか失敗例に焦点を当てます。 ○ 評価は事業成長や会社への成果へのアラインして説明できることが大事！ ● 組織（ハード）・人材育成（ソフト）・日々の営み（プロセス）の三点の設計が大事！ ○ 多くの問題はコミュニケーションの問題なのでコミュニケーションのインターフェースが大事！ ○ 型にすれば修正も楽（人のせいにしなくていいよね）

Slide 40

Slide 40 text

全部を完璧にするのはむずかしいのでできるところ（自分にとっての変数）から変えていきましょう！

Slide 41

Slide 41 text

ご関心をお持ちの方はお気軽にこちらまでご連絡ください。 Email : [email protected] TEL: 03-4346-4171 https://adacotech.co.jp/ Thank you very much for your time!!