AI・データサイエンス​ 組織のアンチパターン​ とその対応ケースの事例紹介​ ~​LIFULL AI Hub 100 ミニッツ ＃4 ​ 「データ組織のマネジメント」​~

AI・データサイエンス​組織のアンチパターン​とその対応ケースの事例紹介をしました。
『LIFULL AI Hub 100 ミニッツ ＃4 「データ組織のマネジメント」　』の登壇資料になります。
https://lifull.connpass.com/event/328176/

Transcript

1. AI・データサイエンス 組織のアンチパターン とその対応ケースの事例紹介 LIFULL AI Hub 100 ミニッツ ＃4 「データ組織のマネジメント」
2. Confidential & Proprietary | 2 自己紹介 株式会社アダコテック Chief Development Officer 大曽根圭輔 / Keisuke Osone 博士（工学） サイバード=>Gunosy=>アダコテック Webエンジニア、データアナリスト、プロダク トマネージャー（事業責任者）、エンジニアリン グマネージャーなどを経験 著書に「現場で使える！Python機械 学習入門 機械学習アルゴリズムの理 論と実践」
3. Confidential & Proprietary | 3 アダコテックについて
4. Confidential & Proprietary | 4 本日の内容 • 主に目標設定（パフォーマンス評価）および組織・プロセス設計に おけるアンチパターンというか失敗例に焦点を当てます。 • 組織（ハード）・人材育成（ソフト）・日々の営み（プロセス）の 三点の設計が大事！ • 主に事業会社の話でいかに事業にデータサイエンスやAIで貢献しつ つピープルマネジメントを行うかを発表者の経験から話せればと思 います。
5. Confidential & Proprietary | 5 本日のスコープ • データ組織と言ってもたくさんのタスクがあります • 今回は下記の実施を行うのをざっくりデータ組織としてみる ◦ データ可視化と探索的データ分析 ◦ データ収集、データパイプラインと自動化（Data Pipeline & Automation） ◦ 統計分析とモデリング ◦ AI・機械学習モデルの開発・運用 ◦ ビジネスインサイトの提供とコミュニケーション
6. Confidential & Proprietary | 6 https://clas.style/biz/contents/439 本日の内容 • 組織と人材にフォーカス
7. Confidential & Proprietary | 7 組織の型 • 組織の型によって進めやすいもの、進めづらいものがある ◦ 事業部制 ◦ 横断機能別（マトリクス） ◦ チームベース（プロジェクト型） ◦ ホラクラシーなど
8. Confidential & Proprietary | 8 事業部制 経営者 A事業部 営 業 開 発 企 画 管 理 B事業部 営 業 開 発 企 画 管 理 C事業部 営 業 開 発 企 画 管 理
9. Confidential & Proprietary | 9 機能別組織 経営者 営業部 開発部 企画
10. Confidential & Proprietary | 10 マトリックス型組織 経営者 営業部 A事業 B事業 C事業 開発部 管理部
11. Confidential & Proprietary | https://www.atlassian.com/ja/agile/agile-at-scale/spotify 11 チームベース組織（Spotifyモデル、プロジェクト制）
12. Confidential & Proprietary | 12 組織の話 • 組織の型でやりたいことの難易度が変わる（それぞれ罠がある） 事業部制 横串（マトリックス） チームベース （プロジェクト）制 成果（パフォーマンス） KPIへの貢献* KPIへの貢献* プロジェクトの目標への 貢献 コスト 事業部 工数での配賦？ プロジェクト 評価者 事業部のマネージャー 分析マネージャー プロジェクトオーナー 360度評価など チーム（日々の営み） 事業部 分析チーム プロジェクトチーム 知識共有 勉強会・LTなど 勉強会・LTなど 勉強会・LTなど 陥りやすい罠 車輪の再発明 学習と成長の機会の欠如 サイロ化 象牙の塔 学習と成長の機会の欠 如 車輪の再発明
13. Confidential & Proprietary | 13 組織の話 • 目標設定および評価方法に関して 事業部制 横串（マトリックス） チームベース （プロジェクト）制 成果（パフォーマンス） KPIへの貢献* KPIへの貢献* プロジェクトの目標への 貢献 コスト 事業部 工数での配賦？ プロジェクト 評価者 事業部のマネージャー 分析マネージャー プロジェクトオーナー 360度評価など チーム（日々の営み） 事業部 分析チーム プロジェクトチーム 知識共有 勉強会・LTなど 勉強会・LTなど 勉強会・LTなど 陥りやすい罠 車輪の再発明 学習と成長の機会の欠如 サイロ化 象牙の塔 学習と成長の機会の欠 如 車輪の再発明
14. Confidential & Proprietary | 14 目標設定: 事業価値への貢献 プロダクトマネジメント ―ビルドトラップを避け顧客に価値を届けるより引用 • 事業会社が提供するサービス・プロダクトが提供する価値に応じた売上が得られる
15. Confidential & Proprietary | 15 目標設定:事業価値への貢献 プロダクトマネジメント ―ビルドトラップを避け顧客に価値を届けるより引用 • 売上に貢献できると言い切れればシンプルだが… KPI データ分析組織
16. Confidential & Proprietary | 16 目標設定:事業価値への貢献 プロダクトマネジメント ―ビルドトラップを避け顧客に価値を届けるより引用 • 売上に貢献できると言い切れればシンプルだが… KPI データ分析組織 ここを測定し たいけど 難しい ここは 定量だけ ど評価も 難しい
17. Confidential & Proprietary | 17 目標設定: OKR • 目標と成果を明確にし、チームや個人のパフォーマンスを向上させるための フレームワーク O KR1 KR2 KR3 指標をxx%リフトさせる Hogehogeの 体験の提供
18. Confidential & Proprietary | 18 目標設定:どう評価する？ • パフォーマンス評価には成果目標と行動目標を上記のOKRやKPIにアラインさせる ◦ 成果目標（例） ▪ （理想） 指標をxx%リフトさせる ▪ （やや現実み）指標をxx%リフトさせる可能性のある施策をn個実施できている ▪ （やや現実み）A/Bテストの分析結果から施策をn個実施できている ◦ 行動評価（例） ▪ 探索的データ分析による施策提案をn回 ▪ A/Bテストの実施のリード • 主導的に実施 = 催促されないで自ら計画を立てる • 基本的には組織やプロジェクトが掲げるOKRやKPIに従う
19. Confidential & Proprietary | 19 目標設定:どう評価する？ • パフォーマンス評価には成果目標と行動目標を上記のOKRやKPIにアラインさせる ◦ 成果目標（例） ▪ （理想） 指標をxx%リフトさせる ▪ （やや現実み）指標をxx%リフトさせる可能性のある施策をn個実施できている ▪ （やや現実み）A/Bテストの分析結果から施策をn個実施できている ◦ 行動評価（例） ▪ 探索的データ分析による施策提案をn回 ▪ A/Bテストの実施のリード • 主導的に実施 = 催促されないで自ら計画を立てる • 基本的には組織やプロジェクトが掲げるOKRやKPIに従う 内容のレベル 感が等級によ って変わる
20. Confidential & Proprietary | 20 評価者の話 • スキル評価（育成）と事業評価を分けるなどの工夫を行う ◦ 育成とチームの底上げ担当の職位などを設ける ◦ 以降の話も参考になるかも • 事業制の場合には評価者が分析者じゃない場合もある
21. Confidential & Proprietary | 21 人材の話（スキルなど） • より成果を出すためには育成や知識共有が重要 事業部制 横串（マトリックス） チームベース （プロジェクト）制 成果（パフォーマンス） KPIへの貢献* KPIへの貢献* プロジェクトの目標への 貢献 コスト 事業部 工数での配賦？ プロジェクト 評価者 事業部のマネージャー 分析マネージャー プロジェクトオーナー 360度評価など チーム（日々の営み） 事業部 分析チーム プロジェクトチーム 知識共有 勉強会・LTなど 勉強会・LT 越境（部署またぎ）など 勉強会・LT アサインするプロジェクト を変える 陥りやすい罠 車輪の再発明 学習と成長の機会の欠如 サイロ化 象牙の塔 学習と成長の機会の欠 如
22. Confidential & Proprietary | 22 事業部制でのケース • 事業部制などで起こるアンチパターン ◦ 異なるサービスのA/Bテストで別の人が同じクエリを作る • 対面する相手が分析を専門にしていないため結果が不安になる • 車輪の再発明、学習と成長の機会の欠如あたりが課題 サービスA サービスB 事業責任者など 事業責任者など
23. Confidential & Proprietary | 23 事業部制でのケース • 事業部制などで起こるアンチパターン ◦ 異なるサービスのA/Bテストで別の人が同じクエリを作る • 対面する相手が分析を専門にしていないため結果が不安になる • 車輪の再発明、学習と成長の機会の欠如あたりが課題 サービスA サービスB 事業責任者など 事業責任者など 読書会 輪読会 LT会 などで知識の底上 げを図る
24. Confidential & Proprietary | 24 横断組織（マトリクス型）でのケース • 機能別組織などで起こるアンチパターン ◦ モデルに妙に凝っちゃう、パラメータ多すぎで実運用に合わない、モデルが過学習してる ◦ ちょっと話せばもらえるデータ（ログ）を追加しないで分析するなど • ステークホルダーの業務に対しての無理解などが多い • サイロ化、象牙の塔あたりが課題 サービスA サービスB
25. Confidential & Proprietary | 25 横断組織（マトリクス型）でのケース • 多くはコミュニケーションと他者理解の欠如の問題 ◦ 定期的にコミュニケーションをとれる場を作る ◦ 新卒にいきなり分析業務を担当してもらうのではなくプロモーションやエンジニアリングタ スクを担当してもらう、アプリエンジニアに分析を担当してもらうなど • サイロ化、象牙の塔あたりが課題 サービスA サービスB 越境 実際にマーケや エンジニアリング のタスクを行うなど
26. Confidential & Proprietary | 26 チームベース（プロジェクト型）でのケース • 新しいプロジェクトやプロジェクトが長く続くと同じ仕事の繰り返しになる ◦ プロジェクトのアサインを変える ◦ プロジェクト以外にも勉強会などの機会を設ける（Spotifyモデルにおけるギルド） • 学習と成長の機会の欠如などが課題 プロジェクトA プロジェクトB プロジェクトC
27. Confidential & Proprietary | 27 チームベース（プロジェクト型）でのケース • 新しいプロジェクトやプロジェクトが長く続くと同じ仕事の繰り返しになる ◦ プロジェクトのアサインを変える ◦ プロジェクト以外にも勉強会などの機会を設ける（Spotifyモデルにおけるギルド） • 学習と成長の機会の欠如などが課題 プロジェクトA プロジェクトB プロジェクトC 輪読会・LT会など なんならランチや 部活・合宿でも
28. Confidential & Proprietary | 28 https://www.nikkei.com/article/DGXZQOUC28B8B0Y4A620C2000000/ その他の課題に対する取り組み • 1on1は傾聴などでメンバーの動向を知るには非常によいがメンバーとメンバー、マネージャーの 自己開示が足りなかったりする場合がある（リモートワークだと特に…） ◦ 合宿・オフサイトなどでチームビルディング兼研修を行う • 最近は1on1を行う企業も多いが、マネージャーに情報が集中してしまう マネージャー メンバー同士で 何ができるか・どう いう人かが わかりづらい
29. Confidential & Proprietary | 29 https://www.nikkei.com/article/DGXZQOUC28B8B0Y4A620C2000000/ その他の課題に対する取り組み • ワーキングアグリーメントの作成、像・死んだ魚・嘔吐、ハピネスレーダー、ムービングモチベー ターなど • 合宿・オフサイトではスキル以外にもチームビルディング的なワークも実施 マネージャー 合宿などでカバー
30. Confidential & Proprietary | 30 その他の課題に対する取り組み • マイクラを使ったプロダクトマネジメント合宿 • 開発スタイル（アジャイル）に関する振り返り • アダコテックでの例
31. Confidential & Proprietary | 31 日々の営みの話（プロセス） • 日々の業務の型化を行うことで改善をしていく（人のせいにしにくい） 事業部制 横串（マトリックス） チームベース （プロジェクト）制 成果（パフォーマンス） KPIへの貢献* KPIへの貢献* プロジェクトの目標への 貢献 コスト 事業部 工数での配賦？ プロジェクト 評価者 事業部のマネージャー 分析マネージャー プロジェクトオーナー 360度評価など チーム（日々の営み） 事業部 分析チーム プロジェクトチーム 知識共有 勉強会・LTなど 勉強会・LT 越境（部署またぎ）など 勉強会・LT アサインするプロジェクト を変える 陥りやすい罠 車輪の再発明 学習と成長の機会の欠如 サイロ化 象牙の塔 学習と成長の機会の欠 如
32. Confidential & Proprietary | 32 30分で分かった気になるチームトポロジー https://www.ryuzee.com/contents/blog/14566 日々の営み（プロセス） • コミュニケーションの複雑性を抑えるためにチームの人数は多くなりすぎな いように分割
33. Confidential & Proprietary | 33 日々の営み（プロセス） • 不確実性へのアジャイル対応だが、依頼がふわっとしてるとだいたい失敗する ◦ 調査依頼のテンプレを作成する（Product Requirements Documentとかデザインドッ クっぽいもの、Slackワークフローでも可能） ▪ どのユーザにどんな価値を届けたいか、いつまでに欲しいか、どの程度の粒度で いいのか • アジャイルなデータサイエンスを目指して 直接の依頼だと不明瞭かつ透明性にかける 文書を埋めることで明確にする （依頼側の言語化スキルに依存するので注意）
34. Confidential & Proprietary | 34 https://amzn.asia/d/e1LtoHi 日々の営み（プロセス） • 話しやすい人に依頼が集中する（横断組織などの場合） ◦ Slackワークフローに加えランダムアサインの仕組みなどを導入 ▪ バス係数の増加や透明性にもつながる ◦ リファインメントも実施（効果が不明瞭なアイテムは優先度上がりにくい） ▪ デメリットもあるので注意* • アジャイルなデータサイエンスを目指して リファインメント
35. Confidential & Proprietary | 35 おまけ: データ分析といっても色々ある • マトリクス型や事業部パターンとほぼ同様ケースで考えられるなので越境を推奨（チームトポ ロジー的に考える） • 機械学習チーム（推薦や認識）、データ基盤、研究開発などなど サービスA サービスB 分析チーム MLチーム データ基盤チーム
36. Confidential & Proprietary | 36 おまけ: データ分析といっても色々ある • チームトポロジー的に考える • 機械学習チーム（推薦や認識）、データ基盤、研究開発などなど プラットフォームチーム （データ基盤） ストリームアラインドチーム （プロジェクト、スクワッド） コンプリケイテッド・サブシステムチーム （研究開発など） イネイブリング チーム （データ分析） SQLの作成、分析の定型化 ダッシュボードの作成 ログの追加 サマリテーブルの追加
37. Confidential & Proprietary | 37 おまけ: データ分析といっても色々ある • 研究・アルゴリズム改修・UX改善で成果を出せる頻度・コミュニケーションの頻度が異なる ◦ 中途半端な研究成果をレビューに出すと意図せぬ期待・失望を生む ▪ 一度思い込むと挽回が難しい（人間ムズカシイ） • ディープテックスタートアップで難しい部分
38. Confidential & Proprietary | 38 おまけ: ディープテックスタートアップの開発の流れの例 お客様 UX改善 コアロジック改善 プロダクト バックログ 1週間スプリント 2~3週間スプリント フィードバックの反映 経営 開発チーム プロダクト バックログ 1週間スプリント スプリント レビュー プロダクト 開発 受託 /PoC フィード バック リファイン メント 研究 研究テーマ 1~3ヶ月のマイルストーン レビュー レポート お客様
39. Confidential & Proprietary | 39 本日の内容 • 主に目標設定（パフォーマンス評価）および組織・プロセス設計にお けるアンチパターンというか失敗例に焦点を当てます。 ◦ 評価は事業成長や会社への成果へのアラインして説明できること が大事！ • 組織（ハード）・人材育成（ソフト）・日々の営み（プロセス）の三 点の設計が大事！ ◦ 多くの問題はコミュニケーションの問題なのでコミュニケーショ ンのインターフェースが大事！ ◦ 型にすれば修正も楽（人のせいにしなくていいよね）
40. 全部を完璧にするのはむずかしいので できるところ（自分にとっての変数） から変えていきましょう！
41. ご関心をお持ちの方はお気軽にこちらまでご連絡ください。 Email : sales@adacotech.co.jp TEL: 03-4346-4171 https://adacotech.co.jp/ Thank you very much for your time!!