生成AI導入の効果を最大化する データ活用戦略

次の内容のスライド
- 生成AIの利用率可視化と活用促進
- 生成AIの利用による開発生産性の変化
- 生成AIが活用できる基盤
- ファインディでの生成AI活用事例

Transcript

1. © Findy Inc. ⽣成AI導⼊の効果を最⼤化する データ活⽤戦略 浜⽥ 直⼈ Naoto Hamada (ham)
2. © Findy Inc. 2 開発⽣産性が向上する⽅法を探求しているエンジニア！ Ruby / Rails / React / TypeScript / AWS Agile / DevOps / Developer Productivity / DevEx Stock Investment 浜⽥ 直⼈ Naoto Hamada (ham) @hamchance0215
5. © Findy Inc. 経営と開発現場をつなぐ戦略⽀援SaaS「Findy Team+」 プロダクト開発関連ツールのデータを⾃動で解析し、様々なデータを可視化‧分析 データ連携 / 統合 1 可視化 開発ワークフローを可視化し 明確なインサイトを取得 2 AI分析 AIを活⽤して、開発効率と 開発者体験を最⼤化するため の課題を⾃動で特定 3 改善 データに基づいた意思決定 でビジネス成果を最⼤化 プルリクエスト、イシュー、 ミーティング等の活動データ
6. © Findy Inc. プロダクト開発における戦略⽴案〜プロジェクト評価を⼀気通貫でマネジメントし、 開発⽣産性向上へ プロジェクト投資分析 (新機能やリファクタリングの 開発投資割合 等) 投資設計 / リソース計画 ソフトウェア開発ライフサイクル（SDLC） 戦略⽴案 プロジェクト評価 要件定義 / 設計 / コーディング / テスト / デプロイ / メンテナンス ROI評価 / ナレッジ蓄積 開発投資のROI最⼤化 4Keys分析 / プルリク分析 / プロジェクト分析 (デプロイ頻度‧リードタイム‧プルリク作成数 等) 開発者⽣産性の可視化‧向上 開発者サーベイ / ミーティング分析 (開発者満⾜度サーベイ‧ミーティング時間 等) 開発者体験の可視化‧向上 プロジェクト アウトカム分析 (売上‧NSM‧KPI 等) 開発投資のROI最⼤化 EM / エンジニア 事業責任者 / PdM CTO / 開発部⻑ 経営と開発現場をつなぐ戦略⽀援SaaS「Findy Team+」
7. © Findy Inc. 様々な業界‧業種‧組織規模の企業様で、ご活⽤いただいています！ 経営と開発現場をつなぐ戦略⽀援SaaS「Findy Team+」
8. © Findy Inc. 8 Agenda - ⽣成AIの利⽤率可視化と活⽤促進 - ⽣成AIの利⽤による開発⽣産性の変化 - ⽣成AIが活⽤できる基盤 - ファインディでの⽣成AI活⽤事例 - まとめ
9. © Findy Inc. ⽣成AIの利⽤率可視化と活⽤促進 9
10. © Findy Inc. 10 ⽣成AIの活⽤率 - ⽣成AIを導⼊後、利⽤されているか把握できていますか？
11. © Findy Inc. 11 ⽣成AIの活⽤率 - ⽣成AIは導⼊したら終わりではありません - 導⼊後、期待通りに利⽤されなかったり、利⽤はされてい るものの効果が出ていないことがあります
12. © Findy Inc. 12 ⽣成AIの活⽤率 - 次の3つのステップで⽣成AIの利⽤促進に繋げましょう 1. 現状把握‧分析 2. 個別アプローチ 3. 全社的アプローチ
13. © Findy Inc. 13 ⽣成AIの活⽤率 ①現状把握‧分析 - 利⽤率の可視化‧分析 - 可視化の⽬的の明確化 ◦ ⽬的: 優れたナレッジを発⾒し、困っているメンバーを サポートすること
14. © Findy Inc. 14 ⽣成AIの活⽤率 - ⽣成AIの管理画⾯などで確認 ◦ ※ツールによっては確認できないものもあります - 利⽤有無を把握することができる - 何に使われたか判断できないため、詳細 な分析は難しい 例) Claude(Anthropic)の利⽤量
15. © Findy Inc. 15 ⽣成AIの活⽤率 - アンケートによる調査 - よく使われている⼿法であり、⼿軽に収 集することができる - 回答者の感覚に依存するが、ざっくりと 全体感を把握するのに役⽴つ
16. © Findy Inc. 16 ⽣成AIの活⽤率 - Findy Team+による可視化 チームごとのCopilot利⽤率を可視化 利⽤率が⾼いチームのノウハウを共有したり、 利⽤率が少ないチームの原因分析を⾏います
17. © Findy Inc. 17 ⽣成AIの活⽤率 - Findy Team+による可視化 個⼈ or チームを選択 ⽣成AIのラベルを選択 PR作成数の⽐較ができます！ この図では左が1,781件、右が344件のため、 ⽣成AIを活⽤して作成したPRは 全体の【約20%】と⾔えます💡 個⼈ or チームを選択 全PRを表⽰ ⽣成AIを活⽤して作成したPRを表⽰
18. © Findy Inc. 18 ⽣成AIの活⽤率 ②個別アプローチ - ハイパフォーマーへのアプローチ ◦ ノウハウをヒアリングして形式知化と横展開 - ローパフォーマーへのアプローチ ◦ 原因分析と丁寧なサポート ▪ 時間がない、アイデアが湧かない、スキル不⾜など ▪ 取り組みやすい活⽤事例の共有や相談会など実施
19. © Findy Inc. 19 ⽣成AIの活⽤率 ③全社的アプローチ - 成功体験の共有とポジティブな動機付け ◦ 活⽤事例コンテスト開催や社内報などを活⽤し、定量的 ‧定性的な効果を共有 - 学習機会の提供とスキルの底上げ ◦ ワークショップ開催(職種別‧活⽤レベル別など) - 利⽤の仕組み化と継続的な推進 ◦ チームや個⼈の⽬標へ組み込み、定量データに基づいて 推進する
20. © Findy Inc. ⽣成AIの利⽤による 開発⽣産性の変化 20
21. © Findy Inc. 21 ⽣成AIの利⽤による開発⽣産性の変化 - ⽣成AIを導⼊後、開発⽣産性の変化を正しく把握できてい ますか？

22. © Findy Inc. 22 ⽣成AIの利⽤による開発⽣産性の変化 - ⚠感覚だけで判断すると誤認する可能性あり⚠ ◦ アウトプット量が増えていると感じていたが、実際に計 測したら同程度、または減少していた... ◦ アウトプット量は増えたが⼿戻りが多かった... ◦ アウトプット量増加により、レビュー負荷などが⾼まり 開発者体験が低下...
23. © Findy Inc. 23 オープンからマージまでのリードタイムなど様々 なリードタイム指標を⽐較 ⽣成AIによるリードタイムの変化を⽐較可能 ‧コメント数は増え過ぎていないか？ ‧AIが作成したPRをレビューできているか？ ‧平均変更⾏数は⼤き過ぎないか？  など様々な切り⼝の変化をチェック！ ⽣成AIの利⽤による開発⽣産性の変化 詳細⽐較 全PRを表⽰ ⽣成AIを活⽤して 作成したPRを表⽰
24. © Findy Inc. 24 ⽣成AIの利⽤による開発⽣産性の変化 レビュー分析 サイクルタイム分析 レビュー数やレビューの相関、リードタイムを可視化 ⽣成AI利⽤によりアウトプット量が増加したことによる レビューの偏りや負荷を分析 プルリクエストのリードタイムを4つの区間に分割して 可視化 ⽣成AI利⽤によるパフォーマンス向上やボトルネックの 変化を分析
25. © Findy Inc. 25 ⽣成AIの利⽤による開発⽣産性の変化 SPACEフレームワーク(※)に準拠した設問設計 開発者体験を「満⾜度‧活動量‧パフォーマンス‧効率‧協働」の5視点 で可視化 ⽣成AI利⽤によるエンジニアの役割転換やアウトプットの急上昇などに よる”AI疲れ”のような定性的な開発者の変化を分析 ※SPACEフレームワークとは 開発者やチームの「⽣産性」を、多⾓的な視点からバランスよく把握するための考え⽅ Googleの研究チーム「DORA」などが提唱 チームサーベイ分析 チームサーベイ 設問
26. © Findy Inc. 26 ⽣成AIの利⽤による開発⽣産性の変化 コーディングタスク分析 コードの変更履歴から、新着 / ⼿戻り / メンテナンスを判定 することで、⽣成AI利⽤により⼿戻りの増加など品質の変化 を分析 - 新規: 新しく追加したコード - ⼿戻り: 3週間以内に変更 - メンテナンス: 3週間以降の変更
27. © Findy Inc. ⽣成AIが活⽤できる基盤 27
28. © Findy Inc. 28 ⽣成AIが活⽤できる基盤 - ⽣成AIによって開発は⼤きな変化が予想されています - ⽣成AIを効果的に利⽤していける基盤の構築が重要 2023年現在、米国の開発者の 92％はAIコーディングツールを利用 。 2028年までに、 世界の企業の 90%のソフトウェアエンジニアが AIコードアシスタントを使用 するようになる。 2023.6.14 GitHub調査／企業で働く米国の開発者 500人を対象にした調査 2024.4.11 ガートナー／戦略的計画の仮説
29. © Findy Inc. 29 ⽣成AIが活⽤できる基盤 - ⽣成AI活⽤に必要な基盤 ◦ バージョン管理システムの導⼊ ◦ 開発環境の統⼀ ◦ ⾃動テストの整備 ◦ CI/CDの⾃動化 ◦ ⼩さいバッチ単位の反映 ◦ 疎結合なアーキテクチャ
30. © Findy Inc. 30 ⽣成AIが活⽤できる基盤 - ⽣成AI活⽤に必要な基盤 ◦ バージョン管理システムの導⼊ ◦ 開発環境の統⼀ ◦ ⾃動テストの整備 ◦ CI/CDの⾃動化 ◦ ⼩さいバッチ単位の反映 ◦ 疎結合なアーキテクチャ 今まで開発⽣産性の ⽂脈で語られてきた プラクティスと同じ！
31. © Findy Inc. 31 ⽣成AIが活⽤できる基盤 - 開発⽣産性(デリバリー能⼒)を⾼めていけば、⾃然と⽣成AI が活⽤できる基盤が整っていく - Dora Core Model ◦ 強いソフトウェア開発チームの作り⽅を科学的に⽰した もの ◦ Googleの研究チーム「DORA」が⻑年の調査に基づいて 提唱
32. © Findy Inc. 32 ⽣成AIが活⽤できる基盤 https://dora.dev/research/ Capabilities - デリバリー能⼒の⾼い組織が備えている能⼒ - 定量的な計測が難しい Performance - Capabilitiesと相関がある定量的に把握可能な指標 - こちらを測定する Outcomes - デリバリーにより得られるアウトカム - Performanceだけを⾼めるのではなく、アウトカム が向上することが⽬的
33. © Findy Inc. 33 ⽣成AIが活⽤できる基盤 https://dora.dev/research/ チームサーベイ分析 DevOps分析
34. © Findy Inc. ファインディでの⽣成AI活⽤事例 34
35. © Findy Inc. ファインディでの⽣成AI活⽤事例 テックリードのプルリクエスト作成数をDevin導⼊前後で⽐較 Devinを活⽤することでアウトプット量が1.3倍に増加 導⼊後 4.9件/⽇ 6.5件/⽇ テックリード Devin 導⼊前 4.9件/⽇ 1.3倍 2.4件/⽇ 4.1件/⽇ 35
36. © Findy Inc. 36 ファインディでの⽣成AI活⽤事例 5⽉からDevinやClaude Codeを活⽤したメンバーのプルリクエスト数を⽐較 ⽣成AI活⽤前と⽐較するとアウトプット量が1.5倍に増加 AI活⽤後 141件 AI活⽤前 92件 1.5倍 36
37. © Findy Inc. 37 Devinを活⽤したチーム全体のプルリクエスト数の推移を可視化 3⽉にDevinの活⽤ノウハウ共有により利⽤率が4倍に急増 ファインディでの⽣成AI活⽤事例 利⽤促進後 20件/⽇ 5件/⽇ 4倍 37 利⽤促進前
38. © Findy Inc. 38 ⽣成AIを利⽤したプルリクエスト数の可視化を開始して利⽤促進したところ、 ⽣成AIの利⽤率が20%から30%に上昇 ファインディでの⽣成AI活⽤事例 2週間後 30% ⽣成AI利⽤率: 20% 38 可視化直後 全PR数 PR数/w AI 全PR数 PR数/w AI
39. © Findy Inc. まとめ 39
40. © Findy Inc. 40 まとめ - ⽣成AIによって開発は⼤きな変化が予想されています - ⽣成AIを効果的に利⽤して、開発⽣産性の向上に繋げていきましょう ◦ Findy Team+では3分でデータ連携して可視化を始めることができます ◦ 無料デモ体験も受け付けています。お気軽にお問い合わせください！ 2023年現在、米国の開発者の 92％はAIコーディングツールを利用 。 2028年までに、 世界の企業の 90%のソフトウェアエンジニアが AIコードアシスタントを使用 するようになる。 2023.6.14 GitHub調査／企業で働く米国の開発者 500人を対象にした調査 2024.4.11 ガートナー／戦略的計画の仮説