GitHub Copilotは開発者の生産性をどれだけ上げるのか？ZOZOでの全社導入とその効果 / How Much Does GitHub Copilot Improve Developer Productivity? The Company-wide Implementation and Its Effects at ZOZO

2024/2/16 Developers Summit 2024 登壇資料
https://event.shoeisha.jp/devsumi/20240215

■ ZOZOエンジニア向け会社説明資料
https://speakerdeck.com/zozodevelopers/company-deck

■ GitHub Universe 2023
https://githubuniverse.com/

■ Universe 2023: CopilotがGitHubをAIを駆使した開発者プラットフォームへと変貌させる
https://github.blog/jp/2023-11-09-universe-2023-copilot-transforms-github-into-the-ai-powered-developer-platform/

■ GitHub Universe 2023 opening keynote- Copilot in the Age of AI
https://www.youtube.com/watch?v=NrQkdDVupQE

■ GitHub Copilotの全社導入とその効果
https://techblog.zozo.com/entry/introducing_github_copilot

■ GitHub Copilot X：AIを搭載した開発者体験
https://github.blog/jp/2023-03-23-github-copilot-x-the-ai-powered-developer-experience/

■ GitHub Copilot Business について
https://docs.github.com/ja/enterprise-cloud@latest/copilot/overview-of-github-copilot/about-github-copilot-business

■ GitHub Copilot Enterprise について
https://docs.github.com/ja/copilot/github-copilot-enterprise/overview/about-github-copilot-enterprise

■ 調査：GitHub Copilotが開発者の生産性と満足度に与える影響を数値化
https://github.blog/jp/2022-09-15-research-quantifying-github-copilots-impact-on-developer-productivity-and-happiness/

■ GitHub Copilot now has a better AI model and new capabilities
https://github.blog/2023-02-14-github-copilot-now-has-a-better-ai-model-and-new-capabilities/#filtering-out-security-vulnerabilities-with-a-new-ai-system

■ 開発生産性について議論する前に知っておきたいこと
https://qiita.com/hirokidaichi/items/53f0865398829bdebef1

■ 「もったいない」マインドが逆に効率を悪くする。フロー効率とリソース効率から考えるチームで仕事をする理由
https://qiita.com/hirokidaichi/items/f59e611772c02f2e74ee

■ This is Lean
https://www.shoeisha.co.jp/book/detail/9784798169521

■ 箱猫マックス Vol.6
https://store.line.me/stickershop/product/10693777/ja

Transcript

1. GitHub Copilotは開発者の生産性 をどれだけ上げるのか？ ZOZOでの全社導入とその効果 Developers Summit 2024 (2024.2.15-16) 株式会社ZOZO 技術本部 技術戦略部 CTOブロック テックリード 堀江 亮介 Copyright © ZOZO, Inc. 1
2. © ZOZO, Inc. 株式会社ZOZO 技術本部 技術戦略部 CTOブロック テックリード 堀江 亮介 2018年 M&Aに伴い入社 ZOZOTOWN、WEARおよび新規事業での開発に従事 2022年よりCTOブロックに異動 組織横断での課題解決や技術広報業務を担当 2
3. © ZOZO, Inc. 3 ZOZOについて
4. © ZOZO, Inc. 4
5. © ZOZO, Inc. 5
6. © ZOZO, Inc. 6
7. • ファッションEC • 1,600以上のショップ、9,000以上のブランドの取り扱い • 常時95万点以上の商品アイテム数と 毎日平均2,900点以上の新着 商品を掲載 • ブランド古着のファッションゾーン「ZOZOUSED」や コスメ専門モール「ZOZOCOSME」、靴の専門モール 「ZOZOSHOES」、ラグジュアリー＆デザイナーズゾーン 「ZOZOVILLA」を展開 ※数値は2023年12月末時点
8. • ファッションコーディネートアプリ • 1,700万ダウンロード突破、 コーディネート投稿総数は1,400万件以上 • ピックアップタグから最新のトレンドをチェック • コーディネート着用アイテムを公式サイトで購入可能 • WEAR公認の人気ユーザーをWEARISTAと認定。 モデル・タレント・デザイナー・インフルエンサーといっ た各界著名人も参加 ※数値は2023年12月末時点
9. © ZOZO, Inc. 9 ZOZOにおける GitHub Copilotの利用状況
10. © ZOZO, Inc. 10 開発組織の規模 ZOZOエンジニア向け会社説明資料: https://speakerdeck.com/zozodevelopers/company-deck
11. © ZOZO, Inc. 11 GitHub Copilotの利用状況 • Total Shown: 461,836 • Total Accepts: 108,961 • Acceptance Rate: 23.59% • Line of Code Accepted: 183,943 集計期間: 2023/12/16 - 2024/02/12
12. © ZOZO, Inc. 12 GitHub Universe 2023 opening keynote- Copilot in the Age of AI: https://www.youtube.com/watch?v=NrQkdDVupQE
13. © ZOZO, Inc. 13 GitHub Universe 2023 opening keynote- Copilot in the Age of AI: https://www.youtube.com/watch?v=NrQkdDVupQE
14. © ZOZO, Inc. 14 • 「GitHub Copilotの全社導入とその効果」 • 昨年7月に記事を公開 • 記事の内容をベースとして発表 GitHub Copilotの全社導入 https://techblog.zozo.com/entry/introducing_github_copilot
15. © ZOZO, Inc. 15 今日の発表内容 • GitHub Copilotとは何か？ • 導入背景と目的 • 導入までの流れ • 導入後の効果 • まとめと今後の展望
16. © ZOZO, Inc. 16 GitHub Copilotとは何か？ https://primer.style/foundations/icons
17. © ZOZO, Inc. 17 GitHub Copilotとは何か？ • GitHub社が提供するAIペアプログラマー

18. © ZOZO, Inc. 18 GitHub Copilotとは何か？ • GitHub社が提供するAIペアプログラマー • AIのサポートを受けコードをよりすばやく記述可能

19. © ZOZO, Inc. 19 GitHub Copilotとは何か？ GitHub Universe 2023 opening keynote- Copilot in the Age of AI: https://www.youtube.com/watch?v=NrQkdDVupQE
20. © ZOZO, Inc. 20 GitHub Copilotとは何か？ • GitHub社が提供するAIペアプログラマー • AIのサポートを受けコードをよりすばやく記述可能

21. © ZOZO, Inc. 21 GitHub Copilotとは何か？ • GitHub社が提供するAIペアプログラマー • AIのサポートを受けコードをよりすばやく記述可能 • 継続的な能力の強化 ◦ かつてGitHub Copilot Xとして発表された機能群は続々と正規版に ◦ GitHub Copilot X: ソフトウェア開発ライフサイクルのすべての段階で AIを活用することを目的とした次世代のGitHub Copilotを表すビジョン GitHub Copilot X：AIを搭載した開発者体験 : https://github.blog/jp/2023-03-23-github-copilot-x-the-ai-powered-developer-experience/
22. © ZOZO, Inc. 22 GitHubはAIを駆使した開発者プラットフォームへ • Copilotの上に「再構築」されるGitHub ◦ GitHub Copilot Enterprise ▪ GitHub Copilot ChatのGitHub.comへの統合 • エディタの枠を超えて活用可能 ▪ コーディング以外の開発プロセスへのGitHub Copilotの適用 ◦ Next: GitHub Copilot Workspace ▪ Issueの起票を基点としてAIによる実装プランの策定... ▪ 開発のライフサイクル全体を通したAIのサポート 参照: GitHub Universe 2023 https://githubuniverse.com/
23. © ZOZO, Inc. 23 導入背景と目的
24. © ZOZO, Inc. • ZOZOとして実現したいことが数多く存在 • 多くの挑戦をしユーザーに新しい価値を届けたい • 開発生産性の可視化・向上が求められる 24 導入背景と目的
25. © ZOZO, Inc. 25 具体的な目標 ユーザーに届ける価値を2倍にする
26. © ZOZO, Inc. 26 開発生産性の定義（経営目線） 売上 事業部⾨の貢献 開発部⾨の貢献 KGI 市況
27. © ZOZO, Inc. 27 開発生産性の定義（経営目線） 量 質 ユーザに届ける「価値」 脆弱性対策なども含める ために「価値」とした 価値の計測 は継続検討 ⼈員増強 効率化 ビジネス価値 向上 品質向上
28. © ZOZO, Inc. 28 ユーザーへ 届ける価値 の最大化 量 × 質 の最大化 =
29. © ZOZO, Inc. 29 • 量から取り組むことを意思決定 (レベル1生産性の改善) • 質にあたるレベル2,3生産性の計測と改善はより難易度が高い • どのように向き合っていくかは継続して検討 量 × 質 の最大化にどう取り組むか 引用: 開発生産性について議論する前に知っておきたいこと https://qiita.com/hirokidaichi/items/53f0865398829bdebef1
30. © ZOZO, Inc. 30 量を最大化する戦略 • 量 = 一定期間における案件リリース数 • どう向上させていくか？ ◦ 開発効率を改善し開発速度を上げる • 開発効率をどう改善するのか？
31. © ZOZO, Inc. 31 リソース効率とフロー効率 • スループット的な速さとリードタイム的な速さ • 量の最大化 ◦ 両方の効率を向上させることで実現 引用: 「もったいない」マインドが逆に効率を悪くする。フロー効率とリソース効率から考えるチームで仕事をする理由 https://qiita.com/hirokidaichi/items/f59e611772c02f2e74ee
32. © ZOZO, Inc. 32 「完璧な状態」を目指す • 「完璧な状態」をどう目指していくか？ ◦ フロー効率を計測可能な状態へ ◦ リードタイムを計測する仕組みを構築 ◦ フロー効率から高める 効率性の孤 島 完璧な状態 荒野 効率性の海 低 高 低 高 リソース効率 フロー効率 引用: This is Lean, 効率性マトリックス https://www.shoeisha.co.jp/book/detail/9784798169521
33. © ZOZO, Inc. 33 計測している・したい指標と今後の展望 価値 量 質 ⼈員 効率 リソース効率 フロー効率 (企画発⽣からの) リードタイム計測の 仕組みを構築中 ビジネス価値の質 を上げるには? 売上以外の価値も 統⼀的に評価する指標とは？ 開発プロセスをいかに効率化できるか？
34. © ZOZO, Inc. • ZOZOとして実現したいことは「ユーザに届ける価値」の増加 • 開発組織として開発プロセス効率化へ向き合う • GitHub Copilot導入 → 開発プロセスの効率化を目的とした施策の一つ 34 GitHub Copilotをなぜ導入するのか？
35. © ZOZO, Inc. 35 GitHub Copilotが開発効率に与える影響 • GitHub社により行われた調査結果 ◦ GitHub Copilotを使用した開発者の60-75％が 開発の満足度が向上したと回答 ◦ GitHub Copilotを使用した73％の開発者が集中して作業ができたと回答 ◦ GitHub Copilotを使用した87％の開発者が繰り返し作業中の精神的疲労を 軽減できたと回答 ◦ GitHub Copilotを使用した開発者群が55％早くタスクを完了 • GitHub Copilotを導入することで開発効率を向上させる効果が期待できる 調査：GitHub Copilotが開発者の生産性と満足度に与える影響を数値化 https://github.blog/jp/2022-09-15-research-quantifying-github-copilots-impact-on-developer-productivity-and-happiness/
36. © ZOZO, Inc. 36 導入までの流れ
37. © ZOZO, Inc. • 調査と評価 • 導入計画立案 • 試験導入 • 全社展開 37 導入までの流れ
38. © ZOZO, Inc. 38 導入までのタイムライン 2023.3 2023.5 2023.4 全社展開 調査と評価 導入計画立案 試験導入 5/22 全社展開完了 2023.2 社内での盛り上がり 4/11 試験導入開始 4/28 試験の評価と導入の意思決定 5/10 社内LT大会 3/31 試験導入決定
39. © ZOZO, Inc. 39 導入までのタイムライン 2023.3 2023.5 2023.4 全社展開 調査と評価 導入計画立案 試験導入 5/22 全社展開完了 2023.2 社内での盛り上がり 4/11 試験導入開始 4/28 試験の評価と導入の意思決定 5/10 社内LT大会 3/31 試験導入決定
40. © ZOZO, Inc. • GitHub Copilotとは何か？を知る • 導入する上での課題の整理 • 課題への対策の検討 40 調査と評価
41. © ZOZO, Inc. • CTOブロック、コーポレートITブロックが共同で調査 • GitHub社へのヒアリングと相談 • GitHub社からの発表、公式ドキュメント、利用規約の確認 • 類似ツールとの比較 • 既にGitHub Copilot利用経験のある社員へのヒアリング • 社内生成AIガイドラインに準拠するか • 個人・他社の事例確認 • 自分達でも使用 41 GitHub Copilotとは何か？を知る
42. © ZOZO, Inc. • GitHub社へのヒアリングと相談 ◦ 非常に有効 ◦ ZOZOでのGitHubの利用状況・契約プランを踏まえた回答 ◦ 調査した上での詳細の確認、疑問点について直接聞けるのは◎ ◦ 同期・非同期両方の手段を活用 ▪ 疑問があれば随時Slackで確認 ▪ 円滑に全社導入完了 42 GitHub Copilotとは何か？を知る
43. © ZOZO, Inc. • 導入する上での3つの課題が明らかに ◦ セキュリティ上の懸念 ◦ ライセンス侵害のリスク ◦ 導入による費用対効果 43 導入する上での課題の整理
44. © ZOZO, Inc. • 脆弱性の混入リスク ◦ GitHub Copilotが提案するコードに脆弱性が含まれている可能性 • 社外への流出のリスク ◦ プロダクトコードがGitHub Copilotの学習データとして使用される可能性 44 導入する上での課題: セキュリティ上の懸念
45. © ZOZO, Inc. • 開発でのOSS利用はライセンス遵守が必須 ◦ ZOZOでは侵害を防ぐためにOSS利用ガイドラインを設定 • ライセンス侵害はプロダクトのコード公開や賠償請求のリスクを伴う • GitHub CopilotはGitHubのOSSソースコードを学習しており、生成するコー ドがライセンス違反に問われる可能性は存在 45 導入する上での課題: ライセンス侵害のリスク
46. © ZOZO, Inc. • GitHub Copilotの全社導入には予算が必要 ◦ 費用対効果を意識して予算を確保する必要がある • 費用対効果 ◦ 費用: GitHub Copilotの利用料金 ◦ 効果: 開発効率の向上によるコスト削減 46 導入する上での課題: 導入による費用対効果
47. © ZOZO, Inc. • セキュリティ上の懸念 ◦ 脆弱性の混入リスク ◦ 社外への流出のリスク • ライセンス侵害のリスク • 導入による費用対効果 47 課題への対策の検討
48. © ZOZO, Inc. • セキュリティ上の懸念 ◦ 脆弱性の混入リスク ◦ 社外への流出のリスク • ライセンス侵害のリスク • 導入による費用対効果 48 課題への対策の検討
49. © ZOZO, Inc. • 脆弱性の混入リスクの低減 ◦ GitHub Copilotに組み込まれたAIベースの脆弱性防止システムの利用 ◦ 開発者は自身が書いたコードの内容をGitHub Copilotの提案を含め理解 した上でPull Requestを作成 ◦ レビュアーによるコードレビューを必ず実施 49 セキュリティ上の懸念の低減 GitHub Copilot now has a better AI model and new capabilities https://github.blog/2023-02-14-github-copilot-now-has-a-better-ai-model-and-new-capabilities/#filtering-out-security-vulnerabilities-with-a-new-ai-system
50. © ZOZO, Inc. • セキュリティ上の懸念 ◦ 脆弱性の混入リスク ◦ 社外への流出のリスク • ライセンス侵害のリスク • 導入による費用対効果 50 課題への対策の検討
51. © ZOZO, Inc. • セキュリティ上の懸念 ◦ 脆弱性の混入リスク ◦ 社外への流出のリスク • ライセンス侵害のリスク • 導入による費用対効果 51 課題への対策の検討
52. © ZOZO, Inc. • セキュリティ上の懸念 ◦ 脆弱性の混入リスク ◦ 社外への流出のリスク • ライセンス侵害のリスク • 導入による費用対効果 52 課題への対策の検討 GitHub Copilot Businessを利用
53. © ZOZO, Inc. • セキュリティ(ソースコード流出)リスクの低減 ◦ プロダクトのコードはGitHub Copilotの学習に使用されない • ライセンス侵害リスクの低減 ◦ 「Suggestions matching public code」をOrganization全体に強制 ◦ GitHub Copilotの提案が GitHubのパブリックコードに一致するとブロック ◦ 第三者からの賠償請求に対しての補償 ▪ 契約内容によって異なる可能性があるので必ずGitHub社に確認 53 GitHub Copilot Business GitHub Copilot Business について: https://docs.github.com/ja/enterprise-cloud@latest/copilot/overview-of-github-copilot/about-github-copilot-business
54. © ZOZO, Inc. • セキュリティ上の懸念 ◦ 脆弱性の混入リスク ◦ 社外への流出のリスク • ライセンス侵害のリスク • 導入による費用対効果 54 課題への対策の検討
55. © ZOZO, Inc. • セキュリティ上の懸念 ◦ 脆弱性の混入リスク ◦ 社外への流出のリスク • ライセンス侵害のリスク • 導入による費用対効果 55 課題への対策の検討
56. © ZOZO, Inc. 導入による費用対効果 • GitHub Copilotによるコスト削減効果をどう見積もるか？ ◦ GitHub Copilotの試験導入を計画 ◦ 実際の開発業務でどの程度コスト削減できたかを可視化 ◦ 導入にコストメリットがあるかを確認 • 課題: 導入による費用対効果への対策 ◦ 試験導入を実施し費用対効果を検証 56
57. © ZOZO, Inc. • セキュリティ上の懸念 ◦ 脆弱性の混入リスク ◦ 社外への流出のリスク • ライセンス侵害のリスク • 導入による費用対効果 57 課題への対策の検討 対策の検討が完了 • GitHub Copilot Businessの利用 • コードレビュープロセスの遵守 • 試験導入による費用対効果の検証
58. © ZOZO, Inc. ❏ GitHub Copilotとは何か？を知る ❏ 導入する上での課題の整理 ❏ 課題への対策の検討 58 調査と評価 https://primer.style/foundations/icons/check-24
59. © ZOZO, Inc. 59 導入までのタイムライン 2023.3 2023.5 2023.4 全社展開 調査と評価 導入計画立案 試験導入 5/22 全社展開完了 2023.2 社内での盛り上がり 4/11 試験導入開始 4/28 試験の評価と導入の意思決定 5/10 社内LT大会 3/31 試験導入決定
60. © ZOZO, Inc. 60 導入までのタイムライン 2023.3 2023.5 2023.4 全社展開 調査と評価 導入計画立案 試験導入 5/22 全社展開完了 2023.2 社内での盛り上がり 4/11 試験導入開始 4/28 試験の評価と導入の意思決定 5/10 社内LT大会 3/31 試験導入決定
61. © ZOZO, Inc. • 本導入に向けた計画の立案 ◦ 試験導入の実施判断と計画 ◦ GitHub Copilotの導入背景・目的と予算感を経営層へ説明・事前共有 ▪ GitHub Copilot利用料金の見積もり • 試験導入期間 • 全社展開後Organization全体 ▪ 試験導入の実施とその結果により本導入を判断することを決定 61 導入計画立案
62. © ZOZO, Inc. • 試験対象者選出 • アンケート設計 62 試験導入の計画
63. © ZOZO, Inc. • 対象者選出の条件 ◦ 業務内容、使用するプログラミング言語、開発環境が異なる ◦ 新しいツールを試すのが得意 ◦ 導入時にチーム内で有効な活用方法を教示できる • 条件を元に社内の各マネージャーにチームから各1名を目安に選出を依頼 • 最終的に56名を対象者に選出 63 試験導入の計画: 試験対象者の選出
64. © ZOZO, Inc. 64 試験対象者が一日の仕事の中でコーディングに費やす時間
65. © ZOZO, Inc. 65 試験対象者がGitHub Copilotと共に使用したプログラミング言語
66. © ZOZO, Inc. 66 試験対象者が開発に使用したエディタ・IDE
67. © ZOZO, Inc. • GitHub社の開発者の生産性向上調査を参考に設計 • Googleフォームでアンケートを作成 67 試験導入の計画: アンケートの設計 https://github.blog/jp/2022-07-25-research-how-github-copilot-helps-improve-developer-productivity/
68. © ZOZO, Inc. 68 導入までのタイムライン 2023.3 2023.5 2023.4 全社展開 調査と評価 導入計画立案 試験導入 5/22 全社展開完了 2023.2 社内での盛り上がり 4/11 試験導入開始 4/28 試験の評価と導入の意思決定 5/10 社内LT大会 3/31 試験導入決定
69. © ZOZO, Inc. 69 導入までのタイムライン 2023.3 2023.5 2023.4 全社展開 調査と評価 導入計画立案 試験導入 5/22 全社展開完了 2023.2 社内での盛り上がり 4/11 試験導入開始 4/28 試験の評価と導入の意思決定 5/10 社内LT大会 3/31 試験導入決定
70. © ZOZO, Inc. • 試験導入の実施 • アンケート結果の集計と考察 • 費用対効果の見積もり 70 試験導入
71. © ZOZO, Inc. • 試験導入期間を2週間として実施 • 専用のSlackチャンネルを用意 ◦ GitHub Copilotを使用して得た知見を共有することを推奨 71 試験導入の実施
72. © ZOZO, Inc. 72
73. © ZOZO, Inc. 73 アンケート結果の集計と考察
74. © ZOZO, Inc. • 78.9％がGitHub Copilotを使用することでより生産的になったと回答 74 アンケート結果の集計と考察
75. © ZOZO, Inc. • 58%が1日あたり30分以上時間を節約できたと回答 75 アンケート結果の集計と考察
76. © ZOZO, Inc. • 反復的な作業への効果が非常に高い • 検索時間の削減、タスクの完了時間の短縮といった効果もみられる 76 アンケート結果の集計と考察
77. © ZOZO, Inc. • SPACEフレームワークの「満足度と幸福度」「効率とフロー」への影響 77 アンケート結果の集計と考察
78. © ZOZO, Inc. • 「満足度と幸福度」への影響 ◦ 約半数が仕事の充実感が増し、コーディング時のイライラが軽減され、よ り満足度の高い仕事に集中できると回答 78 アンケート結果の集計と考察
79. © ZOZO, Inc. • 「効率とフロー」への影響 ◦ 半数以上が作業時間の短縮、精神的な負担が軽減されると回答し、29.9% がフロー状態に入りやすいと回答 79 アンケート結果の集計と考察
80. © ZOZO, Inc. • SPACEフレームワークの「満足度と幸福度」「効率とフロー」への影響 80 アンケート結果の集計と考察
81. © ZOZO, Inc. • SPACEフレームワークの「満足度と幸福度」「効率とフロー」への影響 • GitHub Copilotを利用することで開発者の 「満足度と幸福度」「効率とフロー」に良い影響を与えている • フロー状態に入りやすいか？については「そう思う」「とてもそう思う」の回 答割合が29.9%と他の項目と比較して低い 81 アンケート結果の集計と考察
82. © ZOZO, Inc. 82 アンケート結果の集計と考察 • 「GitHub Copilotを使用することで生産的になったか」への回答 ◦ 「そう思わない」「全くそう思わない」が14.1%存在 • 職種別、言語別、開発環境別で集計 • iOS・Swift・Xcodeで「そう思わない」「全くそう思わない」の割合増加
83. © ZOZO, Inc. 83 アンケート結果の集計と考察 • 職種別「GitHub Copilotを使用することで生産的になったか」への回答
84. © ZOZO, Inc. 84 アンケート結果の集計と考察 • 言語別「GitHub Copilotを使用することで生産的になったか」への回答
85. © ZOZO, Inc. 85 アンケート結果の集計と考察 • 開発環境別「GitHub Copilotを使用することで生産的になったか」への回答
86. © ZOZO, Inc. • GitHub CopilotはZOZOの開発効率にプラスの影響を与える ◦ 78.9％がGitHub Copilotを使用することでより生産的になったと回答 ◦ 58%が1日あたり30分以上時間を節約できたと回答 ◦ 開発者の満足度と幸福度が向上し、タスクをより速く完了できる • 言語・開発環境での効果のバラつき ◦ 試験導入ではiOS・Swift・Xcodeで「そう思わない」「全くそう思わな い」が増加 ◦ GitHub CopilotのXcodeサポートが公式で提供されていない 86 アンケート結果の集計と考察: まとめ
87. © ZOZO, Inc. • 「1日あたり、GitHub Copilotを使っておおよそどれくらいの時間を節約で きましたか？」の回答から月あたりのコスト削減金額を計算 • GitHub Copilotの利用料と比較することで費用対効果を見積もる 87 費用対効果の見積もり
88. © ZOZO, Inc. • 人件費、年間休日数、1日あたりの労働時間を次のように仮定 88 費用対効果の見積もり 人件費 年間休日数 1日あたりの労働時間 800万円/年 120日 8時間 ※こちらは仮の人件費です。弊社実績とは関係ありません。
89. © ZOZO, Inc. • GitHub Copilot導入による人件費の平均削減金額 • 平均削減金額: 1日あたり最大4,917円/人、最小2,372円/人 • 月（20営業日）換算 89 費用対効果の見積もり 最大 最小 98,340円/人 47,440円/人
90. © ZOZO, Inc. • GitHub Copilotの月あたりの利用料 ◦ $19/月/人 ≒ 2,736円/人（為替レート144円13/ドルで計算） • 月1人あたりのコストメリット: 最大95,604円、最小44,704円 90 費用対効果の見積もり ※2023年6月末の為替レートを参照 最大 最小 95,604円/人 44,704円/人
91. © ZOZO, Inc. ❏ 全社導入を決定 ❏ セキュリティ上の懸念 ❏ ライセンス侵害のリスク ❏ 導入による費用対効果 91 全社導入の判断
92. © ZOZO, Inc. 92 導入までのタイムライン 2023.3 2023.5 2023.4 全社展開 調査と評価 導入計画立案 試験導入 5/22 全社展開完了 2023.2 社内での盛り上がり 4/11 試験導入開始 4/28 試験の評価と導入の意思決定 5/10 社内LT大会 3/31 試験導入決定
93. © ZOZO, Inc. 93 導入までのタイムライン 2023.3 2023.5 2023.4 全社展開 調査と評価 導入計画立案 試験導入 5/22 全社展開完了 2023.2 社内での盛り上がり 4/11 試験導入開始 4/28 試験の評価と導入の意思決定 5/10 社内LT大会 3/31 試験導入決定
94. © ZOZO, Inc. • GitHub Copilot利用環境の整備 ◦ 全社に対してGitHub Copilot利用希望者のリストアップ ◦ 利用料金の見積もりと稟議申請 ◦ 社内承認フロー、運用ルールの整備 • GitHub Copilotについての知見の共有 ◦ 開発者がGitHub Copilotの様々な使い方を知ることは活用する上で重要 ◦ LT会の実施 ◦ 試験導入の連絡用チャンネルを情報共有チャンネルとして転用 ◦ GitHub Copilot活用に関するtipsを集約 94 全社展開
95. © ZOZO, Inc. • LT会の実施 ◦ 登壇者は試験導入への参加者の中から8名に依頼 ◦ 様々な言語・フレームワークとGitHub Copilotの組み合わせ ◦ 社内から約200名が参加 95 全社展開
96. © ZOZO, Inc. 96 LT会の実施 タイトル GitHub Copilot × 言語・フレームワーク GitHub CopilotとAndroid開発 GitHub Copilot × Kotlin/Java PowerShellでGitHub Copilot利用 GitHub Copilot × PowerShell How to use Copilot Successfully with jQuery GitHub Copilot × jQuery Terraform, YAMLでの利用例 GitHub Copilot × Terraform/YAML GitHub Copilotを使ってみた感想 GitHub Copilot × Java iOSアプリ開発におけるGitHub Copilotの活用方法 GitHub Copilot × Swift Copilot使ってみてLT GitHub Copilot × TypeScript GitHub Copilot × VBScript GitHub Copilot × VBScript
97. © ZOZO, Inc. 97
98. © ZOZO, Inc. 98
99. © ZOZO, Inc. 99 導入後の効果
100. © ZOZO, Inc. 100 導入後の効果 • GitHub Copilotの全社導入から半年以上が経過 • 全社導入前後と2024年1月現在で定性/定量面でどのような変化があったか • アンケートの結果と各種指標の紹介
101. © ZOZO, Inc. 101 定性面: アンケート結果について
102. © ZOZO, Inc. 102 導入後の効果: 回答者が一日の仕事の中でコーディングに費やす時間
103. © ZOZO, Inc. 103 導入後の効果: 回答者が使用したプログラミング言語
104. © ZOZO, Inc. 104 導入後の効果: 回答者が使用したエディタ・IDE
105. © ZOZO, Inc. 105 導入後の効果: GitHub Copilotを使用することで生産的になったか？ • GitHub Copilotを使用することでより生産的になったと89.4%が回答 • 試験導入時との比較では78.9％から10.5%の増加 GitHub Copilotを使用することでより生産的になった。への回答
106. © ZOZO, Inc. 106 導入後の効果: 1日あたり節約できた時間 • 54.4%が1日あたり30分以上時間を節約できたと回答 • 試験導入時との比較で58％から3.6%の減少 1日あたり、Copilotを使っておおよそどれくらいの時間を節約できましたか？ への回答
107. © ZOZO, Inc. 107 導入後の効果: 1日あたり節約できた時間 • 15-30分節約できたか？を加えて集計 • 76.2%が15分以上節約できたと回答
108. © ZOZO, Inc. 108 導入後の効果 • 93.7%開発者は何らかの時間節約効果を実感 • 1日あたり1時間未満の時間節約効果を実感する開発者がほとんど • 1時間以上節約できた回答者にはどのような傾向があるのか？
109. © ZOZO, Inc. 109 1時間以上節約できたと回答した職種
110. © ZOZO, Inc. 110 1時間以上節約できたと回答した回答者が使用した言語
111. © ZOZO, Inc. 111 1時間以上節約できたと回答した回答者の属性 • 検索/推薦/機械学習エンジニア × Pythonの組み合わせが最多 • 回答者の所属部署を確認 • 特定のグループに回答者が集中 ◦ 同じ部の複数のブロックに跨って分布 ◦ 回答者にヒアリングを実施
112. © ZOZO, Inc. 112 回答者へのヒアリングでわかったこと • 業務上LLMについてチームで話すことが多い • GitHub Copilotについて 「便利なものだとわかってはいるけど使いこなせ ない・使いこなせているかよくわからん」 • 組織横断でLLMの活用方法について勉強会を開催 ◦ GitHub Copilotの使い方について発表 ◦ 1時間以上節約したと回答した回答者が勉強会 に参加
113. © ZOZO, Inc. 113 導入後の効果 • GitHub Copilotによる時間節約の効果 ◦ 導入することで開発者は何らかの時間節約効果を実感 ◦ 効果を向上させるためには習熟が必要 ◦ 社内での知見共有は有効
114. © ZOZO, Inc. 114 導入後の効果: 「満足度と幸福度」への影響 • 半数以上が仕事の充実感が増し、コーディング時のイライラが軽減され、よ り満足度の高い仕事に集中できると回答
115. © ZOZO, Inc. 115 導入後の効果: 「効率とフロー」への影響 • 半数以上が作業時間の短縮、精神的な負担が軽減されると回答 • 41.7%がフロー状態に入りやすいと回答。試験導入時との比較で11.8%増加
116. © ZOZO, Inc. • 試験導入時との比較で全ての項目で 「そう思う」「とてもそう思う」の回答が増加 • GitHub Copilotの導入は導入後半年以上時間が経過した時点でも 開発者の「満足度と幸福度」「効率とフロー」に良い影響を与えている • フロー状態に入りやすいか？への回答 ◦ 41.7%が入りやすいと回答 ◦ 回答の傾向: 一日の中でコーディングに費やす時間が長いほどフロー状 態に入りやすいと回答 116 導入後の効果: 「満足度と幸福度」「効率とフロー」への影響
117. © ZOZO, Inc. 117 「満足度と幸福度」「効率とフロー」とエンゲージメントスコア • Wevoxでの従業員エンゲージメントサーベイを定期的に実施 • GitHub Copilotの導入前後でスコアに変化があったか？ • 開発部門のスコアに目立った変化はなし https://get.wevox.io/
118. © ZOZO, Inc. 118 定量面: 各種指標について
119. © ZOZO, Inc. 119 導入後の効果 • ZOZOTOWN開発本部の事例 • 全体の傾向としてリードタイムは減少傾向、Pull Request数は増加傾向 Findy Team+による計測結果より引用 5/22 全社展開
120. © ZOZO, Inc. 120 導入後の効果 • GitHub Copilotはどの指標に影響を与えるのか？ • コーディングプロセスへの影響が支配的と推測 • 最初にコードをコミットしてからPull Request作成までの時間を確認
121. © ZOZO, Inc. 121 導入後の効果 • サイクルタイム全体も減少傾向 5/22 全社展開 Findy Team+による計測結果より引用 コミットからオープンまでの平均時間 オープンからレビューまでの平均時間 レビューからアプルーブまでの平均時間 アプルーブからマージまでの平均時間
122. © ZOZO, Inc. 122 導入後の効果 • コミットからオープンまでの平均時間 • GitHub Copilot導入前後8ヶ月間の平均で22%改善 5/22 全社展開 Findy Team+による計測結果より引用 コミットからオープンまでの平均時間
123. © ZOZO, Inc. 123 導入後の効果 • 各種指標は改善傾向にあるがGitHub Copilotの導入との因果関係は不明確 • 因果関係を確認するにはA/Bテストのような対照実験が必要 • アンケート結果からZOZOにとって有用な機能であると判断
124. © ZOZO, Inc. 124 まとめと今後の展望
125. © ZOZO, Inc. • アンケートによる定性評価ではGitHub Copilotの導入は開発効率の改善に役 立ち、費用対効果も高いと判断し全社導入 • 各種指標は改善傾向 ◦ ただしGitHub Copilot導入との相関・因果関係は明確ではない • 現時点ではZOZOにとって有効な機能だと判断 125 まとめと今後の展望
126. © ZOZO, Inc. 126 まとめと今後の展望 • コードレビュー時間に改善の余地 • AIによる一次レビューの導入を検討 Findy Team+による計測結果より引用
127. © ZOZO, Inc. • GitHub Copilot Chatが2024年1月からZOZO全社で有効化 • 近日中: GitHub.com、モバイルアプリでGitHub Copilot Chatが利用可能に 127 まとめと今後の展望 GitHub Universe 2023 opening keynote- Copilot in the Age of AI: https://www.youtube.com/watch?v=NrQkdDVupQE
128. © ZOZO, Inc. • 2月GitHub Copilot Enterpriseが一般提供開始予定 • Pull Requestサマリー、コードレビュー、ドキュメ ントの検索と要約、Chatのパーソナライズ、fine チューンモデル • コーディング以外の開発プロセスへのGitHub Copilotの適用 128 まとめと今後の展望 GitHub Universe 2023 opening keynote- Copilot in the Age of AI: https://youtu.be/NrQkdDVupQE?si=lcx5xi5BE_auXMoH
129. © ZOZO, Inc. • 「 」スマートアクションがGitHub.com全体で利用可能に 129 まとめと今後の展望 https://docs.github.com/ja/enterprise-cloud@latest/copilot/github-copilot-enterprise/copilot-pull-request-summaries/creating-a-pull-request-summary-with-github-copilot
130. © ZOZO, Inc. 130 • 2024年 GitHub Copilot Workspace ◦ Issueを基点として意図した変更を実装するためのプランを提案 ◦ Copilot Workspaceでコードをビルド、実行、テスト ◦ プロジェクトの隅々までを知っているパートナーとのペアプロ • 開発サイクル全体を通してのAIの活用へ まとめと今後の展望 https://github.blog/jp/2023-11-09-universe-2023-copilot-transforms-github-into-the-ai-powered-developer-platform
131. © ZOZO, Inc. 131 • GitHub Copilotの導入は開発効率の改善に役立ち、費用対効果も高いと判断 • ソフトウェア開発でAIを活用する場面は拡大 • ZOZOの目標は「ユーザに届ける価値」を増やすこと • ビジネスと開発の両方でAIを活用し目標の実現に向けて取り組む まとめと今後の展望