GitHub Copilotは開発者の生産性をどれだけ上げるのか?ZOZOでの全社導入とその効果 / How Much Does GitHub Copilot Improve Developer Productivity? The Company-wide Implementation and Its Effects at ZOZO
by
Ryosuke Horie
×
Copy
Open
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Slide 1
Slide 1 text
GitHub Copilotは開発者の生産性 をどれだけ上げるのか? ZOZOでの全社導入とその効果 Developers Summit 2024 (2024.2.15-16) 株式会社ZOZO 技術本部 技術戦略部 CTOブロック テックリード 堀江 亮介 Copyright © ZOZO, Inc. 1
Slide 2
Slide 2 text
© ZOZO, Inc. 株式会社ZOZO 技術本部 技術戦略部 CTOブロック テックリード 堀江 亮介 2018年 M&Aに伴い入社 ZOZOTOWN、WEARおよび新規事業での開発に従事 2022年よりCTOブロックに異動 組織横断での課題解決や技術広報業務を担当 2
Slide 3
Slide 3 text
© ZOZO, Inc. 3 ZOZOについて
Slide 4
Slide 4 text
© ZOZO, Inc. 4
Slide 5
Slide 5 text
© ZOZO, Inc. 5
Slide 6
Slide 6 text
© ZOZO, Inc. 6
Slide 7
Slide 7 text
● ファッションEC ● 1,600以上のショップ、9,000以上のブランドの取り扱い ● 常時95万点以上の商品アイテム数と 毎日平均2,900点以上の新着 商品を掲載 ● ブランド古着のファッションゾーン「ZOZOUSED」や コスメ専門モール「ZOZOCOSME」、靴の専門モール 「ZOZOSHOES」、ラグジュアリー&デザイナーズゾーン 「ZOZOVILLA」を展開 ※数値は2023年12月末時点
Slide 8
Slide 8 text
● ファッションコーディネートアプリ ● 1,700万ダウンロード突破、 コーディネート投稿総数は1,400万件以上 ● ピックアップタグから最新のトレンドをチェック ● コーディネート着用アイテムを公式サイトで購入可能 ● WEAR公認の人気ユーザーをWEARISTAと認定。 モデル・タレント・デザイナー・インフルエンサーといっ た各界著名人も参加 ※数値は2023年12月末時点
Slide 9
Slide 9 text
© ZOZO, Inc. 9 ZOZOにおける GitHub Copilotの利用状況
Slide 10
Slide 10 text
© ZOZO, Inc. 10 開発組織の規模 ZOZOエンジニア向け会社説明資料: https://speakerdeck.com/zozodevelopers/company-deck
Slide 11
Slide 11 text
© ZOZO, Inc. 11 GitHub Copilotの利用状況 ● Total Shown: 461,836 ● Total Accepts: 108,961 ● Acceptance Rate: 23.59% ● Line of Code Accepted: 183,943 集計期間: 2023/12/16 - 2024/02/12
Slide 12
Slide 12 text
© ZOZO, Inc. 12 GitHub Universe 2023 opening keynote- Copilot in the Age of AI: https://www.youtube.com/watch?v=NrQkdDVupQE
Slide 13
Slide 13 text
© ZOZO, Inc. 13 GitHub Universe 2023 opening keynote- Copilot in the Age of AI: https://www.youtube.com/watch?v=NrQkdDVupQE
Slide 14
Slide 14 text
© ZOZO, Inc. 14 ● 「GitHub Copilotの全社導入とその効果」 ● 昨年7月に記事を公開 ● 記事の内容をベースとして発表 GitHub Copilotの全社導入 https://techblog.zozo.com/entry/introducing_github_copilot
Slide 15
Slide 15 text
© ZOZO, Inc. 15 今日の発表内容 ● GitHub Copilotとは何か? ● 導入背景と目的 ● 導入までの流れ ● 導入後の効果 ● まとめと今後の展望
Slide 16
Slide 16 text
© ZOZO, Inc. 16 GitHub Copilotとは何か? https://primer.style/foundations/icons
Slide 17
Slide 17 text
© ZOZO, Inc. 17 GitHub Copilotとは何か? ● GitHub社が提供するAIペアプログラマー
Slide 18
Slide 18 text
© ZOZO, Inc. 18 GitHub Copilotとは何か? ● GitHub社が提供するAIペアプログラマー ● AIのサポートを受けコードをよりすばやく記述可能
Slide 19
Slide 19 text
© ZOZO, Inc. 19 GitHub Copilotとは何か? GitHub Universe 2023 opening keynote- Copilot in the Age of AI: https://www.youtube.com/watch?v=NrQkdDVupQE
Slide 20
Slide 20 text
© ZOZO, Inc. 20 GitHub Copilotとは何か? ● GitHub社が提供するAIペアプログラマー ● AIのサポートを受けコードをよりすばやく記述可能
Slide 21
Slide 21 text
© ZOZO, Inc. 21 GitHub Copilotとは何か? ● GitHub社が提供するAIペアプログラマー ● AIのサポートを受けコードをよりすばやく記述可能 ● 継続的な能力の強化 ○ かつてGitHub Copilot Xとして発表された機能群は続々と正規版に ○ GitHub Copilot X: ソフトウェア開発ライフサイクルのすべての段階で AIを活用することを目的とした次世代のGitHub Copilotを表すビジョン GitHub Copilot X:AIを搭載した開発者体験 : https://github.blog/jp/2023-03-23-github-copilot-x-the-ai-powered-developer-experience/
Slide 22
Slide 22 text
© ZOZO, Inc. 22 GitHubはAIを駆使した開発者プラットフォームへ ● Copilotの上に「再構築」されるGitHub ○ GitHub Copilot Enterprise ■ GitHub Copilot ChatのGitHub.comへの統合 ● エディタの枠を超えて活用可能 ■ コーディング以外の開発プロセスへのGitHub Copilotの適用 ○ Next: GitHub Copilot Workspace ■ Issueの起票を基点としてAIによる実装プランの策定... ■ 開発のライフサイクル全体を通したAIのサポート 参照: GitHub Universe 2023 https://githubuniverse.com/
Slide 23
Slide 23 text
© ZOZO, Inc. 23 導入背景と目的
Slide 24
Slide 24 text
© ZOZO, Inc. ● ZOZOとして実現したいことが数多く存在 ● 多くの挑戦をしユーザーに新しい価値を届けたい ● 開発生産性の可視化・向上が求められる 24 導入背景と目的
Slide 25
Slide 25 text
© ZOZO, Inc. 25 具体的な目標 ユーザーに届ける価値を2倍にする
Slide 26
Slide 26 text
© ZOZO, Inc. 26 開発生産性の定義(経営目線) 売上 事業部⾨の貢献 開発部⾨の貢献 KGI 市況
Slide 27
Slide 27 text
© ZOZO, Inc. 27 開発生産性の定義(経営目線) 量 質 ユーザに届ける「価値」 脆弱性対策なども含める ために「価値」とした 価値の計測 は継続検討 ⼈員増強 効率化 ビジネス価値 向上 品質向上
Slide 28
Slide 28 text
© ZOZO, Inc. 28 ユーザーへ 届ける価値 の最大化 量 × 質 の最大化 =
Slide 29
Slide 29 text
© ZOZO, Inc. 29 ● 量から取り組むことを意思決定 (レベル1生産性の改善) ● 質にあたるレベル2,3生産性の計測と改善はより難易度が高い ● どのように向き合っていくかは継続して検討 量 × 質 の最大化にどう取り組むか 引用: 開発生産性について議論する前に知っておきたいこと https://qiita.com/hirokidaichi/items/53f0865398829bdebef1
Slide 30
Slide 30 text
© ZOZO, Inc. 30 量を最大化する戦略 ● 量 = 一定期間における案件リリース数 ● どう向上させていくか? ○ 開発効率を改善し開発速度を上げる ● 開発効率をどう改善するのか?
Slide 31
Slide 31 text
© ZOZO, Inc. 31 リソース効率とフロー効率 ● スループット的な速さとリードタイム的な速さ ● 量の最大化 ○ 両方の効率を向上させることで実現 引用: 「もったいない」マインドが逆に効率を悪くする。フロー効率とリソース効率から考えるチームで仕事をする理由 https://qiita.com/hirokidaichi/items/f59e611772c02f2e74ee
Slide 32
Slide 32 text
© ZOZO, Inc. 32 「完璧な状態」を目指す ● 「完璧な状態」をどう目指していくか? ○ フロー効率を計測可能な状態へ ○ リードタイムを計測する仕組みを構築 ○ フロー効率から高める 効率性の孤 島 完璧な状態 荒野 効率性の海 低 高 低 高 リソース効率 フロー効率 引用: This is Lean, 効率性マトリックス https://www.shoeisha.co.jp/book/detail/9784798169521
Slide 33
Slide 33 text
© ZOZO, Inc. 33 計測している・したい指標と今後の展望 価値 量 質 ⼈員 効率 リソース効率 フロー効率 (企画発⽣からの) リードタイム計測の 仕組みを構築中 ビジネス価値の質 を上げるには? 売上以外の価値も 統⼀的に評価する指標とは? 開発プロセスをいかに効率化できるか?
Slide 34
Slide 34 text
© ZOZO, Inc. ● ZOZOとして実現したいことは「ユーザに届ける価値」の増加 ● 開発組織として開発プロセス効率化へ向き合う ● GitHub Copilot導入 → 開発プロセスの効率化を目的とした施策の一つ 34 GitHub Copilotをなぜ導入するのか?
Slide 35
Slide 35 text
© ZOZO, Inc. 35 GitHub Copilotが開発効率に与える影響 ● GitHub社により行われた調査結果 ○ GitHub Copilotを使用した開発者の60-75%が 開発の満足度が向上したと回答 ○ GitHub Copilotを使用した73%の開発者が集中して作業ができたと回答 ○ GitHub Copilotを使用した87%の開発者が繰り返し作業中の精神的疲労を 軽減できたと回答 ○ GitHub Copilotを使用した開発者群が55%早くタスクを完了 ● GitHub Copilotを導入することで開発効率を向上させる効果が期待できる 調査:GitHub Copilotが開発者の生産性と満足度に与える影響を数値化 https://github.blog/jp/2022-09-15-research-quantifying-github-copilots-impact-on-developer-productivity-and-happiness/
Slide 36
Slide 36 text
© ZOZO, Inc. 36 導入までの流れ
Slide 37
Slide 37 text
© ZOZO, Inc. ● 調査と評価 ● 導入計画立案 ● 試験導入 ● 全社展開 37 導入までの流れ
Slide 38
Slide 38 text
© ZOZO, Inc. 38 導入までのタイムライン 2023.3 2023.5 2023.4 全社展開 調査と評価 導入計画立案 試験導入 5/22 全社展開完了 2023.2 社内での盛り上がり 4/11 試験導入開始 4/28 試験の評価と導入の意思決定 5/10 社内LT大会 3/31 試験導入決定
Slide 39
Slide 39 text
© ZOZO, Inc. 39 導入までのタイムライン 2023.3 2023.5 2023.4 全社展開 調査と評価 導入計画立案 試験導入 5/22 全社展開完了 2023.2 社内での盛り上がり 4/11 試験導入開始 4/28 試験の評価と導入の意思決定 5/10 社内LT大会 3/31 試験導入決定
Slide 40
Slide 40 text
© ZOZO, Inc. ● GitHub Copilotとは何か?を知る ● 導入する上での課題の整理 ● 課題への対策の検討 40 調査と評価
Slide 41
Slide 41 text
© ZOZO, Inc. ● CTOブロック、コーポレートITブロックが共同で調査 ● GitHub社へのヒアリングと相談 ● GitHub社からの発表、公式ドキュメント、利用規約の確認 ● 類似ツールとの比較 ● 既にGitHub Copilot利用経験のある社員へのヒアリング ● 社内生成AIガイドラインに準拠するか ● 個人・他社の事例確認 ● 自分達でも使用 41 GitHub Copilotとは何か?を知る
Slide 42
Slide 42 text
© ZOZO, Inc. ● GitHub社へのヒアリングと相談 ○ 非常に有効 ○ ZOZOでのGitHubの利用状況・契約プランを踏まえた回答 ○ 調査した上での詳細の確認、疑問点について直接聞けるのは◎ ○ 同期・非同期両方の手段を活用 ■ 疑問があれば随時Slackで確認 ■ 円滑に全社導入完了 42 GitHub Copilotとは何か?を知る
Slide 43
Slide 43 text
© ZOZO, Inc. ● 導入する上での3つの課題が明らかに ○ セキュリティ上の懸念 ○ ライセンス侵害のリスク ○ 導入による費用対効果 43 導入する上での課題の整理
Slide 44
Slide 44 text
© ZOZO, Inc. ● 脆弱性の混入リスク ○ GitHub Copilotが提案するコードに脆弱性が含まれている可能性 ● 社外への流出のリスク ○ プロダクトコードがGitHub Copilotの学習データとして使用される可能性 44 導入する上での課題: セキュリティ上の懸念
Slide 45
Slide 45 text
© ZOZO, Inc. ● 開発でのOSS利用はライセンス遵守が必須 ○ ZOZOでは侵害を防ぐためにOSS利用ガイドラインを設定 ● ライセンス侵害はプロダクトのコード公開や賠償請求のリスクを伴う ● GitHub CopilotはGitHubのOSSソースコードを学習しており、生成するコー ドがライセンス違反に問われる可能性は存在 45 導入する上での課題: ライセンス侵害のリスク
Slide 46
Slide 46 text
© ZOZO, Inc. ● GitHub Copilotの全社導入には予算が必要 ○ 費用対効果を意識して予算を確保する必要がある ● 費用対効果 ○ 費用: GitHub Copilotの利用料金 ○ 効果: 開発効率の向上によるコスト削減 46 導入する上での課題: 導入による費用対効果
Slide 47
Slide 47 text
© ZOZO, Inc. ● セキュリティ上の懸念 ○ 脆弱性の混入リスク ○ 社外への流出のリスク ● ライセンス侵害のリスク ● 導入による費用対効果 47 課題への対策の検討
Slide 48
Slide 48 text
© ZOZO, Inc. ● セキュリティ上の懸念 ○ 脆弱性の混入リスク ○ 社外への流出のリスク ● ライセンス侵害のリスク ● 導入による費用対効果 48 課題への対策の検討
Slide 49
Slide 49 text
© ZOZO, Inc. ● 脆弱性の混入リスクの低減 ○ GitHub Copilotに組み込まれたAIベースの脆弱性防止システムの利用 ○ 開発者は自身が書いたコードの内容をGitHub Copilotの提案を含め理解 した上でPull Requestを作成 ○ レビュアーによるコードレビューを必ず実施 49 セキュリティ上の懸念の低減 GitHub Copilot now has a better AI model and new capabilities https://github.blog/2023-02-14-github-copilot-now-has-a-better-ai-model-and-new-capabilities/#filtering-out-security-vulnerabilities-with-a-new-ai-system
Slide 50
Slide 50 text
© ZOZO, Inc. ● セキュリティ上の懸念 ○ 脆弱性の混入リスク ○ 社外への流出のリスク ● ライセンス侵害のリスク ● 導入による費用対効果 50 課題への対策の検討
Slide 51
Slide 51 text
© ZOZO, Inc. ● セキュリティ上の懸念 ○ 脆弱性の混入リスク ○ 社外への流出のリスク ● ライセンス侵害のリスク ● 導入による費用対効果 51 課題への対策の検討
Slide 52
Slide 52 text
© ZOZO, Inc. ● セキュリティ上の懸念 ○ 脆弱性の混入リスク ○ 社外への流出のリスク ● ライセンス侵害のリスク ● 導入による費用対効果 52 課題への対策の検討 GitHub Copilot Businessを利用
Slide 53
Slide 53 text
© ZOZO, Inc. ● セキュリティ(ソースコード流出)リスクの低減 ○ プロダクトのコードはGitHub Copilotの学習に使用されない ● ライセンス侵害リスクの低減 ○ 「Suggestions matching public code」をOrganization全体に強制 ○ GitHub Copilotの提案が GitHubのパブリックコードに一致するとブロック ○ 第三者からの賠償請求に対しての補償 ■ 契約内容によって異なる可能性があるので必ずGitHub社に確認 53 GitHub Copilot Business GitHub Copilot Business について: https://docs.github.com/ja/enterprise-cloud@latest/copilot/overview-of-github-copilot/about-github-copilot-business
Slide 54
Slide 54 text
© ZOZO, Inc. ● セキュリティ上の懸念 ○ 脆弱性の混入リスク ○ 社外への流出のリスク ● ライセンス侵害のリスク ● 導入による費用対効果 54 課題への対策の検討
Slide 55
Slide 55 text
© ZOZO, Inc. ● セキュリティ上の懸念 ○ 脆弱性の混入リスク ○ 社外への流出のリスク ● ライセンス侵害のリスク ● 導入による費用対効果 55 課題への対策の検討
Slide 56
Slide 56 text
© ZOZO, Inc. 導入による費用対効果 ● GitHub Copilotによるコスト削減効果をどう見積もるか? ○ GitHub Copilotの試験導入を計画 ○ 実際の開発業務でどの程度コスト削減できたかを可視化 ○ 導入にコストメリットがあるかを確認 ● 課題: 導入による費用対効果への対策 ○ 試験導入を実施し費用対効果を検証 56
Slide 57
Slide 57 text
© ZOZO, Inc. ● セキュリティ上の懸念 ○ 脆弱性の混入リスク ○ 社外への流出のリスク ● ライセンス侵害のリスク ● 導入による費用対効果 57 課題への対策の検討 対策の検討が完了 ● GitHub Copilot Businessの利用 ● コードレビュープロセスの遵守 ● 試験導入による費用対効果の検証
Slide 58
Slide 58 text
© ZOZO, Inc. ❏ GitHub Copilotとは何か?を知る ❏ 導入する上での課題の整理 ❏ 課題への対策の検討 58 調査と評価 https://primer.style/foundations/icons/check-24
Slide 59
Slide 59 text
© ZOZO, Inc. 59 導入までのタイムライン 2023.3 2023.5 2023.4 全社展開 調査と評価 導入計画立案 試験導入 5/22 全社展開完了 2023.2 社内での盛り上がり 4/11 試験導入開始 4/28 試験の評価と導入の意思決定 5/10 社内LT大会 3/31 試験導入決定
Slide 60
Slide 60 text
© ZOZO, Inc. 60 導入までのタイムライン 2023.3 2023.5 2023.4 全社展開 調査と評価 導入計画立案 試験導入 5/22 全社展開完了 2023.2 社内での盛り上がり 4/11 試験導入開始 4/28 試験の評価と導入の意思決定 5/10 社内LT大会 3/31 試験導入決定
Slide 61
Slide 61 text
© ZOZO, Inc. ● 本導入に向けた計画の立案 ○ 試験導入の実施判断と計画 ○ GitHub Copilotの導入背景・目的と予算感を経営層へ説明・事前共有 ■ GitHub Copilot利用料金の見積もり ● 試験導入期間 ● 全社展開後Organization全体 ■ 試験導入の実施とその結果により本導入を判断することを決定 61 導入計画立案
Slide 62
Slide 62 text
© ZOZO, Inc. ● 試験対象者選出 ● アンケート設計 62 試験導入の計画
Slide 63
Slide 63 text
© ZOZO, Inc. ● 対象者選出の条件 ○ 業務内容、使用するプログラミング言語、開発環境が異なる ○ 新しいツールを試すのが得意 ○ 導入時にチーム内で有効な活用方法を教示できる ● 条件を元に社内の各マネージャーにチームから各1名を目安に選出を依頼 ● 最終的に56名を対象者に選出 63 試験導入の計画: 試験対象者の選出
Slide 64
Slide 64 text
© ZOZO, Inc. 64 試験対象者が一日の仕事の中でコーディングに費やす時間
Slide 65
Slide 65 text
© ZOZO, Inc. 65 試験対象者がGitHub Copilotと共に使用したプログラミング言語
Slide 66
Slide 66 text
© ZOZO, Inc. 66 試験対象者が開発に使用したエディタ・IDE
Slide 67
Slide 67 text
© ZOZO, Inc. ● GitHub社の開発者の生産性向上調査を参考に設計 ● Googleフォームでアンケートを作成 67 試験導入の計画: アンケートの設計 https://github.blog/jp/2022-07-25-research-how-github-copilot-helps-improve-developer-productivity/
Slide 68
Slide 68 text
© ZOZO, Inc. 68 導入までのタイムライン 2023.3 2023.5 2023.4 全社展開 調査と評価 導入計画立案 試験導入 5/22 全社展開完了 2023.2 社内での盛り上がり 4/11 試験導入開始 4/28 試験の評価と導入の意思決定 5/10 社内LT大会 3/31 試験導入決定
Slide 69
Slide 69 text
© ZOZO, Inc. 69 導入までのタイムライン 2023.3 2023.5 2023.4 全社展開 調査と評価 導入計画立案 試験導入 5/22 全社展開完了 2023.2 社内での盛り上がり 4/11 試験導入開始 4/28 試験の評価と導入の意思決定 5/10 社内LT大会 3/31 試験導入決定
Slide 70
Slide 70 text
© ZOZO, Inc. ● 試験導入の実施 ● アンケート結果の集計と考察 ● 費用対効果の見積もり 70 試験導入
Slide 71
Slide 71 text
© ZOZO, Inc. ● 試験導入期間を2週間として実施 ● 専用のSlackチャンネルを用意 ○ GitHub Copilotを使用して得た知見を共有することを推奨 71 試験導入の実施
Slide 72
Slide 72 text
© ZOZO, Inc. 72
Slide 73
Slide 73 text
© ZOZO, Inc. 73 アンケート結果の集計と考察
Slide 74
Slide 74 text
© ZOZO, Inc. ● 78.9%がGitHub Copilotを使用することでより生産的になったと回答 74 アンケート結果の集計と考察
Slide 75
Slide 75 text
© ZOZO, Inc. ● 58%が1日あたり30分以上時間を節約できたと回答 75 アンケート結果の集計と考察
Slide 76
Slide 76 text
© ZOZO, Inc. ● 反復的な作業への効果が非常に高い ● 検索時間の削減、タスクの完了時間の短縮といった効果もみられる 76 アンケート結果の集計と考察
Slide 77
Slide 77 text
© ZOZO, Inc. ● SPACEフレームワークの「満足度と幸福度」「効率とフロー」への影響 77 アンケート結果の集計と考察
Slide 78
Slide 78 text
© ZOZO, Inc. ● 「満足度と幸福度」への影響 ○ 約半数が仕事の充実感が増し、コーディング時のイライラが軽減され、よ り満足度の高い仕事に集中できると回答 78 アンケート結果の集計と考察
Slide 79
Slide 79 text
© ZOZO, Inc. ● 「効率とフロー」への影響 ○ 半数以上が作業時間の短縮、精神的な負担が軽減されると回答し、29.9% がフロー状態に入りやすいと回答 79 アンケート結果の集計と考察
Slide 80
Slide 80 text
© ZOZO, Inc. ● SPACEフレームワークの「満足度と幸福度」「効率とフロー」への影響 80 アンケート結果の集計と考察
Slide 81
Slide 81 text
© ZOZO, Inc. ● SPACEフレームワークの「満足度と幸福度」「効率とフロー」への影響 ● GitHub Copilotを利用することで開発者の 「満足度と幸福度」「効率とフロー」に良い影響を与えている ● フロー状態に入りやすいか?については「そう思う」「とてもそう思う」の回 答割合が29.9%と他の項目と比較して低い 81 アンケート結果の集計と考察
Slide 82
Slide 82 text
© ZOZO, Inc. 82 アンケート結果の集計と考察 ● 「GitHub Copilotを使用することで生産的になったか」への回答 ○ 「そう思わない」「全くそう思わない」が14.1%存在 ● 職種別、言語別、開発環境別で集計 ● iOS・Swift・Xcodeで「そう思わない」「全くそう思わない」の割合増加
Slide 83
Slide 83 text
© ZOZO, Inc. 83 アンケート結果の集計と考察 ● 職種別「GitHub Copilotを使用することで生産的になったか」への回答
Slide 84
Slide 84 text
© ZOZO, Inc. 84 アンケート結果の集計と考察 ● 言語別「GitHub Copilotを使用することで生産的になったか」への回答
Slide 85
Slide 85 text
© ZOZO, Inc. 85 アンケート結果の集計と考察 ● 開発環境別「GitHub Copilotを使用することで生産的になったか」への回答
Slide 86
Slide 86 text
© ZOZO, Inc. ● GitHub CopilotはZOZOの開発効率にプラスの影響を与える ○ 78.9%がGitHub Copilotを使用することでより生産的になったと回答 ○ 58%が1日あたり30分以上時間を節約できたと回答 ○ 開発者の満足度と幸福度が向上し、タスクをより速く完了できる ● 言語・開発環境での効果のバラつき ○ 試験導入ではiOS・Swift・Xcodeで「そう思わない」「全くそう思わな い」が増加 ○ GitHub CopilotのXcodeサポートが公式で提供されていない 86 アンケート結果の集計と考察: まとめ
Slide 87
Slide 87 text
© ZOZO, Inc. ● 「1日あたり、GitHub Copilotを使っておおよそどれくらいの時間を節約で きましたか?」の回答から月あたりのコスト削減金額を計算 ● GitHub Copilotの利用料と比較することで費用対効果を見積もる 87 費用対効果の見積もり
Slide 88
Slide 88 text
© ZOZO, Inc. ● 人件費、年間休日数、1日あたりの労働時間を次のように仮定 88 費用対効果の見積もり 人件費 年間休日数 1日あたりの労働時間 800万円/年 120日 8時間 ※こちらは仮の人件費です。弊社実績とは関係ありません。
Slide 89
Slide 89 text
© ZOZO, Inc. ● GitHub Copilot導入による人件費の平均削減金額 ● 平均削減金額: 1日あたり最大4,917円/人、最小2,372円/人 ● 月(20営業日)換算 89 費用対効果の見積もり 最大 最小 98,340円/人 47,440円/人
Slide 90
Slide 90 text
© ZOZO, Inc. ● GitHub Copilotの月あたりの利用料 ○ $19/月/人 ≒ 2,736円/人(為替レート144円13/ドルで計算) ● 月1人あたりのコストメリット: 最大95,604円、最小44,704円 90 費用対効果の見積もり ※2023年6月末の為替レートを参照 最大 最小 95,604円/人 44,704円/人
Slide 91
Slide 91 text
© ZOZO, Inc. ❏ 全社導入を決定 ❏ セキュリティ上の懸念 ❏ ライセンス侵害のリスク ❏ 導入による費用対効果 91 全社導入の判断
Slide 92
Slide 92 text
© ZOZO, Inc. 92 導入までのタイムライン 2023.3 2023.5 2023.4 全社展開 調査と評価 導入計画立案 試験導入 5/22 全社展開完了 2023.2 社内での盛り上がり 4/11 試験導入開始 4/28 試験の評価と導入の意思決定 5/10 社内LT大会 3/31 試験導入決定
Slide 93
Slide 93 text
© ZOZO, Inc. 93 導入までのタイムライン 2023.3 2023.5 2023.4 全社展開 調査と評価 導入計画立案 試験導入 5/22 全社展開完了 2023.2 社内での盛り上がり 4/11 試験導入開始 4/28 試験の評価と導入の意思決定 5/10 社内LT大会 3/31 試験導入決定
Slide 94
Slide 94 text
© ZOZO, Inc. ● GitHub Copilot利用環境の整備 ○ 全社に対してGitHub Copilot利用希望者のリストアップ ○ 利用料金の見積もりと稟議申請 ○ 社内承認フロー、運用ルールの整備 ● GitHub Copilotについての知見の共有 ○ 開発者がGitHub Copilotの様々な使い方を知ることは活用する上で重要 ○ LT会の実施 ○ 試験導入の連絡用チャンネルを情報共有チャンネルとして転用 ○ GitHub Copilot活用に関するtipsを集約 94 全社展開
Slide 95
Slide 95 text
© ZOZO, Inc. ● LT会の実施 ○ 登壇者は試験導入への参加者の中から8名に依頼 ○ 様々な言語・フレームワークとGitHub Copilotの組み合わせ ○ 社内から約200名が参加 95 全社展開
Slide 96
Slide 96 text
© ZOZO, Inc. 96 LT会の実施 タイトル GitHub Copilot × 言語・フレームワーク GitHub CopilotとAndroid開発 GitHub Copilot × Kotlin/Java PowerShellでGitHub Copilot利用 GitHub Copilot × PowerShell How to use Copilot Successfully with jQuery GitHub Copilot × jQuery Terraform, YAMLでの利用例 GitHub Copilot × Terraform/YAML GitHub Copilotを使ってみた感想 GitHub Copilot × Java iOSアプリ開発におけるGitHub Copilotの活用方法 GitHub Copilot × Swift Copilot使ってみてLT GitHub Copilot × TypeScript GitHub Copilot × VBScript GitHub Copilot × VBScript
Slide 97
Slide 97 text
© ZOZO, Inc. 97
Slide 98
Slide 98 text
© ZOZO, Inc. 98
Slide 99
Slide 99 text
© ZOZO, Inc. 99 導入後の効果
Slide 100
Slide 100 text
© ZOZO, Inc. 100 導入後の効果 ● GitHub Copilotの全社導入から半年以上が経過 ● 全社導入前後と2024年1月現在で定性/定量面でどのような変化があったか ● アンケートの結果と各種指標の紹介
Slide 101
Slide 101 text
© ZOZO, Inc. 101 定性面: アンケート結果について
Slide 102
Slide 102 text
© ZOZO, Inc. 102 導入後の効果: 回答者が一日の仕事の中でコーディングに費やす時間
Slide 103
Slide 103 text
© ZOZO, Inc. 103 導入後の効果: 回答者が使用したプログラミング言語
Slide 104
Slide 104 text
© ZOZO, Inc. 104 導入後の効果: 回答者が使用したエディタ・IDE
Slide 105
Slide 105 text
© ZOZO, Inc. 105 導入後の効果: GitHub Copilotを使用することで生産的になったか? ● GitHub Copilotを使用することでより生産的になったと89.4%が回答 ● 試験導入時との比較では78.9%から10.5%の増加 GitHub Copilotを使用することでより生産的になった。への回答
Slide 106
Slide 106 text
© ZOZO, Inc. 106 導入後の効果: 1日あたり節約できた時間 ● 54.4%が1日あたり30分以上時間を節約できたと回答 ● 試験導入時との比較で58%から3.6%の減少 1日あたり、Copilotを使っておおよそどれくらいの時間を節約できましたか? への回答
Slide 107
Slide 107 text
© ZOZO, Inc. 107 導入後の効果: 1日あたり節約できた時間 ● 15-30分節約できたか?を加えて集計 ● 76.2%が15分以上節約できたと回答
Slide 108
Slide 108 text
© ZOZO, Inc. 108 導入後の効果 ● 93.7%開発者は何らかの時間節約効果を実感 ● 1日あたり1時間未満の時間節約効果を実感する開発者がほとんど ● 1時間以上節約できた回答者にはどのような傾向があるのか?
Slide 109
Slide 109 text
© ZOZO, Inc. 109 1時間以上節約できたと回答した職種
Slide 110
Slide 110 text
© ZOZO, Inc. 110 1時間以上節約できたと回答した回答者が使用した言語
Slide 111
Slide 111 text
© ZOZO, Inc. 111 1時間以上節約できたと回答した回答者の属性 ● 検索/推薦/機械学習エンジニア × Pythonの組み合わせが最多 ● 回答者の所属部署を確認 ● 特定のグループに回答者が集中 ○ 同じ部の複数のブロックに跨って分布 ○ 回答者にヒアリングを実施
Slide 112
Slide 112 text
© ZOZO, Inc. 112 回答者へのヒアリングでわかったこと ● 業務上LLMについてチームで話すことが多い ● GitHub Copilotについて 「便利なものだとわかってはいるけど使いこなせ ない・使いこなせているかよくわからん」 ● 組織横断でLLMの活用方法について勉強会を開催 ○ GitHub Copilotの使い方について発表 ○ 1時間以上節約したと回答した回答者が勉強会 に参加
Slide 113
Slide 113 text
© ZOZO, Inc. 113 導入後の効果 ● GitHub Copilotによる時間節約の効果 ○ 導入することで開発者は何らかの時間節約効果を実感 ○ 効果を向上させるためには習熟が必要 ○ 社内での知見共有は有効
Slide 114
Slide 114 text
© ZOZO, Inc. 114 導入後の効果: 「満足度と幸福度」への影響 ● 半数以上が仕事の充実感が増し、コーディング時のイライラが軽減され、よ り満足度の高い仕事に集中できると回答
Slide 115
Slide 115 text
© ZOZO, Inc. 115 導入後の効果: 「効率とフロー」への影響 ● 半数以上が作業時間の短縮、精神的な負担が軽減されると回答 ● 41.7%がフロー状態に入りやすいと回答。試験導入時との比較で11.8%増加
Slide 116
Slide 116 text
© ZOZO, Inc. ● 試験導入時との比較で全ての項目で 「そう思う」「とてもそう思う」の回答が増加 ● GitHub Copilotの導入は導入後半年以上時間が経過した時点でも 開発者の「満足度と幸福度」「効率とフロー」に良い影響を与えている ● フロー状態に入りやすいか?への回答 ○ 41.7%が入りやすいと回答 ○ 回答の傾向: 一日の中でコーディングに費やす時間が長いほどフロー状 態に入りやすいと回答 116 導入後の効果: 「満足度と幸福度」「効率とフロー」への影響
Slide 117
Slide 117 text
© ZOZO, Inc. 117 「満足度と幸福度」「効率とフロー」とエンゲージメントスコア ● Wevoxでの従業員エンゲージメントサーベイを定期的に実施 ● GitHub Copilotの導入前後でスコアに変化があったか? ● 開発部門のスコアに目立った変化はなし https://get.wevox.io/
Slide 118
Slide 118 text
© ZOZO, Inc. 118 定量面: 各種指標について
Slide 119
Slide 119 text
© ZOZO, Inc. 119 導入後の効果 ● ZOZOTOWN開発本部の事例 ● 全体の傾向としてリードタイムは減少傾向、Pull Request数は増加傾向 Findy Team+による計測結果より引用 5/22 全社展開
Slide 120
Slide 120 text
© ZOZO, Inc. 120 導入後の効果 ● GitHub Copilotはどの指標に影響を与えるのか? ● コーディングプロセスへの影響が支配的と推測 ● 最初にコードをコミットしてからPull Request作成までの時間を確認
Slide 121
Slide 121 text
© ZOZO, Inc. 121 導入後の効果 ● サイクルタイム全体も減少傾向 5/22 全社展開 Findy Team+による計測結果より引用 コミットからオープンまでの平均時間 オープンからレビューまでの平均時間 レビューからアプルーブまでの平均時間 アプルーブからマージまでの平均時間
Slide 122
Slide 122 text
© ZOZO, Inc. 122 導入後の効果 ● コミットからオープンまでの平均時間 ● GitHub Copilot導入前後8ヶ月間の平均で22%改善 5/22 全社展開 Findy Team+による計測結果より引用 コミットからオープンまでの平均時間
Slide 123
Slide 123 text
© ZOZO, Inc. 123 導入後の効果 ● 各種指標は改善傾向にあるがGitHub Copilotの導入との因果関係は不明確 ● 因果関係を確認するにはA/Bテストのような対照実験が必要 ● アンケート結果からZOZOにとって有用な機能であると判断
Slide 124
Slide 124 text
© ZOZO, Inc. 124 まとめと今後の展望
Slide 125
Slide 125 text
© ZOZO, Inc. ● アンケートによる定性評価ではGitHub Copilotの導入は開発効率の改善に役 立ち、費用対効果も高いと判断し全社導入 ● 各種指標は改善傾向 ○ ただしGitHub Copilot導入との相関・因果関係は明確ではない ● 現時点ではZOZOにとって有効な機能だと判断 125 まとめと今後の展望
Slide 126
Slide 126 text
© ZOZO, Inc. 126 まとめと今後の展望 ● コードレビュー時間に改善の余地 ● AIによる一次レビューの導入を検討 Findy Team+による計測結果より引用
Slide 127
Slide 127 text
© ZOZO, Inc. ● GitHub Copilot Chatが2024年1月からZOZO全社で有効化 ● 近日中: GitHub.com、モバイルアプリでGitHub Copilot Chatが利用可能に 127 まとめと今後の展望 GitHub Universe 2023 opening keynote- Copilot in the Age of AI: https://www.youtube.com/watch?v=NrQkdDVupQE
Slide 128
Slide 128 text
© ZOZO, Inc. ● 2月GitHub Copilot Enterpriseが一般提供開始予定 ● Pull Requestサマリー、コードレビュー、ドキュメ ントの検索と要約、Chatのパーソナライズ、fine チューンモデル ● コーディング以外の開発プロセスへのGitHub Copilotの適用 128 まとめと今後の展望 GitHub Universe 2023 opening keynote- Copilot in the Age of AI: https://youtu.be/NrQkdDVupQE?si=lcx5xi5BE_auXMoH
Slide 129
Slide 129 text
© ZOZO, Inc. ● 「 」スマートアクションがGitHub.com全体で利用可能に 129 まとめと今後の展望 https://docs.github.com/ja/enterprise-cloud@latest/copilot/github-copilot-enterprise/copilot-pull-request-summaries/creating-a-pull-request-summary-with-github-copilot
Slide 130
Slide 130 text
© ZOZO, Inc. 130 ● 2024年 GitHub Copilot Workspace ○ Issueを基点として意図した変更を実装するためのプランを提案 ○ Copilot Workspaceでコードをビルド、実行、テスト ○ プロジェクトの隅々までを知っているパートナーとのペアプロ ● 開発サイクル全体を通してのAIの活用へ まとめと今後の展望 https://github.blog/jp/2023-11-09-universe-2023-copilot-transforms-github-into-the-ai-powered-developer-platform
Slide 131
Slide 131 text
© ZOZO, Inc. 131 ● GitHub Copilotの導入は開発効率の改善に役立ち、費用対効果も高いと判断 ● ソフトウェア開発でAIを活用する場面は拡大 ● ZOZOの目標は「ユーザに届ける価値」を増やすこと ● ビジネスと開発の両方でAIを活用し目標の実現に向けて取り組む まとめと今後の展望
Slide 132
Slide 132 text
No content