Upgrade to Pro — share decks privately, control downloads, hide ads and more …

DevOpsDays Tokyo2022 ファクトから始める改善アプローチ 〜「LeanとDevOpsの科学」を実践して〜 #DevOpsDaysTokyo #DevOps #4keys #cloud #cicd #Accelerate #LeanとDevOpsの科学

DevOpsDays Tokyo2022 ファクトから始める改善アプローチ 〜「LeanとDevOpsの科学」を実践して〜 #DevOpsDaysTokyo #DevOps #4keys #cloud #cicd #Accelerate #LeanとDevOpsの科学

Hiroyuki TAKAHASHI

April 21, 2022
Tweet

More Decks by Hiroyuki TAKAHASHI

Other Decks in Technology

Transcript

  1. ファクトから始める改善アプローチ
    〜「LeanとDevOpsの科学」を実践して〜
    2022年4月21日(木) DevOpsDaysTokyo2022 Day1
    株式会社ビズリーチ(Visionalグループ)
    賀茂慎一郎 高橋裕之 内藤靖子

    View Slide

  2. l 自己紹介
    l Visionalグループ紹介
    l ビズリーチで始まった"SPI"活
    動とは何か?
    l ファクトから始めるために何を
    しているか
    l 計測までの道のり
    l 計測 - four keys
    l 計測 – ケイパビリティ
    l 計測結果をどう活かしているか
    l 活動を振り返って
    l 今後の展望
    2
    アジェンダ

    View Slide

  3. 自己紹介

    View Slide

  4. ■ 【出身】
    名古屋:東京在住10年
    ■ 【所属】
    プロダクト品質管理部 SPIグループ
    ■ 【専門領域】
    アジャイル、ソフトウェアプロセス改善
    ■ 【略歴】
    Slerにて複数の開発PJを経験後、スクラムマスターとして活動
    ビズリーチには2020年1月入社。
    ■ 【取得資格】
    Certified ScrumMaster®
    Certified Scrum Product Owner®
    ■ 【Strength Finder】
    ポジティブ、社交性、コミュニケーション、最上志向、アレンジ
    ■ 【好きなもの】
    ボドゲ(バトルライン、ドミニオン)、漫画(ヒロアカ、ブルー
    ピリオド、暗殺教室、HUNTER×HUNTER、ハガレン、その他無
    数)
    賀茂 慎一郎
    4

    View Slide

  5. ■ 所属:プロダクト組織開発本部 プロダクト品質管理部 SPIグル
    ープ マネジャー
    ■ ソフトウェアエンジニア22年目
    ■ 組込みエンジニアとしてプリンタドライバ開発、コンシューマ
    ー向けデジタルカメラ・カムコーダー開発を経て、SEPG、PMO
    に従事
    ■ ビズリーチには2021年8月に入社
    ■ お仕事:ソフトウェアプロセス改善/アジャイルコーチ/プロダク
    トマネジメント/プロジェクトマネジメント/チームビルディング/
    ■ 好き:コストコ/ディズニーリゾート/ネコ/ファスティング
    ■ 苦手:ナッツ類/キャンプ/睡眠不足/運動
    ■ StrengthFineder:協調性/回復志向/アレンジ/公平性(人間関係
    構築力と実行力が強み)
    ■ Certified ScrumMaster®
    Advanced Certified ScrumMaster®
    Certified Scrum Product Owner®
    Certified Agile Leadership I
    高橋裕之(たかぼー)
    hiroyukitakah
    taka_bow
    @Taka_bow
    5
    内藤 靖子

    View Slide

  6. ■ 所属:プロダクト組織開発本部 プロダクト品質管理部 部長
    ■ ソフトウェアエンジニア31年目
    ■ 専門領域1:アジャイルコーチ、ソフトウェアプロセス改善コーチ
    ■ 専門領域2:エンジニアリング組織のリファクタリング
    ■ 【略歴】倒産1回・フリーランス1回・転職7回
    組込みエンジニアとして交換器やルーターなどの通信インフラソ
    フトウェア開発、コンシューマー向けデジタルカメラ・カムコー
    ダー開発のプロジェクトリーダーを経て、SEPG、PMO、QA な
    どのマネジメントに従事。
    ビズリーチには2021年7月入社。
    ■ Certified ScrumMaster®
    Advanced Certified ScrumMaster®
    Certified Scrum Product Owner®
    Certified Scrum Professional® - ScrumMaster
    Certified Scrum Professional® - Product Owner
    Certified Agile Leadership I
    ■ 好きな言葉:「そなえよつねに」(Be Prepared)
    ■ 好きな小説:十二国記シリーズ (小野不由美)
    高橋裕之(たかぼー)
    hiroyukitakah
    taka_bow
    @Taka_bow
    6

    View Slide

  7. Visionalグループ紹介

    View Slide

  8. 2009年4月
    創業
    (資本準備金含む)
    ※2021年5月18日時点
    164億円
    資本金
    (2021年7月末日時点)
    ※臨時従業員(契約社員、パート
    タイマー、アルバイト)を含む
    1,469名
    従業員数
    東京・大阪・名古屋・福岡
    静岡・広島
    拠点

    (株式会社ビズリーチ創業)
    2020年2月
    設立
    (ビジョナル株式会社設立)
    グループ概要
    8

    View Slide

  9. グループミッション
    9

    View Slide

  10. 目指す姿
    産業のデジタルトランスフォーメーショ
    ン(DX)を推進する事業を展開し、
    ビジネスの生産性向上を支えていきます。
    10

    View Slide

  11. 11
    会社の成長
    売上高推移
    サービス数推移
    ೥ؒͰ ਓҎ্ͷ૊৫ʹ੒௕ͨ͠ݱࡏ΋ɺച্ߴɺαʔϏε਺ڞʹ૿͑ଓ͚͍ͯ·͢ɻ

    100億
    2017年
    ※2016年8月〜2017年7月

    287億
    10以上
    1
    ※2020年8月〜2021年7月
    2009 2013 2015 2017
    2011 2021
    1,469名
    従業員数
    2021年
    2021年
    2009年
    2019
    雇用形態:正社員、契約社員、アルバイト・パート、派遣社員、出向受入
    ※当社グループから当社グループ外への出向者を除き、当社グループ外から当社グループへの出向者を含む
    5年間
    287%
    成長

    View Slide

  12. Visional グループサービスの歴史
    12

    View Slide

  13. グループ運営サービス
    13

    View Slide

  14. ビズリーチで始まった"SPI"活動とは何か?

    View Slide

  15. l SPI:Software Process Improvement
    l 「継続的に」ソフトウェアプロセスを改善する活動、ならびに支援チームを指す
    l もともとはCMM/CMMI、SPICE、TickIT Plusといったフレームワークを組織にインストール実
    戦部隊。昔はSEPGと呼ばれていた。
    l 2000年8月に「日本SPIコンソーシアム(JASPIC)」という研究・普及団体が作られ、今も活動してい
    る。
    l 近年、アジャイルな開発において、本当にプロセス効率が高く顧客のアウトカムを達成しているの
    か?を証明するためにSPI活動が益々重要になっている。
    ソフトウェアプロセス改善(SPI)とは何か?
    ※日本SPIコンソーシアム(JASPIC):http://www.jaspic.org/ 15

    View Slide

  16. 1. 優れたソフトウェアプロセスの要
    素が、優れたやり方で定義できる
    こと
    2. ソフトウェア開発への既存の組織
    的アプローチが、これらの要素と
    照らし合わせて診断できること
    3. 改善のための有意な戦略を定義で
    きること
    ソフトウェアプロセス改善(SPI)とは何か?
    実践ソフトウェアエンジニアリング[第9版] Roger S Pressman・Bruce R.Maxim著 より引用
    16

    View Slide

  17. ソフトウェアプロセス改善(SPI)とは何か?
    アセスメント 能力判定
    改善戦略
    ソフトウェア
    プロセス
    (ソフトウェアプロセス)は
    (アセスメント)によって
    判断される
    (アセスメント)は
    (能力判定)へつながる
    (能力判定)は(改善戦略)の
    基盤となる
    (アセスメント)は
    (改善戦略)へつながる
    (能力判定)は(ソフトウェアプロセス)の
    ➢ 能力,強み,弱みを識別する
    ➢ 成熟度を明らかにする
    (改善戦略)は(ソフトウェアプロセス)の
    ➢ 変更を明らかにする
    ➢ 改善アプローチを
    提案する
    実践ソフトウェアエンジニアリング[第9版] Roger S Pressman・Bruce R.Maxim著 より引用
    17

    View Slide

  18. ソフトウェアプロセス改善(SPI)とは何か?
    材料 × 料理法 × 味付け = おいしい料理
    Scrum
    ウォーターフォール
    アジャイル風の何か
    リモートワーク
    Java
    Python
    iPhone
    Mac
    Angular
    AWS
    JIRA
    GitHub
    信頼性
    マーケット
    利用時の品質
    セキュリティ
    保守性
    性能効率性
    プロダクト
    ……
    ……
    ……
    18

    View Slide

  19. つまり要約すると
    ソフトウェアプロセス改善(SPI)とは何か?
    ソフトウェア界のお料理研究家である
    19

    View Slide

  20. ソフトウェアプロセス改善活動(SPI活動)とは?
    20
    ソフトウェア開発は料理に似ている
    料理 ソフトウェア開発
    料理研究家
    プロセス改善コーチ
    アジャイルコーチ
    研究・鍛錬 研究・鍛錬
    似ている
    実践・伝達 SPI活動
    日本の食卓を変える
    日本人のくらしを変える
    アウトカムを加速する
    エンジニアの仕事を楽しくする

    View Slide

  21. Andrew Z. Colvin, CC BY-SA 3.0 , via Wikimedia Commons
    https://commons.wikimedia.org/wiki/File:Earth%27s_Location_in_the_Universe_SMALLER_(JPEG).jpg
    ところで、ものごとを俯瞰して見れてますか?
    21

    View Slide

  22. デベロッパー星
    開発者
    開発たのしー
    22

    View Slide

  23. デベロッパー星<スクラム系
    開発者
    スクラムマスター
    プロダクトオーナー
    スクラムチーム イケてるチームだぜ!
    23

    View Slide

  24. デベロッパー領<スクラム系<事業会社銀河
    開発者
    スクラムマスター
    プロダクトオーナー
    スクラムチーム
    セールス マネジャー
    サポート
    デザイン
    お客様の期待に答えます!
    24

    View Slide

  25. エターナルズ?
    開発者
    スクラムマスター
    プロダクトオーナー
    スクラムチーム
    セールス
    マネジャー
    サポート
    デザイン
    25

    View Slide

  26. エターナルズ?
    開発者
    スクラムマスター
    プロダクトオーナー
    スクラムチーム
    セールス マネジャー
    サポート
    デザイン
    メンテナンスで
    すぐ停止するよね
    品質が悪いなー
    サービスよく
    落ちてない?
    製品の進化が遅いねぇ
    処理が重いね
    26

    View Slide

  27. Opinion vs Fact(意見か事実か)
    * https://slide.meguro.ryuzee.com/slides/78 吉羽龍太郎さん「カイゼンの基本」より引用
    Problem(問題) Solution(解決策)
    Fact(事実)
    Opinion(意見)
    メンテナンスで
    すぐ停止するよね
    品質が悪いなー
    サービスよく
    落ちてない?
    製品の進化が遅いねぇ
    処理が重いね




    27

    View Slide

  28. Opinion vs Fact(意見か事実か)
    * https://slide.meguro.ryuzee.com/slides/78 吉羽龍太郎さん「カイゼンの基本」より引用
    Problem(問題) Solution(解決策)
    Fact(事実)
    Opinion(意見)
    メンテナンスで
    すぐ停止するよね
    品質が悪いなー
    サービスよく
    落ちてない?
    製品の進化が遅いねぇ
    処理が重いね




    28

    View Slide

  29. Opinion vs Fact(意見か事実か)
    * https://slide.meguro.ryuzee.com/slides/78 吉羽龍太郎さん「カイゼンの基本」より引用
    Problem(問題) Solution(解決策)
    Fact(事実)
    Opinion(意見)
    メンテナンスで
    すぐ停止するよね
    品質が悪いなー
    サービスよく
    落ちてない?
    製品の進化が遅いねぇ
    処理が重いね




    29

    View Slide

  30. Opinion vs Fact(意見か事実か)
    * https://slide.meguro.ryuzee.com/slides/78 吉羽龍太郎さん「カイゼンの基本」より引用
    Problem(問題) Solution(解決策)
    Fact(事実)
    Opinion(意見)
    メンテナンスで
    すぐ停止するよね
    品質が悪いなー
    サービスよく
    落ちてない?
    製品の進化が遅いねぇ
    処理が重いね




    30

    View Slide

  31. Opinion vs Fact(意見か事実か)
    * https://slide.meguro.ryuzee.com/slides/78 吉羽龍太郎さん「カイゼンの基本」より引用
    Problem(問題) Solution(解決策)
    Fact(事実)
    Opinion(意見)
    メンテナンスで
    すぐ停止するよね
    品質が悪いなー
    サービスよく
    落ちてない?
    製品の進化が遅いねぇ
    処理が重いね


    対策案を
    作る
    31

    View Slide

  32. Opinion vs Fact(意見か事実か)
    * https://slide.meguro.ryuzee.com/slides/78 吉羽龍太郎さん「カイゼンの基本」より引用
    Problem(問題) Solution(解決策)
    Fact(事実)
    Opinion(意見)
    メンテナンスで
    すぐ停止するよね
    品質が悪いなー
    サービスよく
    落ちてない?
    製品の進化が遅いねぇ
    処理が重いね


    デプロイ
    対策案を
    作る
    対策案を
    動かす
    32

    View Slide

  33. Opinion vs Fact(意見か事実か)
    * https://slide.meguro.ryuzee.com/slides/78 吉羽龍太郎さん「カイゼンの基本」より引用
    Problem(問題) Solution(解決策)
    Fact(事実)
    Opinion(意見)
    メンテナンスで
    すぐ停止するよね
    品質が悪いなー
    サービスよく
    落ちてない?
    製品の進化が遅いねぇ
    処理が重いね


    デプロイ
    対策案を
    作る
    対策案を
    動かす


    結果を
    検証する
    33

    View Slide

  34. Opinion vs Fact(意見か事実か)
    * https://slide.meguro.ryuzee.com/slides/78 吉羽龍太郎さん「カイゼンの基本」より引用
    Problem(問題) Solution(解決策)
    Fact(事実)
    Opinion(意見)
    メンテナンスで
    すぐ停止するよね
    品質が悪いなー
    サービスよく
    落ちてない?
    製品の進化が遅いねぇ
    処理が重いね


    デプロイ
    対策案を
    作る
    対策案を
    動かす


    結果を
    検証する



    34

    View Slide

  35. そうだ、計測しよう!
    35

    View Slide

  36. Opinion vs Fact(意見か事実か)
    * https://slide.meguro.ryuzee.com/slides/78 吉羽龍太郎さん「カイゼンの基本」より引用
    Problem(問題) Solution(解決策)
    Fact(事実)
    Opinion(意見)
    メンテナンスで
    すぐ停止するよね
    品質が悪いなー
    サービスよく
    落ちてない?
    製品の進化が遅いねぇ
    処理が重いね


    デプロイ
    対策案を
    作る
    対策案を
    動かす


    結果を
    検証する
    36

    View Slide

  37. Opinion vs Fact(意見か事実か)
    * https://slide.meguro.ryuzee.com/slides/78 吉羽龍太郎さん「カイゼンの基本」より引用
    Problem(問題) Solution(解決策)
    Fact(事実)
    Opinion(意見)
    メンテナンスで
    すぐ停止するよね
    品質が悪いなー
    サービスよく
    落ちてない?
    製品の進化が遅いねぇ
    処理が重いね


    デプロイ
    対策案を
    作る
    対策案を
    動かす


    結果を
    検証する
    仮説
    対策案を
    考える
    37

    View Slide

  38. 仮説
    Opinion vs Fact(意見か事実か)
    * https://slide.meguro.ryuzee.com/slides/78 吉羽龍太郎さん「カイゼンの基本」より引用
    Problem(問題) Solution(解決策)
    Fact(事実)
    Opinion(意見)




    デプロイ
    ② ③


    38

    View Slide

  39. 39
    「LeanとDevOpsの科学」の著者の1人 Gene Kimさんが、DevOpsDays 2019 のキーノートセッション
    でDevOpsをシンプルに定義するならば以下であると仰っていました。
    そうだ、計測しよう!
    “Better, Faster, Safer, Happier”
    「より良く、速く、安全に、もっとハッピーに」
    LeanとDevOpsの科学[Accelerate] テクノロジーの戦略的活用が組織変革を加する Nicole Forsgren Ph.D. (著), Jez Humble (著), Gene Kim (著), 武舎広幸 (著), 武舎るみ (著)

    View Slide

  40. 「書いたコードの量」
    「ベロシティ(速度)」
    「リソース効率(利用率)」
    40
    そうだ、計測しよう!
    LeanとDevOpsの科学[Accelerate] テクノロジーの戦略的活用が組織変革を加する Nicole Forsgren Ph.D. (著), Jez Humble (著), Gene Kim (著), 武舎広幸 (著), 武舎るみ (著)
    生産量(Output)ではなく成果(Outcome)に焦点を当てる

    View Slide

  41. ファクトから始めるために何をしているか

    View Slide

  42. 「LeanとDevOpsの科学」とは
    l 原書は「ACCELERATE」、日本語版は2018年に出版。
    l 迅速かつ高品質なデリバリを実施している組織とそうでない組織の違いに関する研究結果を
    まとめている。
    https://book.impress.co.jp/books/1118101029
    https://www.oreilly.com/library/view/accelerate/9781457191435/ 42

    View Slide

  43. l 2018年よりGoogle Cloudと共同で実施しており、毎年調査レポート(State of DevOps)を
    公表している
    調査結果は毎年公開されている
    https://cloud.google.com/blog/ja/products/devops-sre/announcing-dora-2021-accelerate-state-of-devops-report
    43

    View Slide

  44. l DORA社(現Google)が直近6年間の研究から導いた開発チームのパフォーマンス指標=Four Keys
    l アジャイルでもウォーターフォールでも計測可能
    デリバリーパフォーマンスの指標
    リードタイム
    コードがコミットされて
    から本番環境で正常に実
    行されるまでの時間
    デプロイ頻度
    コードを本番環境にデプ
    ロイまたはエンドユーザ
    ーにリリースした頻度
    平均修復時間
    (MTTR)
    サービスインシデント
    または不具合が発生した
    ときにサービスの復元に
    どれくらいの
    時間がかかるか
    変更失敗率
    本番環境に変更を加えた、
    またはユーザーへのリリ
    ースを実施した結果サー
    ビスが低下し、
    その後修正を行う必要が
    生じた割合
    44

    View Slide

  45. デリバリーパフォーマンスの指標
    エリート ハイ ミディアム ロー
    変更リードタイム 1時間未満 1日〜1週間 1ヶ月から6ヶ月 6ヶ月以上
    デプロイ頻度
    オンデマンド
    (1日複数回)
    1週間から1ヶ月 1ヶ月から半年 半年以上
    平均修復時間(MTTR) 1時間未満 1日未満 1日〜1週間 6ヶ月以上
    変更失敗率 0-15% 16-30% 16-30% 16-30%
    state of devops 2021を参考に作成
    45

    View Slide

  46. エリートとローの差は年々開いている
    デリバリーパフォーマンスの指標
    エリート エリートとローの差 ロー
    変更リードタイム 1時間未満 6570倍 6ヶ月以上
    デプロイ頻度
    オンデマンド
    (1日複数回)
    973倍 半年以上
    平均修復時間(MTTR) 1時間未満 6570倍 6ヶ月以上
    変更失敗率 0-15% 3倍 16-30%
    state of devops 2021を参考に作成
    46

    View Slide

  47. l four keysは互いに独立した指標ではなく、デリバリにおける質とスピードをいかに高いレベルで実
    施できているかを測る指標である
    質とスピードの両立
    質 スピード
    変更リードタイム
    デプロイ頻度
    平均修復時間
    変更失敗率
    リードタイムが短くなると
    学習スピードが増し、
    品質が向上する
    品質が向上すると
    リードタイムは短くなり、
    頻繁なデプロイが容易になる
    47

    View Slide

  48. l 定められた成熟度レベルではなく、組織が保有するケイパビリティ(能力)に着目
    l 「LeanとDevOpsの科学」ではfour keysの改善に効果が高いとされる24のケイパビリティが
    紹介されている
    成熟度ではなく、ケイパビリティ
    一定の成熟状態の「到達」に焦点
    同じレベルのチームには
    似たツールやプラクティスを推奨
    計測内容と成果への紐付けが曖昧
    (計測は比較的容易)
    到達ポイントが静的
    終わりのない継続的改善
    組織の目標に応じた
    ケイパビリティに焦点を当てる
    結果をベースに特定のケイパビリティが
    結果にどう有用なのか重視する
    変化に合わせた(動的な)改善が可能
    成熟度モデルの特徴 ケイパビリティモデルの特徴
    48

    View Slide

  49. ケイパビリティは定期的にアップデートされている
    技術 プロセス 測定 組織文化
    バージョン管理
    チームのツール選択の
    サポート
    チームのテスト システムをモニタリングしてビ
    ジネス上の意思決定に役立てる
    仕事の満足度
    トランクベース開発 テストデータ管理 変更承認の効率化 障害の予兆通知 Westrumの組織類型
    継続的インテ
    グレーション
    セキュリティの
    シフトレフト
    お客様の
    フィードバック
    仕掛かり制限 学習文化
    デプロイの自動化
    データベースの
    チェンジマネジメント
    バリューストリーム
    での作業の可視性
    ビジュアル管理 変革型リーダーシップ
    継続的なテスト
    クラウド
    インフラストラクチャ
    小さいバッチ
    単位の作業
    モニタリングと
    オブザービリティ
    継続的デリバリー コードの保守性
    アーキテクチャ 現在27のケイパビリティが公開されている
    https://cloud.google.com/architecture/devops/capabilities?hl=ja
    49

    View Slide

  50. 計測までの道のり

    View Slide

  51. 1. 計測仕様を決める
    2. 計測データを収集する
    3. 計測結果を可視化する
    4. プロダクト開発チームのケイパビリティ調査を実施する
    5. four keysとケイパビリティ調査結果を踏まえ、改善施策を定める
    6. 改善施策を実行する
    大まかな流れ
    51

    View Slide

  52. 1. 計測仕様を決める
    2. 計測データを収集する
    3. 計測結果を可視化する
    4. プロダクト開発チームのケイパビリティ調査を実施する
    5. four keysとケイパビリティ調査結果を踏まえ、改善施策を定める
    6. 改善施策を実行する
    大まかな流れ
    ここを説明
    52

    View Slide

  53. 計測 - four keys

    View Slide

  54. Kick Off
    ü 計測は社内全プロダクトへの展開を予定して
    いる
    ü プロダクトチーム向けの説明会を実施し、
    キックオフ!
    • エンジニアにとって身近で関心のある
    メトリクスだったのか、スムーズにス
    タートした
    そうだ!計測しよう
    54

    View Slide

  55. 開発チームとSPIで協力して進める
    ü 開発チームはプロダクトのデリバリープロセ
    スを踏まえ、計測方法、収集するデータを検
    討する
    ü SPIは開発チームと話し合って決めたことを
    他プロダクトに展開し、プロダクト毎に解釈
    が異ならないようにする
    計測仕様を決める
    55

    View Slide

  56. 計測仕様の一例
    four keys 定義 計測仕様
    リードタイム
    コードがコミットされてから本番環
    境で正常に実行されるまでの時間
    初回コミットからメインブランチへの
    マージ日時
    デプロイ頻度
    コードを本番環境にデプロイまたは
    エンドユーザーにリリースした頻度
    一定期間にメインブランチへマージし
    た回数
    平均修復時間
    (MTTR)
    サービスインシデント
    または不具合が発生したときにサー
    ビスの復元にどれくらいの
    時間がかかるか
    障害検知から解消までの時間
    変更失敗率
    本番環境に変更を加えた、またはユ
    ーザーへのリリースを実施した結果
    サービスが低下し、
    その後修正を行う必要が生じた割合
    障害件数 / メインブランチへのマージ
    件数
    データ収集に手間がかかる場合もあるので、
    なるべく軽くスタートして、必要であれば改善をする方針とした
    56

    View Slide

  57. 相談例(1)
    Feature Flagは計測対象とする?
    エンジニア SPI
    計測対象にしましょう。
    ビジネス戦略としてお客様に提供していないだ
    けで、提供可能にはなっているので。
    57

    View Slide

  58. 相談例(2)
    リリースして1年後に発生した不具合は変更失
    敗率してカウントする?
    エンジニア SPI
    カウントしないことにしましょう!
    追加した機能や変更によってリリースに失敗し
    たケースをしりたい。
    こういう潜在バグは違うメトリクスでとれるよ
    うにしましょう。
    58

    View Slide

  59. 相談例(3)
    1プロダクトを複数チームで開発しているけど、
    four keysはチーム毎にとる?
    エンジニア SPI
    まずはプロダクト単位で計測しましょう。
    プロダクト毎の状態を把握したあと、チームご
    とでみれるようにチームの情報は収集するデー
    タにいれておきましょう。
    59

    View Slide

  60. 相談例(4)
    市場不具合の一部は
    収集できないかもしれないわよ?
    エンジニア SPI
    まずはできる範囲で計測開始して、制限事項を
    明確にしましょう。
    収集方法や管理の改善は可視化・分析後に再度
    相談しましょう。
    60

    View Slide

  61. l まずは2021年1月~のデータはスプレッドシートに収集した
    l 普段管理しているツールやドキュメントからデータを収集できたため、容易に過去分を収集できた
    計測データを収集する
    61

    View Slide

  62. l 収集したデータをGoogleデータポータルで可視化する(※図はぼかしてます)
    計測結果を可視化する
    プロダクトA プロダクトB
    62

    View Slide

  63. l これまで計測した2プロダクトは、半分は手動で収集しスプレッドシートに展開している
    l 現在、月次でデータを更新している。毎月30分未満だが、面倒になってくる
    苦労ポイント①:更新に手間がかかる
    リードタイム デプロイ頻度
    平均修復時間
    (MTTR)
    変更失敗率
    GitHubから自動収集 GitHubから自動収集
    市場不具合情報から
    手動収集
    市場不具合情報から
    手動収集
    63

    View Slide

  64. l 可視化したからこそ意見や要望が出てくる
    l 「月次の他にクォーターごとに見たい」
    l 「ぱっとみて、Elite/High/Medium/Lowのどこにいるかわかるといいな」
    l 要望を受けて更新しているが、無料ツールの限界を感じている
    苦労ポイント②:見たいように見せられないジレンマ
    64

    View Slide

  65. 計測 - ケイパビリティ

    View Slide

  66. l ケイパビリティを計測する上で「何を持ってそのケイパビリティが備わっているか」の定義が必要
    l ケイパビリティ毎に満たすために必要な観点を作成
    l 観点についてはGoogle cloudが公開しているケイパビリティに関する説明を参考に作成
    ケイパビリティ毎の観点を定める
    https://cloud.google.com/architecture/devops/devops-tech-test-automation?hl=ja
    66

    View Slide

  67. l 実際にプロダクトに携わっているメンバーに回答を依頼
    l 保有しているor保有してないの二者択一ではなく、どの程度満たしているのか度合いを調査
    l 「一部同意できる」については詳細を残すことで現状を正しく可視化する
    どの程度ケイパビリティを保有しているのか調査
    67

    View Slide

  68. 作成した観点表
    68

    View Slide

  69. 69

    View Slide

  70. ● 組織文化(4ケイパビリティ)を除
    く23ケイパビリティを調査
    実際の回答結果
    70

    View Slide

  71. 工夫ポイント①:ビズリーチの状況を踏まえて観点を作成
    l ケイパビリティの中にはGoogle Cloudの公開文書だけでは調査不足に陥る可能性があった
    l ケイパビリティが何を目指し、なぜfour keysを高めるのに有効なのか、有効な要素・プラクティス
    は何かを丁寧に読み解いた
    https://cloud.google.com/architecture/devops/devops-tech-test-automation?hl=ja
    71

    View Slide

  72. 工夫ポイント①:ビズリーチの状況を踏まえて観点を作成
    Googleはユニット・結合を100%自動化して
    いる前提のように見える。
    現状組織によって自動化の度合いが異なるから、
    その点を計測した方がいいのでは?
    エンジニア SPI
    たしカニ!
    72

    View Slide

  73. l 2021年度のstate of devopsにドキュメントに関する言及がされており、現状のビズリーチの開発組
    織におけるドキュメントの必要性を含めケイパビリティとして採用
    l 観点についてはstate of devopsに記載されている内容をベースに作成
    工夫ポイント②:新たなケイパビリティの追加
    https://cloud.google.com/blog/ja/products/devops-sre/announcing-dora-2021-accelerate-state-of-devops-report
    73

    View Slide

  74. l 直訳なものもあり、内容を理解するのに時間を要した
    l 例えば「継続的テスト」では承認テストという単語が何度も登場するが、どのテストを指している
    のか当初わからなかった。原文を見返したり、社内の有識者と意見交換するなどした。
    苦労ポイント①:内容の咀嚼が重い。。
    https://cloud.google.com/architecture/devops/devops-tech-test-automation?hl=ja
    承認テスト
    とは、、?
    74

    View Slide

  75. l 当初観点表の回答は1.5h程度の想定をしていた
    l 実際に回答者に確認したら5時間以上かかっていることが判明
    苦労ポイント②:回答者の負担が大きい
    回答に5時間くらいかか
    りましたね……
    エンジニア SPI
    ファッ!!!!
    75

    View Slide

  76. l 回答している場に同席し観察していると、どこで時間がかかっているか見えてくる
    l 明らかにわからない場合は質問するが、そうでない場合は自分で悩んでしまい時間がかかっている
    ことが判明(1つ1つは重くないため本人も自覚がない)
    苦労ポイント③:回答に時間を要する
    これってどうい
    う意味だろ。。
    エンジニア SPI
    悩んでいそう…
    聞いてくれれば
    いいのに!
    76

    View Slide

  77. 計測結果をどう活かしているか

    View Slide

  78. l ケイパビリティ強化やプロセス改善進めると、質・スピードが向上し、four keyも向上するはず
    l 継続的にfour keysを計測することで施策の効果をみえるようにする
    改善効果を定量的に把握する
    78

    View Slide

  79. l 「THE DevOps HANDBOOK」の3つの道を参考にケイパビリティ毎の関連をマッピングし整理
    ケイパビリティの活かし方①
    79

    View Slide

  80. l THE DevOps HANDBOOKの3つの道を参考にケイパビリティ毎の関連をマッピングし整理
    ケイパビリティの活かし方①
    調査結果を元に特に不足しているケイパビリティに
    👀をつけ、どこから改善していくか認識を合わす
    👀
    👀
    👀
    👀
    80

    View Slide

  81. l ケイパビリティを調査したところ、どの項目も獲得できていないケイパビリティがあり、
    どこから手をつければいいのか一目でわからなかった..
    ケイパビリティの活かし方②
    84

    View Slide

  82. “DevOpsへの変革の候補となるアプリケーション、サービスを選択したら、顧客に対して価値を生み出す
    ために協力しなければならないバリューストリームの中の全てのメンバーを明らかにする必要がある。
    (中略)
    バリューストリームのメンバーが明らかになったら、次は仕事がどのように進められるかを具体的に理解することだ。”
    ヒントは先人の英知の中に
    https://www.nikkeibp.co.jp/atclpubmkt/book/17/P85480/
    The DevOps HANDBOOK 理論・実践・原則の全て ジーン・キム、ジェズ・ハンブル、パトリック・ドボア、ジョンウィリス 榊原彰監修 長尾高弘 日経BP社 P105
    85

    View Slide

  83. l ケイパビリティの1つである「バリューストリームでの作業の可視化」に着目
    l バリューストリームマップを作成し、洗い出した課題とケイパビリティを紐づけながら
    改善の方向性を探っていく
    バリューストリームマップの作成
    86

    View Slide

  84. 活動を振り返って

    View Slide

  85. 3つの学び
    視えるからこそ
    意見が生まれる
    指標はあくまで指標
    改善の一歩目は
    ユーザーを観る
    88

    View Slide

  86. 89
    l 可視化することで同じものをみて、建設的に
    話し合うことができる
    l 実際にでてきた意見
    l 「次はプルリク単位のリードタイムでは
    なく、PBI単位のリードタイムがみたい」
    l 「障害のより詳細な情報がみたい
    (とりたい)」
    l ファクトを元に話し合い、カイゼンする文化の
    第一歩になった
    視えるからこそ意見が生まれる

    View Slide

  87. l ある組織の改善提案で、調査結果だけ見て改善提案を出したところ担当者が渋い表情に……
    指標はあくまで指標
    まずは最も数値が悪い
    リードタイムの改善を
    進めるのがいいと思っ
    ていますがいかがでし
    ょう?
    SPI エンジニア
    今の数値で戦略上問題
    ないと思っている
    のだけど……
    90

    View Slide

  88. l four keysやケイパビリティは現状把握の1つの側面にすぎない
    l 組織の成長戦略と調査結果から見えることを紐付けることが重要
    指標はあくまで指標
    SPI
    無意識にfour
    keysを高める方
    に意識が向きす
    ぎていた!
    組織の困りごと
    がどう解消され
    るか考えないと
    ……
    91

    View Slide

  89. l 実際にプロダクトを使っている様子をみることでユーザーが何に困っているのか、
    どう使っているのか理解を深めることができた
    改善の一歩目はユーザーを観る
    92

    View Slide

  90. l プロダクト開発も同様に、ユーザーが利用している様子を観に行くことで新しい発見がある
    l 現場(ユーザーがプロダクトに触れる場)にこそ改善のヒントが眠っている!!
    「ファクトから始める」とは
    93

    View Slide

  91. 今後の展望

    View Slide

  92. 今後の展望
    96
    計測負担の軽減 信頼性の計測 イケてる可視化
    組織文化の
    ケイパビリティ計測

    View Slide

  93. l Dadadogのオプション拡充等を行い、なるべく自動化したい
    計測負担の軽減
    97
    https://docs.datadoghq.com/ja/monitors/incident_management/

    View Slide

  94. l State of DevOps2021では5番目の指標として信頼性を挙げている
    l 既にSLOなどはプロダクト毎に定義しているが、State of DevOps2021を元に
    さらにできることがないかSRE と協力して実施していく
    信頼性の計測
    https://cloud.google.com/blog/ja/products/devops-sre/announcing-dora-2021-accelerate-state-of-devops-report
    98

    View Slide

  95. l 現在はケイパビリティがどの程度獲得できているかわかる状態にはなっている
    l 今後は、どのケイパビリティの改善が最もインパクトが大きいかを可視化していきたい
    イケてる可視化(ケイパビリティ)
    https://speakerdeck.com/ttorii0609/acceleratefan-yi-ben-falsekimo?slide=4
    99

    View Slide

  96. l 現状は組織文化に対する詳細な調査は実施できていない
    l 今後HRMOSの組織診断サーベイを活用して、組織文化項目の調査を実施予定
    サーベイを活用した組織文化項目の調査
    https://hrmos.co/landing/core/01_survey_nor.html
    100

    View Slide

  97. 101

    View Slide