アジャイルな状態を持続するための実践的マネジメント 〜「LeanとDevOpsの科学」から学ぶ計測と組織ケイパビリティ〜 #DevOps #4keys #cloud #cicd #Accelerate #LeanとDevOpsの科学

全社的にスクラムを導入してみたが生産性は上がらず、むしろ下がったように感じる…
アジャイルに取り組みはじめてから競争力が落ちている気がする…
エンジニアは楽しそうだが、顧客を向いていない気がする…
こういった声はアジャイル変革中の上位マネジャーや経営層から良く聞かれる台詞です。実際問題、こういった声が上がり始めると改革のスピードは遅くなり、最悪の場合中断せざる得ません。
ここで重要なのは、アジャイルの取り組みに対しささやかれる台詞がファクトに基づくものなのか？それとも誰かの意見なのか？これらを判断する仕組みが組織に織り込まれているかどうかです。

「LeanとDevOpsの科学」という書籍があります。
この本に書かれた研究成果は継続的にアップデートされており、毎年Googleから「Accelerate State of DevOps Report(*1)」という名でレポートが一般公開されます。
「LeanとDevOpsの科学」の骨子は、four keysと呼ばれるパフォーマンス指標と、four keysの改善促進が高いとされるケイパビリティが紹介されており、ビズリーチではこれらの指標を計測しています。この計測結果をファクトとし、より良く・速く・安全にプロダクト開発を続けていくことを目指しています。
今回の講演では「LeanとDevOpsの科学」を実践して収集したファクトからどのようにカイゼンを進めているか、事例や書籍では読み取りにくい勘所をお伝えし、アジャイルを推進するにあたってマネジャー視点で大事なポイントにも触れたいと思います。

*1 https://cloud.google.com/blog/ja/products/devops-sre/announcing-dora-2021-accelerate-state-of-devops-report

Transcript

1. アジャイルな状態を持続するための
   実践的マネジメント
   〜「LeanとDevOpsの科学」から学ぶ計測と組織ケイパビリティ〜
   2022年7月25日(月) エンタープライズアジャイル勉強会2022年7月セミナー
   株式会社ビズリーチ（Visionalグループ）
   高橋裕之
   

   View Slide

2. Visionalグループ紹介
   

   View Slide

3. 2009年4月
   創業
   （資本準備金含む）
   ※2021年5月18日時点
   164億円
   資本金
   （2021年7月末日時点）
   ※臨時従業員（契約社員、パート
   タイマー、アルバイト）を含む
   1,469名
   従業員数
   東京・大阪・名古屋・福岡
   静岡・広島
   拠点
   ）
   （株式会社ビズリーチ創業）
   2020年2月
   設立
   （ビジョナル株式会社設立）
   グループ概要
   6
   

   View Slide

4. グループミッション
   7
   

   View Slide

5. 目指す姿
   産業のデジタルトランスフォーメーショ
   ン（DX）を推進する事業を展開し、
   ビジネスの生産性向上を支えていきます。
   8
   

   View Slide

6. 9
   会社の成長
   売上高推移
   サービス数推移
   ೥ؒͰ ਓҎ্ͷ૊৫ʹ੒௕ͨ͠ݱࡏ΋ɺച্ߴɺαʔϏε਺ڞʹ૿͑ଓ͚͍ͯ·͢ɻ
   約
   100億
   2017年
   ※2016年8月〜2017年7月
   約
   287億
   10以上
   1
   ※2020年8月〜2021年7月
   2009 2013 2015 2017
   2011 2021
   1,469名
   従業員数
   2021年
   2021年
   2009年
   2019
   雇用形態：正社員、契約社員、アルバイト・パート、派遣社員、出向受入
   ※当社グループから当社グループ外への出向者を除き、当社グループ外から当社グループへの出向者を含む
   5年間
   287％
   成長
   

   View Slide

7. Visional グループサービスの歴史
   10
   

   View Slide

8. グループ運営サービス
   11
   

   View Slide

9. 自己紹介
   

   View Slide

10. u 所属：プロダクト組織開発本部 プロダクト品質管理部 部長
    u ソフトウェアエンジニア31年目
    u 専門領域1：ソフトウェアプロセス改善(SPI)コーチ
    u 専門領域2：エンジニアリング組織のリファクタリング
    u 【略歴】転職７回・フリーランス１回・倒産１回
    組込みエンジニアとして交換器やルーターなどの通信インフラソフト
    ウェア開発、コンシューマー向けデジタルカメラ・カムコーダー開発
    のプロジェクトリーダーを経て、SEPG、PMO、QA などのマネジメ
    ントに従事。
    ビズリーチには2021年7月入社。
    u 技術書や翻訳本のレビュー
    u Management 3.0 (licensed facilitator)
    u Certified ScrumMaster®
    Advanced Certified ScrumMaster®
    Certified Scrum Product Owner®
    Certified Scrum Professional® - ScrumMaster
    Certified Scrum Professional® - Product Owner
    Certified Agile Leadership I
    u 好きな言葉：「そなえよつねに」(Be Prepared)
    u 好きな小説：十二国記シリーズ (小野不由美)
    u 推し’23年夏アニメ：「オーバーロードⅣ」「リコリス・リコイル」
    「異世界おじさん」「メイドインアビス 烈日の黄金郷」「シャドー
    ハウス 2nd Season」
    高橋裕之（たかぼー）
    hiroyukitakah
    taka_bow
    @Taka_bow
    13
    

    View Slide

11. ソフトウェアプロセス改善(SPI)とは何か？
    

    View Slide

12. l SPI：Software Process Improvement
    l 継続的にソフトウェアプロセスを改善する活動、ならびに支援チームを指す
    l もともとはCMM/CMMI、SPICE、TickIT Plusといったフレームワークを
    組織にインストール実戦部隊。昔はSEPGとも呼ばれていた。
    l 2000年8月に「日本SPIコンソーシアム(JASPIC)※」という研究・普及団体が
    作られ現在も活動中。
    l 近年、アジャイルな開発において、本当にプロセス効率が高く顧客のアウト
    カムを達成しているのか？を証明するためにSPI活動が益々重要になっている。
    ソフトウェアプロセス改善(SPI)とは何か？
    ※日本SPIコンソーシアム(JASPIC)：http://www.jaspic.org/ 15
    

    View Slide

13. 1. 優れたソフトウェアプロセスの要
    素が、優れたやり方で定義できる
    こと
    2. ソフトウェア開発への既存の組織
    的アプローチが、これらの要素と
    照らし合わせて診断できること
    3. 改善のための有意な戦略を定義で
    きること
    ソフトウェアプロセス改善(SPI)とは何か？
    実践ソフトウェアエンジニアリング[第9版] Roger S Pressman・Bruce R.Maxim著 より引用
    16
    

    View Slide

14. ソフトウェアプロセス改善(SPI)とは何か？
    アセスメント 能力判定
    改善戦略
    ソフトウェア
    プロセス
    (ソフトウェアプロセス)は
    (アセスメント)によって
    判断される
    (アセスメント)は
    (能力判定)へつながる
    (能力判定)は(改善戦略)の
    基盤となる
    (アセスメント)は
    (改善戦略)へつながる
    (能力判定)は(ソフトウェアプロセス)の
    ➢ 能力,強み,弱みを識別する
    ➢ 成熟度を明らかにする
    (改善戦略)は(ソフトウェアプロセス)の
    ➢ 変更を明らかにする
    ➢ 改善アプローチを
    提案する
    実践ソフトウェアエンジニアリング[第9版] Roger S Pressman・Bruce R.Maxim著 より引用
    17
    

    View Slide

15. ソフトウェアプロセス改善(SPI)とは何か？
    材料 × 料理法 × 味付け ＝ おいしい料理
    Scrum
    ウォーターフォール
    アジャイル風の何か
    リモートワーク
    Java
    Python
    iPhone
    Mac
    Angular
    AWS
    JIRA
    GitHub
    信頼性
    マーケット
    利用時の品質
    セキュリティ
    保守性
    性能効率性
    プロダクト
    ……
    ……
    ……
    18
    

    View Slide

16. ソフトウェアプロセス改善(SPI)とは何か？
    ソフトウェア界のお料理研究家である
    19
    

    View Slide

17. ソフトウェアプロセス改善活動(SPI活動)とは？
    20
    ソフトウェア開発は料理に似ている
    料理 ソフトウェア開発
    料理研究家
    ソフトウェアプロセス
    改善コーチ
    研究・鍛錬 研究・鍛錬
    似ている
    実践・伝達 SPI活動
    日本の食卓を変える
    日本人のくらしを変える
    アウトカムを加速する
    エンジニアの仕事を楽しくする
    

    View Slide

18. アジャイルしてると、チームばかり見てないか？問題
    

    View Slide

19. NASA, Public domain, via Wikimedia Commons
    https://commons.wikimedia.org/wiki/File:Montagem_Sistema_Solar.jpg
    22
    

    View Slide

20. デベロッパー星
    開発者
    開発たのしー
    23
    

    View Slide

21. デベロッパー星＜スクラム系
    開発者
    スクラムマスター
    プロダクトオーナー
    スクラムチーム イケてるチームだぜ！
    24
    

    View Slide

22. デベロッパー領＜スクラム系＜事業会社銀河
    開発者
    スクラムマスター
    プロダクトオーナー
    スクラムチーム
    セールス マネジャー
    サポート
    デザイン
    お客様の期待に答えます！
    25
    

    View Slide

23. エターナルズ？
    開発者
    スクラムマスター
    プロダクトオーナー
    スクラムチーム
    マネジャー
    サポート
    デザイン
    26
    セールス
    

    View Slide

24. エターナルズ？
    開発者
    スクラムマスター
    プロダクトオーナー
    スクラムチーム
    セールス マネジャー
    サポート
    デザイン
    メンテナンスで
    すぐ停止するよね
    品質が悪いなー
    サービスよく
    落ちてない？
    生産性が低い
    処理が重いね
    27
    

    View Slide

25. 28
    Opinion vs Fact（意見か事実か）
    メンテナンスで
    すぐ停止するよね
    品質が悪いなー
    サービスよく
    落ちてない？
    生産性が低い
    処理が重いね
    事
    実
    か
    ？
    意
    見
    か
    ？
    

    View Slide

26. 29
    Opinion vs Fact（意見か事実か）
    メンテナンスで
    すぐ停止するよね
    品質が悪いなー
    サービスよく
    落ちてない？
    生産性が低い
    処理が重いね
    事
    実
    か
    ？
    意
    見
    か
    ？
    開発チームはこれらの問いに
    パッとすぐ答えられるデータを
    持ち合わせていないことが多い
    

    View Slide

27. Opinion vs Fact（意見か事実か）
    ＊ https://slide.meguro.ryuzee.com/slides/78 吉羽龍太郎さん「カイゼンの基本」より引用
    Problem（問題） Solution（解決策）
    Fact（事実）
    Opinion（意見）
    30
    

    View Slide

28. Opinion vs Fact（意見か事実か）
    ＊ https://slide.meguro.ryuzee.com/slides/78 吉羽龍太郎さん「カイゼンの基本」より引用
    Problem（問題） Solution（解決策）
    Fact（事実）
    Opinion（意見）
    31
    生産性が低い
    

    View Slide

29. Opinion vs Fact（意見か事実か）
    ＊ https://slide.meguro.ryuzee.com/slides/78 吉羽龍太郎さん「カイゼンの基本」より引用
    Problem（問題） Solution（解決策）
    Fact（事実）
    Opinion（意見）
    32
    生産性が低い
    計測
    

    View Slide

30. Opinion vs Fact（意見か事実か）
    ＊ https://slide.meguro.ryuzee.com/slides/78 吉羽龍太郎さん「カイゼンの基本」より引用
    Problem（問題） Solution（解決策）
    Fact（事実）
    Opinion（意見）
    設計
    デプロイ
    仮説を実装する
    仮説を動かす
    結果を
    検証する
    仮説
    対策の仮説を
    立てる
    33
    計測
    

    View Slide

31. 「計測」大事！
    34
    

    View Slide

32. 35
    ○ 「書いたコードの量」
    ○ 「ベロシティ(速度)」
    ○ 「リソース効率(利用率)」
    でも、何を？
    

    View Slide

33. 36
    ○ 「書いたコードの量」をパフォーマンスとして見ない
    ■ 1000行から成るコードより、10行のコードで解決するほうが望ましい
    ■ 誰も理解出来ない1行のコードより、理解も保守もしやすい数行のコードのほうが望ましい
    ○ 「ベロシティ(速度)」をパフォーマンスとして見ない
    ■ ベロシティはキャパシティを予測する(計画する)ための重要なツール。計測はマスト
    ■ ただし、これをチームの生産性とみなしたり、チーム同士の比較で用いてはならない
    ■ ベロシティは、あくまでもチームに閉じた相対的な尺度（過去の自分たちとの比較）
    ○ 「リソース効率(利用率)」をパフォーマンスとして見ない
    ■ 人が足りない問題がいつまでも続きがち。本当に大事なのは「フロー効率」
    ■ 数学の待ち行列理論：平均利用率(ρ)が100％に近づくにつれてリードタイムは無限大に近づく
    ■ エンジニアは「ゆとり(Slack)」が大事。業務において予想外の仕事や計画変更は必ず発生する。実
    験・勉強・鍛錬の時間がないと人が育たない。
    でも、何を？
    LeanとDevOpsの科学［Accelerate］ テクノロジーの戦略的活用が組織変革を加する Nicole Forsgren Ph.D. (著), Jez Humble (著), Gene Kim (著), 武舎広幸 (著), 武舎るみ (著)
    

    View Slide

34. 37
    でも、何を？
    生産量(Output)ではなく
    成果(Outcome)に焦点を当てる
    LeanとDevOpsの科学［Accelerate］ テクノロジーの戦略的活用が組織変革を加する Nicole Forsgren Ph.D. (著), Jez Humble (著), Gene Kim (著), 武舎広幸 (著), 武舎るみ (著)
    

    View Slide

35. 「LeanとDevOpsの科学」とは
    

    View Slide

36. 「LeanとDevOpsの科学」とは
    l 原書は「ACCELERATE」2018年3月出版、日本語版は2018年11月に出版。
    （来年、第2版が出そう?）
    l 迅速かつ高品質なデリバリを実施している組織とそうでない組織の違いに関する研究結果を
    まとめている。
    https://book.impress.co.jp/books/1118101029
    https://www.oreilly.com/library/view/accelerate/9781457191435/ 39
    

    View Slide

37. l 2018年よりGoogle Cloudと共同で実施しており、毎年調査レポート（State of DevOps）を
    公表している
    調査結果は毎年公開されている
    https://cloud.google.com/blog/ja/products/devops-sre/announcing-dora-2021-accelerate-state-of-devops-report
    40
    

    View Slide

38. l DORA社(現Google)が直近6年間の研究から導いた開発チームのパフォーマンス指標＝Four Keys
    l アジャイルでもウォーターフォールでも計測可能
    デリバリーパフォーマンスの指標
    リードタイム
    コードがコミットされて
    から本番環境で正常に実
    行されるまでの時間
    デプロイ頻度
    コードを本番環境にデプ
    ロイまたはエンドユーザ
    ーにリリースした頻度
    平均サービス
    回復時間(MTRS)
    サービスインシデント
    または不具合が発生した
    ときにサービスの復元に
    どれくらいの
    時間がかかるか
    変更失敗率
    本番環境に変更を加えた、
    またはユーザーへのリリ
    ースを実施した結果サー
    ビスが低下し、
    その後修正を行う必要が
    生じた割合
    41
    

    View Slide

39. デリバリーパフォーマンスの指標
    エリート ハイ ミディアム ロー
    変更リードタイム 1時間未満 1日〜1週間 1ヶ月から6ヶ月 6ヶ月以上
    デプロイ頻度
    オンデマンド
    （1日複数回）
    1週間から1ヶ月 1ヶ月から半年 半年以上
    平均サービス
    回復時間(MTRS)
    1時間未満 1日未満 1日〜1週間 6ヶ月以上
    変更失敗率 0-15% 16-30% 16-30% 16-30%
    state of devops 2021を参考に作成
    42
    

    View Slide

40. エリートとローの差は年々開いている
    デリバリーパフォーマンスの指標
    エリート エリートとローの差 ロー
    変更リードタイム 1時間未満 6570倍 6ヶ月以上
    デプロイ頻度
    オンデマンド
    （1日複数回）
    973倍 半年以上
    平均サービス
    回復時間(MTRS)
    1時間未満 6570倍 6ヶ月以上
    変更失敗率 0-15% 3倍 16-30%
    state of devops 2021を参考に作成
    43
    

    View Slide

41. l four keysは互いに独立した指標ではなく、デリバリにおける品質とスピードをいかに高いレベルで
    実施できているかを測る指標である
    品質とスピードの両立
    品質 スピード
    リードタイムが短くなると
    学習スピードが増し、
    品質が向上する
    品質が向上すると
    リードタイムは短くなり、
    頻繁なデプロイが容易になる
    変更リードタイム
    デプロイ頻度
    平均サービス
    回復時間
    変更失敗率
    

    View Slide

42. 45
    • 品質とスピードは相互に影響しながら（前ページ参考）、デリバリパフォーマンスを高めていく
    • four keysのバラツキが大きいと負の循環が生じる。
    • つまり全ての指標がエリートでないと、現状エリートレベルの指標も長期的には低下する。
    four keysはバランスが取れていることが重要
    four keysのバラツキが少ないと、品質とスピードの相互
    影響が強まり、パフォーマンス向上が見込める
    品質
    スピード
    four keysにバラツキがあると、品質とスピードの相互影
    響が弱まり、長期的にはパフォーマンス低下する
    スピード
    品質
    

    View Slide

43. 46
    • four keysの改善を促すにはケイパビリティ（能力）の獲得が重要
    • four keysを改善するために、組織が保有するケイパビリティ（能力）に着目
    • 「LeanとDevOpsの科学」ではfour keysの改善に効果が高いとされる24のケイパビリティが
    紹介されている（現在は27にUpdateされている）
    ケイパビリティについて
    終わりのない継続的改善
    組織の目標に応じた
    ケイパビリティに焦点を当てる
    結果をベースに特定のケイパビリティが
    結果にどう有用なのか重視する
    変化に合わせた（動的な）改善が可能
    ケイパビリティモデルの特徴
    

    View Slide

44. ケイパビリティは定期的にアップデートされている
    技術 プロセス 測定 組織文化
    バージョン管理
    チームのツール選択の
    サポート
    チームのテスト システムをモニタリングしてビ
    ジネス上の意思決定に役立てる
    仕事の満足度
    トランクベース開発 テストデータ管理 変更承認の効率化 障害の予兆通知 Westrumの組織類型
    継続的インテ
    グレーション
    セキュリティの
    シフトレフト
    お客様の
    フィードバック
    仕掛かり制限 学習文化
    デプロイの自動化
    データベースの
    チェンジマネジメント
    バリューストリーム
    での作業の可視性
    ビジュアル管理 変革型リーダーシップ
    継続的なテスト
    クラウド
    インフラストラクチャ
    小さいバッチ
    単位の作業
    モニタリングと
    オブザービリティ
    継続的デリバリー コードの保守性
    アーキテクチャ 現在27のケイパビリティが公開されている
    https://cloud.google.com/architecture/devops/capabilities?hl=ja
    47
    

    View Slide

45. 計測までの道のり
    

    View Slide

46. 49
    1. 計測仕様を決める
    2. 計測データを収集する
    3. 計測結果を可視化する
    4. プロダクト開発チームのケイパビリティ調査を実施する
    5. four keysとケイパビリティ調査結果を踏まえ、改善施策を定める
    6. 改善施策を実行する
    大まかな流れ
    

    View Slide

47. 50
    1. 計測仕様を決める
    2. 計測データを収集する
    3. 計測結果を可視化する
    4. プロダクト開発チームのケイパビリティ調査を実施する
    5. four keysとケイパビリティ調査結果を踏まえ、改善施策を定める
    6. 改善施策を実行する
    大まかな流れ
    ここを説明
    

    View Slide

48. 計測 - four keys
    

    View Slide

49. Kick Off
    ü 計測は社内全プロダクトへの展開を予定して
    いる
    ü プロダクトチーム向けの説明会を実施し、
    キックオフ！
    • エンジニアにとって身近で関心のある
    メトリクスだったのか、スムーズにス
    タートした
    そうだ！計測しよう
    52
    

    View Slide

50. 開発チームとSPIで協力して進める
    ü 開発チームはプロダクトのデリバリープロセ
    スを踏まえ、計測方法、収集するデータを検
    討する
    ü SPIは開発チームと話し合って決めたことを
    他プロダクトに展開し、プロダクト毎に解釈
    が異ならないようにする
    計測仕様を決める
    53
    

    View Slide

51. 計測仕様の一例
    four keys 定義 計測仕様
    リードタイム
    コードがコミットされてから本番環
    境で正常に実行されるまでの時間
    初回コミットからメインブランチへの
    マージ日時
    デプロイ頻度
    コードを本番環境にデプロイまたは
    エンドユーザーにリリースした頻度
    一定期間にメインブランチへマージし
    た回数
    平均サービス
    回復時間(MTRS)
    サービスインシデント
    または不具合が発生したときにサー
    ビスの復元にどれくらいの
    時間がかかるか
    障害検知から解消までの時間
    変更失敗率
    本番環境に変更を加えた、またはユ
    ーザーへのリリースを実施した結果
    サービスが低下し、
    その後修正を行う必要が生じた割合
    障害件数 / メインブランチへのマージ
    件数
    データ収集に手間がかかる場合もあるので、
    なるべく軽くスタートして、必要であれば改善をする方針とした
    54
    

    View Slide

52. l まずは2021年1月~のデータはスプレッドシートに収集した
    l 普段管理しているツールやドキュメントからデータを収集できたため、容易に過去分を収集できた
    計測データを収集する
    55
    

    View Slide

53. l 収集したデータをGoogleデータポータルで可視化する（※図はぼかしてます）
    計測結果を可視化する
    プロダクトA プロダクトB
    56
    デモ
    

    View Slide

54. 計測 - ケイパビリティ
    

    View Slide

55. l ケイパビリティを計測する上で「何を持ってそのケイパビリティが備わっているか」の定義が必要
    l ケイパビリティ毎に満たすために必要な観点を作成
    l 観点についてはGoogle cloudが公開しているケイパビリティに関する説明を参考に作成
    ケイパビリティ毎の観点を定める
    https://cloud.google.com/architecture/devops/devops-tech-test-automation?hl=ja
    59
    顧客からのフィードバックの測定⽅法
    顧客からのフィードバックを収集して可視化し、それに対処することを実現するために、⾼度な
    データ収集は必要ではありません。次の質問により、製品設計のために顧客からのフィードバッ
    クをどの程度活⽤しているかを判断できます。
    • 顧客満⾜度を測定する指標はありますか？これらは定期的に更新され、チームに定期的に
    配信されますか？それらに対処していますか？
    • すべての機能を構築する前に検証を⾏い、配信の⼀環としてプロトタイプを使⽤してユー
    ザー調査を実施していますか？
    • このユーザー調査に基づいて機能に変更を加えていますか？
    • ユーザーから積極的かつ定期的にフィードバックを収集し、それに対処していますか？
    

    View Slide

56. l 実際にプロダクトに携わっているメンバーに回答を依頼
    l 保有しているor保有してないの二者択一ではなく、どの程度満たしているのか度合いを調査
    l 「一部同意できる」については詳細を残すことで現状を正しく可視化する
    どの程度ケイパビリティを保有しているのか調査
    60
    

    View Slide

57. ● 組織文化（4ケイパビリティ）を除
    く23ケイパビリティを調査
    実際の回答結果
    63
    

    View Slide

58. 工夫ポイント①：ビズリーチの状況を踏まえて観点を作成
    l ケイパビリティの中にはGoogle Cloudの公開文書だけでは調査不足に陥る可能性があった
    l ケイパビリティが何を目指し、なぜfour keysを高めるのに有効なのか、有効な要素・プラクティス
    は何かを丁寧に読み解いた
    https://cloud.google.com/architecture/devops/devops-tech-test-automation?hl=ja
    64
    

    View Slide

59. 工夫ポイント①：ビズリーチの状況を踏まえて観点を作成
    Googleはユニット・結合を100%自動化して
    いる前提のように見える。
    現状組織によって自動化の度合いが異なるから、
    その点を計測した方がいいのでは？
    エンジニア SPI
    たしカニ！
    65
    

    View Slide

60. l 2021年度のstate of devopsにドキュメントに関する言及がされており、現状のビズリーチの開発組
    織におけるドキュメントの必要性を含めケイパビリティとして採用
    l 観点についてはstate of devopsに記載されている内容をベースに作成
    工夫ポイント②：新たなケイパビリティの追加
    https://cloud.google.com/blog/ja/products/devops-sre/announcing-dora-2021-accelerate-state-of-devops-report
    66
    

    View Slide

61. l 直訳なものもあり、内容を理解するのに時間を要した
    l 例えば「継続的テスト」では承認テストという単語が何度も登場するが、どのテストを指している
    のか当初わからなかった。原文を見返したり、社内の有識者と意見交換するなどした。
    苦労ポイント①：内容の咀嚼が重い。。
    https://cloud.google.com/architecture/devops/devops-tech-test-automation?hl=ja
    承認テスト
    とは、、？
    67
    

    View Slide

62. l 当初観点表の回答は1.5h程度の想定をしていた
    l 実際に回答者に確認したら5時間以上かかっていることが判明
    苦労ポイント②：回答者の負担が大きい
    回答に5時間くらいかか
    りましたね……
    エンジニア SPI
    ファッ！！！！
    68
    

    View Slide

63. l 回答している場に同席し観察していると、どこで時間がかかっているか見えてくる
    l 明らかにわからない場合は質問するが、そうでない場合は自分で悩んでしまい時間がかかっている
    ことが判明（１つ１つは重くないため本人も自覚がない）
    苦労ポイント③：回答に時間を要する
    これってどうい
    う意味だろ。。
    エンジニア SPI
    悩んでいそう…
    聞いてくれれば
    いいのに！
    69
    

    View Slide

64. 計測結果をどう活かしているか
    

    View Slide

65. l ケイパビリティ強化やプロセス改善進めると、質・スピードが向上し、four keyも向上するはず
    l 継続的にfour keysを計測することで施策の効果をみえるようにする
    改善効果を定量的に把握する
    71
    

    View Slide

66. l 「THE DevOps HANDBOOK」の3つの道を参考にケイパビリティ毎の関連をマッピングし整理
    ケイパビリティの活かし方①
    72
    

    View Slide

67. l THE DevOps HANDBOOKの3つの道を参考にケイパビリティ毎の関連をマッピングし整理
    ケイパビリティの活かし方①
    調査結果を元に特に不足しているケイパビリティに
    👀をつけ、どこから改善していくか認識を合わす
    👀
    👀
    👀
    👀
    73
    

    View Slide

68. l ケイパビリティを調査したところ、どの項目も獲得できていないケイパビリティがあり、
    どこから手をつければいいのか一目でわからなかった..
    ケイパビリティの活かし方②
    74
    

    View Slide

69. “DevOpsへの変革の候補となるアプリケーション、サービスを選択したら、顧客に対して価値を生み出す
    ために協力しなければならないバリューストリームの中の全てのメンバーを明らかにする必要がある。
    （中略）
    バリューストリームのメンバーが明らかになったら、次は仕事がどのように進められるかを具体的に理解することだ。”
    ヒントは先人の英知の中に
    https://www.nikkeibp.co.jp/atclpubmkt/book/17/P85480/
    The DevOps HANDBOOK 理論・実践・原則の全て ジーン・キム、ジェズ・ハンブル、パトリック・ドボア、ジョンウィリス 榊原彰監修 長尾高弘 日経BP社 P105
    75
    

    View Slide

70. l ケイパビリティの１つである「バリューストリームでの作業の可視化」に着目
    l バリューストリームマップを作成し、洗い出した課題とケイパビリティを紐づけながら
    改善の方向性を探っていく
    バリューストリームマップの作成
    76
    

    View Slide

71. 活動を振り返って
    

    View Slide

72. 3つの学び
    視えるからこそ
    意見が生まれる
    指標はあくまで指標
    改善の一歩目は
    ユーザーを観る
    78
    

    View Slide

73. 79
    l 可視化することで同じものをみて、建設的に
    話し合うことができる
    l 実際にでてきた意見
    l 「次はプルリク単位のリードタイムでは
    なく、PBI単位のリードタイムがみたい」
    l 「障害のより詳細な情報がみたい
    （とりたい）」
    l ファクトを元に話し合い、カイゼンする文化の
    第一歩になった
    視えるからこそ意見が生まれる
    

    View Slide

74. l ある組織の改善提案で、調査結果だけ見て改善提案を出したところ担当者が渋い表情に……
    指標はあくまで指標
    まずは最も数値が悪い
    リードタイムの改善を
    進めるのがいいと思っ
    ていますがいかがでし
    ょう？
    SPI エンジニア
    今の数値で戦略上問題
    ないと思っている
    のだけど……
    80
    

    View Slide

75. l four keysやケイパビリティは現状把握の1つの側面にすぎない
    l 組織の成長戦略と調査結果から見えることを紐付けることが重要
    指標はあくまで指標
    SPI
    無意識にfour
    keysを高める方
    に意識が向きす
    ぎていた！
    組織の困りごと
    がどう解消され
    るか考えないと
    ……
    81
    

    View Slide

76. l 実際にプロダクトを使っている様子をみることでユーザーが何に困っているのか、
    どう使っているのか理解を深めることができた
    改善の一歩目はユーザーを観る
    82
    

    View Slide

77. 今後の展望
    

    View Slide

78. 今後の展望
    86
    計測負担の軽減 信頼性の計測 イケてる可視化
    組織文化の
    ケイパビリティ計測
    

    View Slide

79. l Dadadogのオプション拡充等を行い、なるべく自動化したい
    計測負担の軽減
    87
    https://docs.datadoghq.com/ja/monitors/incident_management/
    

    View Slide

80. l State of DevOps2021では5番目の指標として信頼性を挙げている
    l 既にSLOなどはプロダクト毎に定義しているが、State of DevOps2021を元に
    さらにできることがないかSRE と協力して実施していく
    信頼性の計測
    https://cloud.google.com/blog/ja/products/devops-sre/announcing-dora-2021-accelerate-state-of-devops-report
    88
    

    View Slide

81. l 現在はケイパビリティがどの程度獲得できているかわかる状態にはなっている
    l 今後は、どのケイパビリティの改善が最もインパクトが大きいかを可視化していきたい
    イケてる可視化（ケイパビリティ）
    https://speakerdeck.com/ttorii0609/acceleratefan-yi-ben-falsekimo?slide=4
    89
    

    View Slide

82. l 現状は組織文化に対する詳細な調査は実施できていない
    l 今後HRMOSの組織診断サーベイを活用して、組織文化項目の調査を実施予定
    サーベイを活用した組織文化項目の調査
    https://hrmos.co/landing/core/01_survey_nor.html
    90
    

    View Slide

83. View Slide