マトリクス型組織の導入後の変化を定量的に捉える

by ハゲワシ

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

© Kakaku.com Inc. All Rights Reserved. 4 QA観点での本発表の位置づけプロセス品質内部品質外部品質利⽤時品質詳しくは下記を参照 https://www.juse.or.jp/sqip/squbok/file/squbok_rev2016_1.pdf プロセス品質：各開発⼯程のプロセス実⾏状況の品質内部品質：開発中の仕様書などの中間成果物の品質外部品質：ソフトウェア実⾏時の振る舞いの品質利⽤時品質：顧客がソフトウェアを利⽤するときの品質品質モデル JISX0129-1 影響影響影響依存依存依存

Slide 5

Slide 5 text

Slide 6

Slide 6 text

© Kakaku.com Inc. All Rights Reserved. 6 本⽇の発表内容 Why：開発プロセスを改善して事業の成果につなげること What：今までの開発プロセス改善の取り組みとその成果 →開発エンジニアより具体的な事例として、マトリクス型組織導⼊後の開発プロセス改善の取り組みについてご紹介します How：開発プロセスの具体的な形である開発チケットやプルリクエストのデータを集計して傾向を捉える →QAエンジニアより傾向を捉えるために⽤いた指標と分析結果をご紹介します

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

© Kakaku.com Inc. All Rights Reserved. 10 ⾷べログにおけるマトリクス型組織職能横断で構成される複数のクロスファンクショナルチームがそれぞれミッションとKPIを持ち、ミッション達成（＝事業の成果につなげる）に向けた開発のライフサイクル全体に責任を持つ詳しくは下記を参照 https://qiita.com/tkyowa/items/c0eab592d5bc356eefd6

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

© Kakaku.com Inc. All Rights Reserved. 17 機能改修のコンフリクトを防ぐ SEO チームアプリUI/UX チーム機能軸レストランチームレストラン検索機能チーム：機能 1：1 ユーザー通知機能ユーザーチームプレミアム会員チームミッション軸チーム：機能 N：N レストラン検索機能ユーザー通知機能機能改修はチームで完結できる各チームで様々な機能を改修するため、コンフリクトが発⽣しやすい機能軸で主管チームを整理し、主管チームへのレビューを運⽤することで、リリース数を増やすことを可能にする

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

© Kakaku.com Inc. All Rights Reserved. 28 ⾃⼰紹介 @hagevvashi 所属株式会社カカクコム⾷べログシステム本部技術部 Developer Productivityチーム QAユニット発表実績「⾷べログのソフトウェアテスト⾃動化デザインパターン」 https://speakerdeck.com/hagevvashi/software-test- automation-patterns-at-tabelog-dot-com

Slide 29

Slide 29 text

Slide 30

Slide 30 text

© Kakaku.com Inc. All Rights Reserved. 30 取り組みを定量的に捉える変化を⽬指す取り組みの継続リリースサイズ⼩さくする（数ヶ⽉→1週間程度）リリース数リリースサイズを⼩さくして増やす障害数事業の成果につなげることを⽬指す PRマージ数実装・レビュー・テストの合計⽇数 (開発チケットより) PRリバート率リリース数 ✖ 障害率 = 障害数 PoCとして関⼾さん所属のプロジェクトで定量的に捉える活動を開始

Slide 31

Slide 31 text

Slide 32

Slide 32 text

© Kakaku.com Inc. All Rights Reserved. 32 取り組みを定量的に捉える - リリース数 - 結果分析の⽬的結果 • 改善活動により、リリース数は1.28倍に増加 • Four Key Metricsの分類ではEliteに所属評価指標実測値年毎のリリース数【計測⽅法】PRマージ数業界標準【Four key metrics】Deployment frequency 【基準】Elite: 245以上(※), High: 12以上年毎のリリース数 • 改善活動によりリリース数が増えたことの確認件数推測 1.28倍 ※(平⽇5⽇✖52週)➖祝⽇15⽇＝245⽇

Slide 33

Slide 33 text

Slide 34

Slide 34 text

© Kakaku.com Inc. All Rights Reserved. 34 取り組みを定量的に捉える - リリースサイズ - 結果分析の⽬的 • リリースサイズが⼩さくなったことの確認結果評価指標実測値リリースサイズ【計測⽅法】実装・レビュー・テストの合計⽇数(開発チケットより)の中央値業界標準【Four key metrics】なし【基準】なしリリースサイズが1/2以下に縮⼩されたリリースサイズ⽇ 1/2以下

Slide 35

Slide 35 text

Slide 36

Slide 36 text

© Kakaku.com Inc. All Rights Reserved. 36 取り組みを定量的に捉える - PRリバート率 - 結果分析の⽬的 • 障害率を考える上での参考として、PRリバート率が業界標準でのEliteの中を推移していることを確認 • PRリバート率が下がったことを確認結果 • Eliteの中を推移している • 2022年のPRリバート率が2021年に⽐べ減少した評価指標【計測⽅法】PRリバート率業界標準【Four key metrics】Change failure rate 【基準】Elite: 0%-15%, High: 16%-30% PRリバート率

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

© Kakaku.com Inc. All Rights Reserved. 40 さらなる変化の機会 - 結果実測値テストからリリースまでのリードタイム【計測⽅法】テスト・デプロイ待ち・デプロイ中の合計⽇数(開発チケットより)の中央値業界標準【Four key metrics】Lead time for changes 【基準】Elite: 1時間以内, High: 1⽇~1週間分析の⽬的 • 今までに挙げたもの以外にも指標を探索し、開発プロセスにおける改善の可能性を探す評価指標結果 • Highの中を推移 • Eliteへの改善の可能性ありテストからリリースまでのリードタイム⽇

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

© Kakaku.com Inc. All Rights Reserved. 44 データ分析上の学び - 初めてのデータ分析への挑戦ヒストグラム(テストからリリースまでのリードタイム) 外れ値⽇中央値: 0.9 平均値: 5.8 ←外れ値に引っ張られている学び初⼼者は安易に平均値を使いがちだが、 QC7つ道具等を使い適切な統計量を選ぶことが⼤切分かったこと平均よりも中央値の⽅が外れ値に対して頑健である困ったこと平均値を使うと外れ値がノイズとなってしまう件数

Slide 45

Slide 45 text

© Kakaku.com Inc. All Rights Reserved. 45 試みの実現を推進する上での学び開発プロセス改善開発エンジニア QAエンジニアデータ分析開発エンジニア & QAエンジニア開発チケット、PRデータ組織のサイロ化は案件開発に限った話ではない... チームを超えた共有事業の成果につなげる開発チケット、PRデータ実現に向けた第⼀歩実現のイメージが持ちづらい... 開発プロセス改善データ分析チーム間定例での情報交換事業の成果につなげる

Slide 46

Slide 46 text