継続的テストモデルにおける具体的な施策を学ぶ / Specific practice about Continuous Testing Model

by nihonbuson

Slide 1

Slide 1 text

継続的テストモデルにおける具体的な施策を学ぶブロッコリー (@nihonbuson)

Slide 2

Slide 2 text

自己紹介 ● 風間裕也（ブロッコリー） ● @nihobuson ● 社外活動 ○ WACATE 2019 夏からWACATE実行委員 ○ JaSST Review 実行委員長 ○ 書籍『Agile Testing Condensed』翻訳 ○ 書籍『Testing in DevOps』翻訳 ● 猫派

Slide 3

Slide 3 text

アジェンダ ● 継続的テストモデルという考え方 ● 継続的テストモデルを支える技術 ● 継続的テストモデルでの具体的な施策 ○ 開発を手助けする施策 ○ 一般的に行うテストの後に実施できる施策 ○ 新機能の利用者を徐々に広げる施策 ○ 本番環境で試す施策

Slide 4

Slide 4 text

継続的テストモデルという考え方

Slide 5

Slide 5 text

継続的テストモデル https://danashby.co.uk/2016/10/19/continuous-testing-in-devops/ 『Agile Testing Condensed』第1章 P3より

Slide 6

Slide 6 text

継続的テストモデル https://danashby.co.uk/2016/10/19/continuous-testing-in-devops/ テスト作業の範囲になりがち『Agile Testing Condensed』第1章 P3より

Slide 7

Slide 7 text

継続的テストモデル https://danashby.co.uk/2016/10/19/continuous-testing-in-devops/ TDD など『Agile Testing Condensed』第1章 P3より

Slide 8

Slide 8 text

継続的テストモデル https://danashby.co.uk/2016/10/19/continuous-testing-in-devops/ 設計レビュー・実例マッピングなど『Agile Testing Condensed』第1章 P3より

Slide 9

Slide 9 text

継続的テストモデル https://danashby.co.uk/2016/10/19/continuous-testing-in-devops/ 『Agile Testing Condensed』第1章 P3より今回の範囲

Slide 10

Slide 10 text

継続的テストモデルを支える技術

Slide 11

Slide 11 text

継続的テストモデルを支える技術 ● リリース戦略 ● トグル

Slide 12

Slide 12 text

リリース戦略 ● 目的・背景の違いにより、リリースまでのデプロイ先環境が異なってくる ○ デプロイ…開発したアプリケーションを　　　　　サーバー上に配置・展開すること ● どのような目的の環境を作成するのか、どのタイミングでデプロイするのか考える必要がある ● リリース戦略とテスト戦略には関係性がある ○ 作成できる環境の制限やリリース戦略によって、実施できるテスト戦略も制限される ○ テスト戦略によって作成すべき環境が変わる

Slide 13

Slide 13 text

リリース戦略例1（本番環境に即時デプロイ）開発環境本番環境機能開発のデプロイバグ修正のデプロイ時間軸 ※本来はブランチでの記載をした方が自然かもしれませんが、　普段の業務でコードを扱わない人もいるかもしれないため、　環境のタイムラインとして表現しています

Slide 14

Slide 14 text

Slide 15

Slide 15 text

リリース戦略例2（検証環境で一旦確認）検証環境開発環境A 本番環境機能開発のデプロイバグ修正のデプロイ時間軸

Slide 16

Slide 16 text

リリース戦略例2（検証環境で一旦確認）検証環境開発環境A 本番環境機能開発のデプロイバグ修正のデプロイ時間軸

Slide 17

Slide 17 text

リリース戦略例2（検証環境で一旦確認）検証環境開発環境A 本番環境機能開発のデプロイバグ修正のデプロイ時間軸

Slide 18

Slide 18 text

リリース戦略例2（検証環境で一旦確認）検証環境開発環境A 本番環境開発環境B 機能開発のデプロイバグ修正のデプロイ時間軸

Slide 19

Slide 19 text

リリース戦略例2（検証環境で一旦確認）検証環境開発環境A 本番環境開発環境B 機能開発のデプロイバグ修正のデプロイ時間軸

Slide 20

Slide 20 text

トグル（フラグ） ● 何らかの条件でスイッチすることで、対象者によって見え方を変える仕組み ● 有名なものとしてフィーチャートグル（フィーチャーフラグ）がある ● 開発やインフラの技術の制限によって、トグルの実現ができない場合がある

Slide 21

Slide 21 text

トグルの例機能X ユーザーA トグルによって振り分け

Slide 22

Slide 22 text

トグルの例機能X ユーザーA 機能X' ユーザーB トグルによって振り分け

Slide 23

Slide 23 text

継続的テストモデルでの具体的な施策

Slide 24

Slide 24 text

継続的テストモデル https://danashby.co.uk/2016/10/19/continuous-testing-in-devops/ 『Agile Testing Condensed』第1章 P3より

Slide 25

Slide 25 text

継続的テストモデルでの具体的な施策 ● 開発を手助けする施策 ○ ダークローンチ ○ A/Bテスト ● 一般的なテストの後に実施できる施策 ○ バグバッシュ ○ ドッグフーディング ● 新機能の利用者を徐々に広げる施策 ○ βテスト ○ カナリアリリース

Slide 26

Slide 26 text

開発を手助けする施策

Slide 27

Slide 27 text

開発を手助けする施策 ● ダークローンチ ● A/Bテスト

Slide 28

Slide 28 text

ダークローンチ ● 本番環境のデプロイ内容に、開発途中のコードを混ぜて載せる方法 ● 開発途中の機能はユーザーに見えないようにする

Slide 29

Slide 29 text

ダークローンチのイメージ図既存機能新規機能ユーザーは既存機能しか見えない

Slide 30

Slide 30 text

ダークローンチのリリース戦略例開発環境本番環境機能開発のデプロイバグ修正のデプロイ

Slide 31

Slide 31 text

ダークローンチのリリース戦略例開発環境本番環境でのフィーチャートグルをON 本番環境機能開発のデプロイバグ修正のデプロイトグルがONの間ユーザーには見えていない

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

ダークローンチのリリース戦略例開発環境本番環境でのフィーチャートグルをON 本番環境でのフィーチャートグルをOFF 本番環境機能開発のデプロイバグ修正のデプロイトグルがONの間ユーザーには見えていない

Slide 35

Slide 35 text

ダークローンチ無しのリリース戦略例開発環境今までの開発したコードをいっぺんに本番環境へデプロイ本番環境開発中にデプロイしないため差分が溜まり続ける

Slide 36

Slide 36 text

ダークローンチの利点と注意点 ● 利点 ○ 毎回の差分が少ないため、レビューやテストがしやすい ● 注意点 ○ きちんと設定しないと、お客様に開発途中の画面が見えてしまう ■ フィーチャートグルの仕組みが重要

Slide 37

Slide 37 text

A/Bテスト ● 改善候補と既存の機能を実際のユーザーに比較して試してもらい、有用な改善か統計的に判断する方法

Slide 38

Slide 38 text

A/Bテストのイメージ図既存機能ユーザーA 新規機能ユーザーB 統計的にランダムに振り分け

Slide 39

Slide 39 text

A/Bテストのリリース戦略例本番環境での A/BテストのトグルをON 本番環境開発環境機能開発のデプロイバグ修正のデプロイ

Slide 40

Slide 40 text

A/Bテストのリリース戦略例（新機能採用）本番環境での A/BテストのトグルをON 本番環境開発環境機能開発のデプロイバグ修正のデプロイ既存機能より新機能の方が良い結果になった

Slide 41

Slide 41 text

A/Bテストのリリース戦略例（新機能採用）本番環境での A/BテストのトグルをON 本番環境での A/Bテストのトグルを消す本番環境開発環境機能開発のデプロイバグ修正のデプロイ既存機能より新機能の方が良い結果になった

Slide 42

Slide 42 text

A/Bテストのリリース戦略例（新機能却下）本番環境での A/BテストのトグルをON 本番環境開発環境機能開発のデプロイリバートのデプロイ既存機能より新機能の方が悪い結果になった

Slide 43

Slide 43 text

A/Bテストのリリース戦略例（新機能却下）本番環境での A/BテストのトグルをON 変更前の状態に戻す本番環境開発環境機能開発のデプロイリバートのデプロイ既存機能より新機能の方が悪い結果になった

Slide 44

Slide 44 text

A/Bテストの利点と注意点 ● 利点 ○ 本格的な実装前に、有用か判断できる ● 注意点 ○ 統計的にランダムであることを保証する必要がある ○ 統計的に有意な差があることを確認する必要がある ○ バグ検出は目的でないのでバグが少ない前提が必要 ○ ユーザーに決定を委ねがちになる ■ 「もし顧客に、望むものを聞いていたら、『もっと速い馬が欲しい』と答えただろう。」 byヘンリーフォード

Slide 45

Slide 45 text

一般的に行うテストの後に実施できる施策

Slide 46

Slide 46 text

一般的に行うテストの後に実施できる施策 ● バグバッシュ ● ドッグフーディング

Slide 47

Slide 47 text

バグバッシュ ● 短時間にみんなでテスト作業を行い、新しいバグを見つける方法 ○ 開発者も開発の手を止めてバグバッシュに参加

Slide 48

Slide 48 text

バグバッシュのリリース戦略例検証環境開発環境A 本番環境機能開発のデプロイバグ修正のデプロイバグバッシュ実施

Slide 49

Slide 49 text

バグバッシュのリリース戦略例検証環境開発環境A 本番環境機能開発のデプロイバグ修正のデプロイバグバッシュ実施 →バグ発見

Slide 50

Slide 50 text

バグバッシュのリリース戦略例検証環境開発環境A 本番環境開発環境B 機能開発のデプロイバグ修正のデプロイバグバッシュ実施 →バグ発見

Slide 51

Slide 51 text

バグバッシュのリリース戦略例検証環境開発環境A 本番リリース本番環境開発環境B 機能開発のデプロイバグ修正のデプロイバグバッシュ実施 →バグ発見

Slide 52

Slide 52 text

バグバッシュの利点と注意点 ● 利点 ○ 動くプロダクトにみんなで向き合うことができる ■ 開発者がテスター任せにしないようになる ● 注意点 ○ ある程度、製品が安定している必要がある ■ バグが少ない製品である ● 些細なバグが大量に出ない前提 ■ バグバッシュ中に製品を更新しない ○ リリースサイクルがある程度長い必要がある

Slide 53

Slide 53 text

ドッグフーディング ● 一般公開する前に、業務中や生活の中で社員が製品を使ってみる方法

Slide 54

Slide 54 text

ドッグフーディングのリリース戦略例社内リリース環境検証環境開発環境次回分検証環境次回分開発環境本番環境

Slide 55

Slide 55 text

ドッグフーディングのリリース戦略例社内リリース環境検証環境ドッグフーディング期間開発環境次回分検証環境次回分開発環境本番環境

Slide 56

Slide 56 text

ドッグフーディングのリリース戦略例社内リリース環境検証環境ドッグフーディング期間 →期間中にバグ発見開発環境次回分検証環境次回分開発環境本番環境開発環境

Slide 57

Slide 57 text

ドッグフーディングのリリース戦略例社内リリース環境検証環境ドッグフーディング期間 →期間中にバグ発見本番リリース開発環境次回分検証環境次回分開発環境本番環境開発環境

Slide 58

Slide 58 text

ドッグフーディングの利点と注意点 ● 利点 ○ 問題が一般ユーザーに流出するのを防ぐ ● 注意点 ○ 一般ユーザーと専門的な知識の量に差がある場合適切にバグを見つけられない ■ 開発者が詳しく知りすぎている製品 ■ 専門家御用達の製品 ○ リリースサイクルがある程度長い必要がある

Slide 59

Slide 59 text

新機能の利用者を徐々に広げる施策

Slide 60

Slide 60 text

新機能の利用者を徐々に広げる施策 ● βテスト ● カナリアリリース

Slide 61

Slide 61 text

βテスト ● 新しいバージョンを特定のユーザーにリリースして、対応できるかどうか確認する方法

Slide 62

Slide 62 text

βテストのイメージ図既存機能一般ユーザー新規機能 βテストユーザー βテスト希望者は新規機能に振り分け

Slide 63

Slide 63 text

βテストのリリース戦略例本番環境での βテストのトグルをON 本番環境開発環境機能開発のデプロイバグ修正のデプロイ

Slide 64

Slide 64 text

βテストのリリース戦略例本番環境での βテストのトグルをON 本番環境開発環境機能開発のデプロイバグ修正のデプロイ βテストユーザーによるバグ報告

Slide 65

Slide 65 text

βテストのリリース戦略例本番環境での βテストのトグルをON 本番環境開発環境開発環境機能開発のデプロイバグ修正のデプロイ βテストユーザーによるバグ報告

Slide 66

Slide 66 text

βテストのリリース戦略例本番環境での βテストのトグルをON 本番環境での βテストのトグルを消す本番環境開発環境開発環境機能開発のデプロイバグ修正のデプロイ βテストユーザーによるバグ報告

Slide 67

Slide 67 text

βテストの利点と注意点 ● 利点 ○ 特定のユーザーならではの多様な視点が入る ○ 早めに製品を公開することで差別化を測れる ● 注意点 ○ βテスト参加者は全ユーザーの代表者ではない ■ 新しいもの好きな性格 ○ 製品を熟知して初めて分かるバグを見つけられない ○ バグの一部が見過ごされる可能性がある ■ 示されている挙動が正しいと勘違いしてしまう

Slide 68

Slide 68 text

カナリアリリース ● ユーザーの一部にリリースして、状況を見て全体に対象を広げるか判断する方法 ○ 例）アクセス先が、 ■ Aサーバー…新機能を使える状態で画面を表示 ■ Bサーバー…新機能を隠した状態で画面を表示 ○ 新機能の対象者の振り分け方 ■ アクセスしたサーバーの所在地 ● 例)日本のサーバーでは新機能を利用可能 ■ 利用しているアプリのバージョン ● 例)新バージョンの一部ユーザーは利用可能

Slide 69

Slide 69 text

カナリアリリースのイメージ図既存機能ユーザーA 新規機能ユーザーB 対象者は新規機能に振り分け

Slide 70

Slide 70 text

カナリアリリースのリリース戦略例1 本番環境でのカナリアリリースのトグルをON 本番環境開発環境機能開発のデプロイバグ修正のデプロイ

Slide 71

Slide 71 text

カナリアリリースのリリース戦略例1 本番環境でのカナリアリリースのトグルをON 本番環境開発環境機能開発のデプロイバグ修正のデプロイカナリアリリース対象者による軽微なバグ報告

Slide 72

Slide 72 text

Slide 73

Slide 73 text

カナリアリリースのリリース戦略例1 本番環境でのカナリアリリースのトグルをON 本番環境でのカナリアリリースのトグルを消す本番環境開発環境機能開発のデプロイバグ修正のデプロイカナリアリリース対象者による軽微なバグ報告

Slide 74

Slide 74 text

カナリアリリースのリリース戦略例2 本番環境でのカナリアリリースのトグルをON 本番環境開発環境機能開発のデプロイリバートのデプロイ

Slide 75

Slide 75 text

カナリアリリースのリリース戦略例2 本番環境でのカナリアリリースのトグルをON 本番環境開発環境機能開発のデプロイリバートのデプロイトラブルが多発

Slide 76

Slide 76 text

カナリアリリースのリリース戦略例2 本番環境でのカナリアリリースのトグルをON 変更前の状態に戻す本番環境開発環境機能開発のデプロイリバートのデプロイトラブルが多発

Slide 77

Slide 77 text

カナリアリリースの利点と注意点 ● 利点 ○ 想定外の事態になった場合、全体へのリリースを取りやめることができる ● 注意点 ○ ロールバックの仕組みを準備しておく必要がある ■ データの二重管理が必要になる ○ A/Bテストとの併用が難しくなる ■ 統計的にランダムである保証が無くなる

Slide 78

Slide 78 text

おわりに

Slide 79

Slide 79 text

まとめ施策名利点注意点ダークローンチ・毎回の差分が少ない・開発途中画面が見えるリスク A/Bテスト・事前に有用な機能か判断可能・統計の考えが必要バグバッシュ・みんなで製品に向き合う・長いリリースサイクルが必要ドッグフーディング・一般ユーザーの使用前に　バグ検出・長いリリースサイクルが必要・一般ユーザーとの知識量の差 βテスト・多様な視点が入る・バグの一部が見過ごされるカナリアリリース・全体のリリースの　取りやめ判断ができる・ロールバックの仕組みが必要・A/Bテストとの併用が難しい

Slide 80

Slide 80 text

おわりに ● リリース戦略とテスト戦略には密接な関係がある ○ リリース戦略の決定によって、実施できるテスト戦略も変わってくる ○ テスト戦略の立案によって、リリース戦略に影響を及ぼす ● 実現できる技術によって、テスト戦略も変わってくる ○ 例)トグルの実現により、ダークローンチが可能に ● 「QAだから/テストフェーズだからテストする」ではなく、全体の戦略やリリース戦略まで踏まえたテストを考えよう！

Slide 81

Slide 81 text

ふりかえり

Slide 82

Slide 82 text

ふりかえり ● 自チームや自組織を思い出し、下記の2つを書こう ○ 【1】既に実施している内容 ■ 例）開発が完了した段階で、チーム全員で　　バグが無いか確認する日を設けている ● →バグバッシュを既にやっているのかも？ ○ 【2】これから実施したい/できそうな内容 ■ 例）毎リリースで差分が大きくて、　　デグレが発生してしまう… ● →ダークローンチを試す価値があるかも？ ● その他、感想等を書こう

Slide 83

Slide 83 text

おしまい