ハイスコアから紐解くチームの自動テスト運用

by ct

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

© LY Corporation Internal Use Only 「LIFF」について • LINE Front-end Framework (LIFF)は、LINEヤフー株式会社が提供するウェブアプリのプラットフォームのことです。 LIFFの概要 LIFFの品質管理体制テスト対象 • モバイル（iOS/Android） • LINE内で開くLIFFブラウザと外部ブラウザ • PCウェブ • 2週間に⼀度リリースサイクル

Slide 6

Slide 6 text

Slide 7

Slide 7 text

© LY Corporation Internal Use Only LIFFの⾃動テスト LIFFの品質管理体制⾃動テスト導⼊の⽬的 1. テスト活動の効率化 • テスト⾃動化によって⽣み出した余剰⼯数を他活動へ当て、品質全体への貢献 2. 早期検知による開発⽣産性向上 • ⾼頻度で⾃動テストを回し、バグをより早い段階で検出することで機能追加や仕様変更によるデグレードリスクの防⽌に貢献 3. オペレーションミス防⽌ • テストデータのコピペミスやtypoなどの⼈的ミスを防⽌ • テスト結果の確認ミスや確認深度のブレを防⽌

Slide 8

Slide 8 text

© LY Corporation Internal Use Only LIFFの⾃動テスト LIFFの品質管理体制⾃動化状況について • MagicPodでの⾃動テストを導⼊して3年⽬突⼊！ • CI環境連携済みでモバイル(iOS/Android)・ブラウザで毎⽇テスト実⾏中 • 実施される⽉のテストの総件数は1万超え • 隔週リリース毎に⼿動実施していた回帰テストは全て⾃動化済み • 簡単なテストであれば修正確認も⾃動テストの結果で確認

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

© LY Corporation Internal Use Only 属⼈化が進むことによって… • カバレッジ拡⼤の動きが鈍化 • ノンコードツールなのでテストケース作成のハードルは低い⼀⽅で、 • 動作性・安定性・可読性・効率性・可変性などを考慮しての作成は難易度が上がる • ⽣産性の低下 • 問題が発⽣したときに担当者以外が原因の追及ができない • 改善活動を偏った観点でしか運⽤できない → ⾃動化を運⽤していく上で属⼈化を防ぐことはマスト 15 チームの⾃動テスト運⽤課題チームの⾃動テスト運⽤について

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

© LY Corporation Internal Use Only Step1. Zoomを繋いでドライバー（教わる側）が画⾯共有 • ⼀台のPCを⼆⼈で利⽤するのが⼀般的な⽅法 • 「同時に確認する」状態をZoomの画⾯共有機能で再現 Tips: Zoomの書き込み機能を使うことで、操作して欲しい場所をペンで指定しながら指⽰もできて進めやすい 20 脱属⼈化のための取り組みチームの⾃動テスト運⽤について

Slide 21

Slide 21 text

© LY Corporation Internal Use Only Step2. 時間を決めて実⾏ 21 時間やること説明 5分ゴールを決める計画表に基づき何をどこまで⾃動化するか両者感の認識を合わせる 1分役割を決める新⼈がドライバー（教わる側）固定 60分テストケース作成ナビゲーター（教える側）がケースの構成共有→実装→ 実⾏→エラーログを確認→修正を繰り返す 10分振り返りとネクストアクションの決定ドライバー（教わる側）から勉強になったことなどの「気づき」を発信してもらうようにする。ここで出た内容は後で他のメンバーにも共有する。脱属⼈化のための取り組みチームの⾃動テスト運⽤について

Slide 22

Slide 22 text

© LY Corporation Internal Use Only • 会話を重ねて作っていくため⼀緒に考えて作り上げていくことを実感できて楽しく、頭に⼊りやすい • リアルタイムで進⾏していくので、調べる時間や返答待ちの時間も削れる • エラーログの確認をナビゲーターと⼀緒にタイムリーに⾏えるので、失敗したテストの⾒⽅を覚えやすいドライバー（教わる側）のメリット 22 • レビュー時間の削減 • 判断理由（思考プロセス）を⾔語化して伝えることでアウトプットになり、⾃分⾃⾝のスキルの定着と向上になる • シームレスなやりとりにより、個⼈に合わせた教育をしやすい（調整ができる）ナビゲータ（教える側）のメリット脱属⼈化のための取り組みチームの⾃動テスト運⽤について

Slide 23

Slide 23 text

© LY Corporation Internal Use Only • 会話を重ねて作っていくため⼀緒に考えて作り上げていくことを実感できて楽しく、頭に⼊りやすい • リアルタイムで進⾏していくので、調べる時間や返答待ちの時間も削れる • エラーログの確認をナビゲーターと⼀緒にタイムリーに⾏えるので、失敗したテストの⾒⽅を覚えやすいドライバー（教わる側）のメリット 23 • レビュー時間の削減 • 判断理由（思考プロセス）を⾔語化して伝えることでアウトプットになり、⾃分⾃⾝のスキルの定着と向上になる • シームレスなやりとりにより、個⼈に合わせた教育をしやすい（調整ができる）ナビゲータ（教える側）のメリット脱属⼈化のための取り組みチームの⾃動テスト運⽤について

Slide 24

Slide 24 text

© LY Corporation Internal Use Only • チームメンバーレベル感によってペアプロ進⾏の向き不向きはある • レベル１：未経験者 • レベル２：テストケースを作れる • レベル３：⼈に教えることができる 24 メンバーのレベルペアプロ進⾏適正全員レベル１あまり向かないレベル１とレベル２または３のペア向いている ※レベル１が⼀気にレベル２まで上がるイメージチーム全員がレベル２または３教育⾯で考えるとメリットはない ※スキルの相乗効果は期待ができる脱属⼈化のための取り組みチームの⾃動テスト運⽤について

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

© LY Corporation Internal Use Only • スケジュールを設定して1⽇1時間は⾃動化対応に時間を割く • 毎⽇⾃動テストの結果を確認 • 連⽇失敗しているケースから優先してエラー原因の特定・修正対応を実施（⼿動で計測）ヘルススコア機能リリース前 28 • ヘルススコア集計サイクルに合わせて作業を⾏うようにシフトチェンジ • ⽉曜 1. ヘルススコアの結果確認 2. 改善ポイント確認 3. 平常作業のボリューム確認、⾃動化対応に避ける時間の⾒積もり 4. ⾃動化対応の⽬標決定（⼩さいものでも可） 5. テストケース新規作成・修正を⾏う場合、実装⽅針の認識合わせ • ⾦曜 1. 対応内容共有 2. ナレッジ共有、振り返りヘルススコア機能リリース後⾃動化対応を習慣化するための⼯夫チームの⾃動テスト運⽤について

Slide 29

Slide 29 text

© LY Corporation Internal Use Only • スケジュールを設定して1⽇1時間は⾃動化対応に時間を割く • 毎⽇⾃動テストの結果を確認 • 連⽇失敗しているケースから優先してエラー原因の特定・修正対応を実施（⼿動で計測）対応頻度は上がったものの結局忙しいとスケジュールを無視しがちに… ヘルススコア機能リリース前 29 • ヘルススコア集計サイクルに合わせて作業を⾏うようにシフトチェンジ • ⽉曜 1. ヘルススコアの結果確認 2. 改善ポイント確認 3. 平常作業のボリューム確認、⾃動化対応に避ける時間の⾒積もり 4. ⾃動化対応の⽬標決定（⼩さいものでも可） 5. テストケース新規作成・修正を⾏う場合、実装⽅針の認識合わせ • ⾦曜 1. 対応内容共有 2. ナレッジ共有、振り返りヘルススコア機能リリース後⾃動化対応を習慣化するための⼯夫チームの⾃動テスト運⽤について

Slide 30

Slide 30 text

© LY Corporation Internal Use Only • スケジュールを設定して1⽇1時間は⾃動化対応に時間を割く • 毎⽇⾃動テストの結果を確認 • 連⽇失敗しているケースから優先してエラー原因の特定・修正対応を実施（⼿動で計測）対応頻度は上がったものの結局忙しいとスケジュールを無視しがちに… ヘルススコア機能リリース前 30 • ヘルススコア集計サイクルに合わせて作業を⾏うようにシフトチェンジ • ⽉曜 1. ヘルススコアの結果確認 2. 改善ポイント確認 3. 通常業務のボリューム確認、⾃動化対応に割ける時間の⾒積もり 4. ⾃動化対応の⽬標決定（⼩さいものでも可） 5. テストケース新規作成・修正を⾏う場合、実装⽅針の認識合わせ • ⾦曜 1. 対応内容共有 2. ナレッジ共有、振り返りヘルススコア機能リリース後⾃動化対応を習慣化するための⼯夫チームの⾃動テスト運⽤について

Slide 31

Slide 31 text

© LY Corporation Internal Use Only • スケジュールを設定して1⽇1時間は⾃動化対応に時間を割く • 毎⽇⾃動テストの結果を確認 • 連⽇失敗しているケースから優先してエラー原因の特定・修正対応を実施（⼿動で計測）対応頻度は上がったものの結局忙しいとスケジュールを無視しがちに… ヘルススコア機能リリース前 31 • ヘルススコア集計サイクルに合わせて作業を⾏うようにシフトチェンジ • ⽉曜 1. ヘルススコアの結果確認 2. 改善ポイント確認 3. 通常業務のボリューム確認、⾃動化対応に割ける時間の⾒積もり 4. ⾃動化対応の⽬標決定（⼩さいものでも可） 5. テストケース新規作成・修正を⾏う場合、実装⽅針の認識合わせ • ⾦曜 1. 対応内容共有 2. ナレッジ共有、振り返り⾃分たちにとって無理のない作業サイクルで⾃動化対応のルーティン化を実現！ヘルススコア機能リリース後⾃動化対応を習慣化するための⼯夫チームの⾃動テスト運⽤について

Slide 32

Slide 32 text

01 発表内容のアジェンダをここに⼊⼒してください © LY Corporation Internal Use Only 運⽤結果 l ⾃動化対応がチームの習慣として定着し、継続的な改善が可能に l （健全さの可視化がモチベーション維持に効果⼤！） 32 チームの⾃動テスト運⽤について⾃動化対応を習慣化するための⼯夫

Slide 33

Slide 33 text

Slide 34

Slide 34 text

01 発表内容のアジェンダをここに⼊⼒してください © LY Corporation Internal Use Only （例）モバイルで外部ブラウザを開き、ウェブアプリを開く 34 テストケースのメンテナンス性・安定性向上のためのポイントチームの⾃動テスト運⽤について

Slide 35

Slide 35 text

01 発表内容のアジェンダをここに⼊⼒してください © LY Corporation Internal Use Only ‒ 問題点 • テストケース毎にウェブアプリを新規で開き続けるためタブが無限に増え、アプリの動作が重くなってしまう ‒ 解決⽅法案 • ？？？ 35 テストケースのメンテナンス性・安定性向上のためのポイントチームの⾃動テスト運⽤について

Slide 36

Slide 36 text

01 発表内容のアジェンダをここに⼊⼒してください © LY Corporation Internal Use Only ‒ 問題点 • テストケース毎にウェブアプリを新規で開き続けるためタブが無限に増え、アプリの動作が重くなってしまう ‒ 解決⽅法案 • そもそもタブが毎回新規で開かないようにする • テストケースの最後でタブを閉じるステップを追加する • 「ブラウザタブをすべて閉じる」専⽤のテストケースを作成する etc… 36 テストケースのメンテナンス性・安定性向上のためのポイントチームの⾃動テスト運⽤について

Slide 37

Slide 37 text

01 発表内容のアジェンダをここに⼊⼒してください © LY Corporation Internal Use Only ‒ 結論 • E2Eで考える⽅法は最終⼿段 ‒ 何故なら、以下のリスクに繋がってしまう可能性が増える • テスト実⾏時間増加 • メンテナンス性、安定性の低下 • 仮にChromeの仕様が変われば修正が必要 • 失敗確率増加 • 本来テストしたい場所ではない処理で失敗すると対応時間も取られる 37 テストケースのメンテナンス性・安定性向上のためのポイントチームの⾃動テスト運⽤について

Slide 38

Slide 38 text

01 発表内容のアジェンダをここに⼊⼒してください © LY Corporation Internal Use Only ‒ E2E以外での解決⽅法例 • WEBプロジェクトのモバイルエミュレーションを利⽤ • シークレットモードでテストする • テスト実⾏前にADB(Android Debug Bridge)でChrome Appを初期化する • （adb shell pm clear com.android.chrome コマンドを実⾏） etc.. 38 テストケースのメンテナンス性・安定性向上のためのポイントチームの⾃動テスト運⽤について

Slide 39

Slide 39 text

01 発表内容のアジェンダをここに⼊⼒してください © LY Corporation Internal Use Only ‒ E2E以外での解決⽅法例 • WEBプロジェクトのモバイルエミュレーションを利⽤ • シークレットモードでテストする • テスト実⾏前にADB(Android Debug Bridge)でChrome Appを初期化する＜採⽤＞ • Jenkinsも⽤いて初期化プロセスも⾃動化済み 39 テストケースのメンテナンス性・安定性向上のためのポイントチームの⾃動テスト運⽤について

Slide 40

Slide 40 text

01 発表内容のアジェンダをここに⼊⼒してください © LY Corporation Internal Use Only ★E2Eを通さずに効率的に解決できる⽅法がないか考えてみることも⼤切 40 テストケースのメンテナンス性・安定性向上のためのポイントチームの⾃動テスト運⽤について

Slide 41

Slide 41 text

Slide 42

Slide 42 text

01 発表内容のアジェンダをここに⼊⼒してください © LY Corporation Internal Use Only ü属⼈化を防ぐ ü⾃動化対応の習慣を定着させる ü安定性、メンテナンス性を考慮したテスト設計をする上記の取り組みが安定したハイスコア継続への効果が⼤きい 42 まとめ

Slide 43

Slide 43 text

Slide 44

Slide 44 text

01 発表内容のアジェンダをここに⼊⼒してください © LY Corporation Internal Use Only ⼤切なことはスコアを通して、・どのように⾃動テストと向き合っていくか・そして、プロダクトの品質向上にどう繋げていくか 44 まとめ

Slide 45

Slide 45 text

01 発表内容のアジェンダをここに⼊⼒してください © LY Corporation Internal Use Only ヘルススコア機能から得られたもの • ⾃分たちの⾃動化対応のルーティンの変化 • 継続的な改善活動のきっかけ • ⾃信やモチベーションの向上 45 まとめ

Slide 46

Slide 46 text

01 発表内容のアジェンダをここに⼊⼒してください © LY Corporation Internal Use Only ヘルススコア機能から得られたもの • ⾃分たちの⾃動化対応のルーティンの変化 • 継続的な改善活動のきっかけ • ⾃信やモチベーションの向上 46 まとめ⾼品質なプロダクトを提供するための重要な⼀歩となった。