QAエンジニアが「開発者になる」と自動テスト運用は上手くいく／ソフトウェアテスト自動化カンファレンス2023

自動テストに取り組むにあたり、QAエンジニアである私は「開発者になる」ことにしました。自らコードを書き、リリースをし、失敗する自動テストに腹を立てました。実体験をベースに、自動テストの運用にQAとしてどう向き合うべきかを考えます。

Transcript

1. QAエンジニアが「開発者になる」と 自動テスト運用は上手くいく 株式会社ユーザベース ソーシャル経済メディア「NewsPicks」 QAエンジニア 西薗 和希
2. ©NewsPicks Inc. All Rights Reserved. 話すこと エンジニア約70名のニューズピックスで、 QAチーム（2名）をやっている私が、 最近、自動テストの運用立て直しに挑戦したときの話をします。 技術的な話はしません。
3. ©NewsPicks Inc. All Rights Reserved. 西薗 和希 (X: @yurizono) NewsPicks QAエンジニア STUDY： 大阪府立高専→近大→奈良先端大 WORK： 野村総合研究所 (6年半) → 開発、PjM、QA SHIFT ASIA ＠ベトナム (2年) → QA 無職で子育て ＠鹿児島 (1年) → 専業主夫 UZABASE - NewsPicks (2年半) → 一人目QA
4. ©NewsPicks Inc. All Rights Reserved. 自動テストって誰が、どうやって運用してます？
5. ©NewsPicks Inc. All Rights Reserved. うちはこんな感じでした。
6. ©NewsPicks Inc. All Rights Reserved. 自動テスト SUT 作る テストする テストする なぜか動いている🙄 開発者 QA 保守？
7. ©NewsPicks Inc. All Rights Reserved. お察しの通り、こうなりました。
8. ©NewsPicks Inc. All Rights Reserved.
9. ©NewsPicks Inc. All Rights Reserved. ＿人人人人人人人人人人＿ ＞ 失敗のほうが多い ＜ ￣Y^Y^Y^Y^Y^Y^Y^Y^￣
10. ©NewsPicks Inc. All Rights Reserved. リリースフローはこんな感じ
11. ©NewsPicks Inc. All Rights Reserved. 自動テスト Canary (1) Canary に撒く (2) 自動テストする (3) OKなら全体適用 開発者
12. ©NewsPicks Inc. All Rights Reserved. 自動テスト 開発者 Canary (1) Canary に撒く (5) 諦めて手で確認 (2) 自動テストする (3) 失敗。再ランする (4) 失敗。 (6) OK?なので全体適用
13. ©NewsPicks Inc. All Rights Reserved. なぜ、こうなってしまったのだろう？
14. ©NewsPicks Inc. All Rights Reserved. Q. なぜ、こうなってしまったのだろう？ A. 自動テストが適切にメンテナンスされていないから。 • E2Eは4年前に導入、近年の更新頻度は低かった。つい最近、自動テストの調子が悪くなった。 Q. では、なぜメンテナンスされなかったのだろう？ A. 自動テストのオーナーがいないから。 • 開発チームが10以上あり、そのどれもが今回のSUTのオーナーでない。 • QAチームは私含めてメンバーが2人しかおらず、自動テストにまで手を出せていない。
15. ©NewsPicks Inc. All Rights Reserved. 自動テストのオーナーを決めよう
16. ©NewsPicks Inc. All Rights Reserved. SET 爆誕 (私) 自動テストを 自分で書くのは ほぼ4年ぶり
17. ©NewsPicks Inc. All Rights Reserved. やることの優先度を見直そう
18. ©NewsPicks Inc. All Rights Reserved. やることの優先度を見直そう と言うだけで問題が解決すれば、 誰も苦労はしませんね。
19. ©NewsPicks Inc. All Rights Reserved. 優先度を見直さざるを得ない仕組みを入れました （正確には、SREの方に入れてもらいました）
20. ©NewsPicks Inc. All Rights Reserved. これです。 テスト失敗
 →QAへメンション

21. ©NewsPicks Inc. All Rights Reserved. メンションしただけ……？
22. ©NewsPicks Inc. All Rights Reserved. リリースは1日に4回、5回と行われる。 1. 失敗率が極めて高かったため、1日に3回、4回とメン ション来る 2. メンション＝「リリースしたい！助けて！」 3. 毎回焦る 4. イライラする 5. 他のタスクの優先度を下げて、こちらに取り組む。 6. そればかりで仕事にならなくなるので、根本対策！ 優先度が上がった！ QA
23. ©NewsPicks Inc. All Rights Reserved. 開発者もテスト失敗したら焦るし、 そっちにお願いすればいいのでは……？
24. ©NewsPicks Inc. All Rights Reserved. リリースをほぼ毎週する。 1. そして、ほぼ失敗する。 2. 「またか……」とリトライする。 3. 場合によっては手動確認する。 リリースは1日に4回、5回と行われる。 1. 失敗率が極めて高かったため、1日に3回、4回とメン ション来る 2. メンション＝「リリースしたい！助けて！」 3. 毎回焦る 4. イライラする QA 開発者
25. ©NewsPicks Inc. All Rights Reserved. リリースをほぼ毎週する。 1. そして、ほぼ失敗する。 2. 「またか……」とリトライする。 3. 場合によっては手動確認する。 リリースは1日に4回、5回と行われる。 1. 失敗率が極めて高かったため、1日に3回、4回とメン ション来る 2. メンション＝「リリースしたい！助けて！」 3. 毎回焦る 4. イライラする QA 新鮮 慣れ 開発者 大きな違い
26. ©NewsPicks Inc. All Rights Reserved. 敵は「慣れ」
27. ©NewsPicks Inc. All Rights Reserved. 「慣れ」を難しく言うと、「馴化（じゅんか）」 • 生物は、同じ刺激を何度も繰り返し与えられると、徐々に、刺激に反応しなくなっていき ます。例えば「大きな音」などです。反応しなくなるとはつまり、受けるストレスが減っ ていくわけです。これを心理学の用語で馴化と言うそうです。 • 「慣れ」と言われるとなんだか精神論とかチェックリストとかで対処しろ、って雰囲気に なりそうです。ので、あえて難しい言葉を使います。 https://www.fdma.go.jp/singi_kento/kento/items/kento047_09_2-2-1.pdf
28. ©NewsPicks Inc. All Rights Reserved. 「馴化」により、開発者は開発者の（当初の）気持ちを失う。 • 開発者にとってリリースの目的は「開発したものを世に出すこと」であり、「自動テスト を修正する」ことではないので、リリース中の自動テストの失敗が「手動確認」や「リラ ン」で乗り切れるならそうしたいのが本音です。 • それを何度か繰り返すうちに、馴化が進み、自動テストの失敗に対して強いストレスを感 じなくなっていきます。
29. ©NewsPicks Inc. All Rights Reserved. 自動テスト 馴化 自動テスト
 自動テスト 自動テスト 馴化 「失敗した！ さっさと直してやる……」 「時間ができたら まとめて直したいなぁ」 「（無言でリラン）」
30. ©NewsPicks Inc. All Rights Reserved. つまり、 常に自動テストに困らされている開発者より 一時的に「開発者になってみた」QAエンジニアの方が、 より開発者の（当初の）気持ちがわかる。 1. QAエンジニアは普段、開発をしない。リリースもしない。 2. 「リリースする開発者が自動テストに抱く気持ち」を一時的に体験。 3. 自動テストが失敗するってこんなに嫌なものなのか！と再認識。 4. 新鮮な気持ちでいられるうち（今回は1ヶ月程度）に、改善テーマを洗い出し、立 て続けに実施した。
31. ©NewsPicks Inc. All Rights Reserved. まとめると…… QAエンジニアが「一時的に開発者になる」ことで、 リリースフローや自動テストに関する潜在的な問題が見えてきた。 →「一時的に」することで「馴化」を防ぐ。
32. ©NewsPicks Inc. All Rights Reserved. 新鮮な気持ちでおこなった改善 （その前後の時期に行ったものも若干含む）
33. ©NewsPicks Inc. All Rights Reserved. 1. 古ーいChromeで動いていたので、最新化した。 2. すでにサービス終了している機能のテストを廃止した。 3. 自動テストを手元（Apple Sillicon Mac）で簡単に動かせるようにした。 → 2020年初頭の当時はM1がアナウンスされたばかりだった 4. 自動テスト失敗時にスクショを取得するようにした。 5. 自動テスト失敗時にリトライするようにした。 6. テストが実行順に依存していたので、全ケース独立して実行できるようにした。 7. コーディングスタイルをフレームワーク標準に合わせて変更。 8. 旧基盤WEB（Thymeleaf + Coffee Script + jQuery）から、現在移行中の 新基盤WEB（Next.js + React + TypeScript）にテストを対応させた。 9. ついでにWEB開発チームと話をつけ、WebdriverIO→Playwrightの移行を開始。
34. ©NewsPicks Inc. All Rights Reserved. そして、こうなりました
35. ©NewsPicks Inc. All Rights Reserved.
36. ©NewsPicks Inc. All Rights Reserved. ちょっと見栄張った

37. ©NewsPicks Inc. All Rights Reserved. 他に、どんなことに生かせるだろう？
38. 複数のKPIを入れ替えながら運用してみる。 長期間にわたって同じ目標、KPIのもとで改善を繰り返すと、進捗が目に見えてい たとしてもその喜びに対する馴化が進むと考えられます。 異なる刺激を与えるため、定期的にKPIを入れ替えてみるのはどうでしょう。 例えば「自動テストの成功率」と「自動テストのカバレッジ」という2つのKPIが あったら、毎月交互にターゲットを変えながら運用してみましょう。 ©NewsPicks Inc. All Rights Reserved.
39. ©NewsPicks Inc. All Rights Reserved. 自動テスト運用をちょっとの間、あえて辞めてみる。 馴化を防ぐ方法に、刺激の間隔を少し開ける、という方法があります。 しばらく刺激から遠ざけることで、また新鮮さを取り戻せるはず……！ 例えば複数人のSETがいれば、定期的に担当を入れ替えるといったことでも馴化を 防げそうです。
40. ©NewsPicks Inc. All Rights Reserved. 運用は長期戦です。 「馴化」と上手く付き合っていきましょう。 素材： いらすとや https://www.irasutoya.com/ DALL・E https://labs.openai.com/
41. ©NewsPicks Inc. All Rights Reserved. sns • @yurizono テスト管理や、一人目QAについてよく書いてます。 • 一人目QAとして働く、という選択 • テストカバレッジはテストの家計簿だよねって話 素材： いらすとや https://www.irasutoya.com/ DALL・E https://labs.openai.com/