システムテスト自動化はじめの0.5歩 〜あつまれテスト自動化レイトマジョリティさんの森〜

プロダクトに初めて自動テストを導入した時に関係者間で『まず始めに』にどんな会話をしたかを紹介します。まだ自動テストの導入に至っていないという方が「はじめの0.5歩」を踏み出せるヒントになれば幸いです。

Transcript

1. ! ! " # ! !"# !"#$ %&'() *+ ! ,-(. !"!"#$!%&' ()*+,-.$/01234 56789 ! "#$%&'()*+,-./ ! $%&
2. 荒川 健太郎 Kentaro Arakawa ソフトウェアプロセス＆品質改善部 SPI G 兼 DEQI G Automation チーム リードエンジニア arakawa.ke@wingarc.com • プロセス改善 ふりかえりのファシリテート • ⾃動テスト E2E、WebAPI 今⽇はここの⼈間として お話しします。 普段の業務 • 好きなゲームはスプラトゥーン2 わかばシューターが得意 • あつ森も好き 島の名前はぐらにゅー島
3. 発表を聴いていただきたい⽅・発表の意図① レイトマジョリティ︖ !"#$%& '()*+,#-. イノベーター理論 新しいアイデアや技術が社会 になぜ普及したりしなかったり するかや、どのように普及する かを説明しようとする理論 /%012% 3+4+3567+89: ;<=>?@ABCD https://ja.wikipedia.org/wi ki/普及学 イノベーター理論
4. 発表を聴いていただきたい⽅・発表の意図① レイトマジョリティ︖ !"#$%& '()*+,#-. イノベーター理論 新しいアイデアや技術が社会 になぜ普及したりしなかったり するかや、どのように普及する かを説明しようとする理論 /%012% 3+4+3567+89: ;<=>?@ABCD https://ja.wikipedia.org/wi ki/普及学 イノベーター理論 ⽇本のシステムテスト⾃動化は この辺まで到達しているイメージ （あくまでも荒川の勝⼿値）
5. • これからお話しする内容は、 時間的・⼈的な制約があるプロダクトに、 ”初めて“⾃動テストを導⼊したお話となります。 • バリバリ⾃動化してる⼈には退屈かもしれません。 • 「これからやりたい︕」って⽅の背中を押せる 内容になれば幸いです。 発表を聴いていただきたい⽅・発表の意図②
6. 時間的・⼈的な制約があるプロダクトに、 初めて⾃動テストを導⼊した話
7. チーム構成の簡略図 プロダクトD PO ENG QA プロダクトC PO ENG QA プロダクトB PO ENG QA プロダクトA PO ENG QA Automation チーム
8. 2⽉のはじめ、新規プロダクトに⾃動テストを導⼊することになった Chat Designer Internet ① 特定の処理を⾏うBot やワークフローをプログラ ムレスでデザインする ② Botやフローをチャット クライアントを使⽤し て活⽤する • 4⽉中旬ローンチ • フルタイムでアサイン可 能なエンジニア0⼈ • PO、開発、QA、 AutomationT(私) で話し合うことになった
9. 話が噛み合わない QA A「WebAPIのリファレンスとかを共有いただきたいです」 QA B「画⾯の要素にid属性は設定されてるんですかね︖」 開発A「テスト環境のビルドをJenkinsからDLするトリガはどうしましょう︖」 開発B「テストコードのメンテナンスは開発ですかね︖QAですかね︖」 噛み合わない⼈々の会話（誇張版） コンテキストが合ってない状態で話が進みだした感じ プロダクトに関する知識も技術も情熱もある⾯々だが、
10. アクション① ホワイトボードに絵を描いた Chat Designer 「⾃動テストする場所も⾊々ありますよね。」
11. アクション② 「何が⼀番イヤですか︖」 「新しいビルドで、画⾯が崩れたり、 ボタンが押せなくなったりすることがイヤ。」
12. Chat Designer 「じゃあ、今回はここのテストをしましょう。」 ・時間もないし⼈もいないので、シナリオは代表的なハッピーパスをまず1本作りましょう ・画⾯の要素はとれるかな︖IDあるかな︖ ・チャットの画⾯てどうやって動かしましょうかね︖開発の協⼒が必要ですね →14:45〜 「FindElementできない画⾯の（以下略）」 佐藤亮さん発表予定 こうして開発・QA・Automation担当が1枚岩で話が進んでいくことになりました。 appium EFGHIFGJ)K ELMHILMJ)K NOPQRS T?U<?@V?WXY #J)KNZ[QR V?UN\]9^&
13. 構成 いたってシンプルで未熟な構成で1本のシナリオを作成、 3⽉から稼働 定時実⾏ テスト実⾏ 通知 テストコード プッシュ（⼿動） テストコード プル（⼿動）
14. 効果 1本のシナリオが、9ヶ⽉あまり稼働し⼀定の価値を発揮している 稼働回数-------------------- ローンチまでに検知した異常---- ローンチ後に検知した異常------ テストコードのメンテナンス回数-- 378回 11回 4回 12回 ※集計期間︓2020年3⽉18⽇〜11⽉30⽇（257⽇）
15. 今とこれから • サービスレイヤー（WebAPI）の⾃動テスト実装中 • UNITレイヤーの⾃動テスト増加中（開発チームが作っている） • 本格的にCI/CDに組み込んでいく動きの真っ最中 • マルチブラウザなどの課題もあるが優先順位つけながら進めていく
16. 以上を踏まえて私がいま伝えたい、 はじめの0.5歩を踏み出す誰かの背中を 押せるかもしれない3つの事柄
17. コラボレーション 開発者・POなど関係者との対話・協業が最重要。 ・ホワイトボードを囲んで絵を描く（リモートでも） →今やれる範囲で有効な⼿段とアクションが洗い出される →リモートワーク特有の難しさ＋⾔葉だけでは難しい ・同じものを⾒ながら⼀緒に働く →仲間を増やす
18. ベイビーステップ だめ いい いったん忘れましょう。
19. ベイビーステップ 完璧を⽬指さず、まず⼩さな⼀歩を踏み出すことが重要 そして半歩半歩でも⼩さなステップを積み重ねていくことを考える UIレイヤーが ⼤きくたっていい︕ そこから醸成された習慣・⽂化が最適なものに向かっていく
20. 変化ではなく実験の精神 まずやってみる ・失敗したっていい ⽂化的に失敗が許容されない所もあるかもしれないが、 ⼩さく始めれば傷⼝も⼩さい（はず） ・いつまでも結果が出ないより失敗という結果が出た⽅がマシ
21. !"#$%&'()*+,-./01 https://www.amazon.co.jp/dp/B006RUFM5A/ref=cm_sw_r_tw_dp_x_s9nMFb3XDQK1W _`abc#de8& fgh0ijkgh0i# l0imnoQ!"
22. !"#$%&'()*+,-./01 https://www.amazon.co.jp/dp/B006RUFM5A/ref=cm_sw_r_tw_dp_x_s9nMFb3XDQK1W _`abc#de8& fgh0ijkgh0i# l0imnoQ!" 失敗するのも意外に難しい
23. ・コラボレーション ・ベイビーステップ ・変化ではなく実験
24. 以上です。 ⼀緒に⾃動テストの⽂化を醸成していきましょう︕
25. お付き合いいただきありがとうございました よければブログ＆YouTubeみてください Α ͏ ͭ ΂ Ϳ Ζ ͙