WINTICKET QA における Autify 活用 Ibuki Kaji 2023.01.19 @Muddy Web meetup

自己紹介 鍛冶 維吹 @kj455 CyberAgent 2022年 新卒入社 Web フロントエンドエンジニア @株式会社 WinTicket

WINTICKET QA における Autify 活用 目次 ● WINTICKET とは ● WINTICKET QA の立ち上げ ● Autify 導入 ● まとめ

WINTICKET とは 🏢 サービス概要 ● 競輪・オートレース投票サービス ● 2019 年にサービス開始 ● 競輪市場シェア No.1 󰞵 開発組織 ● エンジニア約20人 ● web / app / server ● QA 組織はまだない 🤔 課題 QCチームがかなり手一杯 ... ● 新機能, 定期的なリグレッションテストでスケ ジュールが逼迫 ● 新しく日程を抑えようとするとかなり先になっ てしまう... ● リファクタやパッケージアップデートが後回し になってしまいがち ... WINTICKET のこれからを見据えると 「攻め」だけでなく「守り」も固めたい🛡

WINTICKET QA の立ち上げ QC（品質管理）から QA（品質保証）へ ● QC 自体の精度上げ ○ 仕様書精度上げ ○ 自動E2E ○ … ● QA への取り組み ○ 開発振り返り ○ ユーザフィードバック反映 ○ … QC 品質基準への責任 QA 製品自体への責任 QCとQAの違い Autify

そもそも Autify って何？ ノーコード自動E2Eテストプラットフォーム ● ブラウザ上での操作で簡単に E2Eテストを作成 ● UI の変更があってもテスト自動修復 (オートヒーリング) ● 実機環境でのテスト実行 ● メールテスト機能 ● JS ステップ Autify 高いって 噂聞くけど... Autify 使い心地 どうなんだろ...

Autify 導入 導入準備 運用 導入

Autify 導入準備 サービス開始 QA の立ち上げ Autify利用開始 コードを書くE2Eはやりたくない... 良いソリューション/タイミングになったら 導入したい🤔 自動E2Eやるぞ！🔥 ● QC人件費 > Autify 利用料 ● 過去不具合のうち2割が リリース前 E2E テスト実行で防げた 可能性があった 懸念点 ・料金が高い ・本当に必要があるか ・どの SaaS にするか Autify を採用 ● オートヒーリング, 日本語, JS step ● トライアル体験良し ● Autify for mobile は見送り

Autify 導入 ブラウザ上で操作するだ けでテストが作れる簡単さ ステップグループによる見 通しの良さ メールテスト機能 JS ステップによる 柔軟な検証 良かったところ 🙌 「ログイン→競輪レース投票→メール確認」 を行う模擬シナリオ（ 99ステップ）

Autify 導入 - Muddy… メール選択機能が弱く 開きたいメールを開けない 場合がある 「ステップグループ」は 2種類あ り、使う場所が限られる 認証が必要な機能を検証する ステップグループの メンテナンスが難しい ステップグループを一度作成す ると解体できない ● そもそも未読メールが溜まりづらいユーザ設定 に変更 ● firebase SDK で reCAPTCHA を無効化して SMS 認証に移行 似たタイトルの未読メールが溜まっ ているとメール選択の精度が落ち る...🥺 苦しんでいるところ🥺

Autify 導入 - Muddy… メール選択機能が弱く 開きたいメールを開けない 場合がある 「ステップグループ」は 2種類あ り、使う場所が限られる 認証が必要な機能のステップ グループのメンテナンスが難し い ステップグループを一度作成す ると解体できない ● そもそもミスが起きづらいようなシナリオ作成フ ローの整備 ● ステップグループの解体・2種の相互利用でき るようにして欲しい... 苦しんでいるところ🥺

Autify 運用 QC の予定を確保できず ライブラリのアップデートがで きない... 🥺 QC の検証項目を見れていな い... 🙈 リグレッションテストが通れ ばアップデート可能 🚀 想定していなかったところに 影響が出ていたことに気づ いた... 😌 チーム全体の QC 検証項 目への関心度UP ⏫ Autify 導入前 Autify 導入後 大きめのリファクタをしたが QCを通した方がいいかな ...？ 🤔 実機検証 JS step による 精度向上 機能追加/修正時の テスト修正 これから

まとめ ● 自動 E2E テストツールとして Autify を採用 ● 自動 E2E テストは「銀の弾丸」 ではない ● 高い買い物だが 時期を選べば 大きなリターンが得られる プロダクト機能数 プロダクト種類 QC QA 自動E2E WINTICKET QA 立ち上げ

ご清聴ありがとうございました！