Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
WINTICKET QA における Autify 活用
Search
Ibuki Kaji
January 19, 2023
Technology
2
700
WINTICKET QA における Autify 活用
Ibuki Kaji
January 19, 2023
Tweet
Share
More Decks by Ibuki Kaji
See All by Ibuki Kaji
大規模Reactアプリのリアーキテクチャ~8万行のTanStack Query移行の軌跡~
kj455
4
1.9k
Other Decks in Technology
See All in Technology
社内イベント管理システムを1週間でAKSからACAに移行した話し
shingo_kawahara
0
180
KubeCon NA 2024 Recap / Running WebAssembly (Wasm) Workloads Side-by-Side with Container Workloads
z63d
1
250
Wvlet: A New Flow-Style Query Language For Functional Data Modeling and Interactive Data Analysis - Trino Summit 2024
xerial
1
120
PHPからGoへのマイグレーション for DMMアフィリエイト
yabakokobayashi
1
170
KubeCon NA 2024 Recap: How to Move from Ingress to Gateway API with Minimal Hassle
ysakotch
0
200
【re:Invent 2024 アプデ】 Prompt Routing の紹介
champ
0
140
プロダクト開発を加速させるためのQA文化の築き方 / How to build QA culture to accelerate product development
mii3king
1
260
あの日俺達が夢見たサーバレスアーキテクチャ/the-serverless-architecture-we-dreamed-of
tomoki10
0
450
KnowledgeBaseDocuments APIでベクトルインデックス管理を自動化する
iidaxs
1
260
Qiita埋め込み用スライド
naoki_0531
0
4.8k
TSKaigi 2024 の登壇から広がったコミュニティ活動について
tsukuha
0
160
1等無人航空機操縦士一発試験 合格までの道のり ドローンミートアップ@大阪 2024/12/18
excdinc
0
160
Featured
See All Featured
KATA
mclloyd
29
14k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5.1k
Into the Great Unknown - MozCon
thekraken
33
1.5k
Docker and Python
trallard
42
3.1k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
26
1.5k
No one is an island. Learnings from fostering a developers community.
thoeni
19
3k
Agile that works and the tools we love
rasmusluckow
328
21k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
665
120k
A Modern Web Designer's Workflow
chriscoyier
693
190k
Building a Scalable Design System with Sketch
lauravandoore
460
33k
Music & Morning Musume
bryan
46
6.2k
Visualization
eitanlees
146
15k
Transcript
WINTICKET QA における Autify 活用 Ibuki Kaji 2023.01.19 @Muddy Web
meetup
自己紹介 鍛冶 維吹 @kj455 CyberAgent 2022年 新卒入社 Web フロントエンドエンジニア @株式会社
WinTicket
WINTICKET QA における Autify 活用 目次 • WINTICKET とは •
WINTICKET QA の立ち上げ • Autify 導入 • まとめ
WINTICKET とは 🏢 サービス概要 • 競輪・オートレース投票サービス • 2019 年にサービス開始 •
競輪市場シェア No.1 開発組織 • エンジニア約20人 • web / app / server • QA 組織はまだない 🤔 課題 QCチームがかなり手一杯 ... • 新機能, 定期的なリグレッションテストでスケ ジュールが逼迫 • 新しく日程を抑えようとするとかなり先になっ てしまう... • リファクタやパッケージアップデートが後回し になってしまいがち ... WINTICKET のこれからを見据えると 「攻め」だけでなく「守り」も固めたい🛡
WINTICKET QA の立ち上げ QC(品質管理)から QA(品質保証)へ • QC 自体の精度上げ ◦ 仕様書精度上げ
◦ 自動E2E ◦ … • QA への取り組み ◦ 開発振り返り ◦ ユーザフィードバック反映 ◦ … QC 品質基準への責任 QA 製品自体への責任 QCとQAの違い Autify
そもそも Autify って何? ノーコード自動E2Eテストプラットフォーム • ブラウザ上での操作で簡単に E2Eテストを作成 • UI の変更があってもテスト自動修復
(オートヒーリング) • 実機環境でのテスト実行 • メールテスト機能 • JS ステップ Autify 高いって 噂聞くけど... Autify 使い心地 どうなんだろ...
Autify 導入 導入準備 運用 導入
Autify 導入準備 サービス開始 QA の立ち上げ Autify利用開始 コードを書くE2Eはやりたくない... 良いソリューション/タイミングになったら 導入したい🤔 自動E2Eやるぞ!🔥
• QC人件費 > Autify 利用料 • 過去不具合のうち2割が リリース前 E2E テスト実行で防げた 可能性があった 懸念点 ・料金が高い ・本当に必要があるか ・どの SaaS にするか Autify を採用 • オートヒーリング, 日本語, JS step • トライアル体験良し • Autify for mobile は見送り
Autify 導入 ブラウザ上で操作するだ けでテストが作れる簡単さ ステップグループによる見 通しの良さ メールテスト機能 JS ステップによる 柔軟な検証
良かったところ 🙌 「ログイン→競輪レース投票→メール確認」 を行う模擬シナリオ( 99ステップ)
Autify 導入 - Muddy… メール選択機能が弱く 開きたいメールを開けない 場合がある 「ステップグループ」は 2種類あ り、使う場所が限られる
認証が必要な機能を検証する ステップグループの メンテナンスが難しい ステップグループを一度作成す ると解体できない • そもそも未読メールが溜まりづらいユーザ設定 に変更 • firebase SDK で reCAPTCHA を無効化して SMS 認証に移行 似たタイトルの未読メールが溜まっ ているとメール選択の精度が落ち る...🥺 苦しんでいるところ🥺
Autify 導入 - Muddy… メール選択機能が弱く 開きたいメールを開けない 場合がある 「ステップグループ」は 2種類あ り、使う場所が限られる
認証が必要な機能のステップ グループのメンテナンスが難し い ステップグループを一度作成す ると解体できない • そもそもミスが起きづらいようなシナリオ作成フ ローの整備 • ステップグループの解体・2種の相互利用でき るようにして欲しい... 苦しんでいるところ🥺
Autify 運用 QC の予定を確保できず ライブラリのアップデートがで きない... 🥺 QC の検証項目を見れていな い...
🙈 リグレッションテストが通れ ばアップデート可能 🚀 想定していなかったところに 影響が出ていたことに気づ いた... 😌 チーム全体の QC 検証項 目への関心度UP ⏫ Autify 導入前 Autify 導入後 大きめのリファクタをしたが QCを通した方がいいかな ...? 🤔 実機検証 JS step による 精度向上 機能追加/修正時の テスト修正 これから
まとめ • 自動 E2E テストツールとして Autify を採用 • 自動 E2E
テストは「銀の弾丸」 ではない • 高い買い物だが 時期を選べば 大きなリターンが得られる プロダクト機能数 プロダクト種類 QC QA 自動E2E WINTICKET QA 立ち上げ
ご清聴ありがとうございました!