Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Nealle_Autify_LT_Slide202403
Search
Nealle
April 01, 2024
Programming
0
760
Nealle_Autify_LT_Slide202403
Autify_LT_Slide202403
Nealle
April 01, 2024
Tweet
Share
More Decks by Nealle
See All by Nealle
AI活用したくてもできなかった不動産SaaSの今とこれから
nealle
0
1.7k
Nealle Company Deck
nealle
5
80k
信頼性とアジリティの両輪で進むスタートアップSRE
nealle
0
110
feature環境をGitHub ActionsとCloudFormationでいい感じに管理する
nealle
2
420
DatadogでAPI毎のSQL発行数を可視化してN+1を改善した話
nealle
0
1.6k
ニーリーエンジニア向け会社紹介資料
nealle
2
72k
Other Decks in Programming
See All in Programming
[KR] Server Driven Compose With Firebase
skydoves
2
190
CDKを活用した 大規模コンテナ移行 プロジェクトの紹介
yoyoyopg
0
300
Introduce dRuby
ledsun
0
110
pytest プラグインを開発して DRY に自動テストを書こう
inuatsu
2
260
RemixとCloudflare Stack におけるFile Upload
ossamoon
1
130
CSC509 Lecture 01
javiergs
PRO
1
210
tsconfig.jsonの最近の新機能 ファイルパス編
uhyo
6
1.6k
Beyond Laravel Octane - Hyperf for Laravel Artisans
albertcht
1
130
タイミーにおけるデータの利用シーンと データ基盤の挑戦
marufeuille
4
3.2k
学生の時に開催したPerl入学式をきっかけにエンジニアが組織に馴染むために勉強会を主催や仲間と参加して職能間の境界を越えていく
ohmori_yusuke
1
130
型付きで行うVSCode拡張機能開発 / VSCode Meetup #31
mazrean
0
240
標準ライブラリの動向とイテレータのパフォーマンス
makki_d
3
200
Featured
See All Featured
Fontdeck: Realign not Redesign
paulrobertlloyd
81
5.2k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
225
22k
Bash Introduction
62gerente
608
210k
What's in a price? How to price your products and services
michaelherold
243
11k
Optimizing for Happiness
mojombo
375
69k
10 Git Anti Patterns You Should be Aware of
lemiorhan
653
59k
The Cult of Friendly URLs
andyhume
77
6k
Building a Scalable Design System with Sketch
lauravandoore
459
32k
The Power of CSS Pseudo Elements
geoffreycrofte
71
5.3k
Side Projects
sachag
452
42k
We Have a Design System, Now What?
morganepeng
49
7.2k
Done Done
chrislema
181
16k
Transcript
Autify活用による高頻度リリースの実現 NEALLE 2024.3.27 株式会社ニーリー 関井 祐介
目次 1|自己紹介 2|プロダクト紹介 3|Autify導入前の課題感 4|Autify導入前後のテストプロセス 5| Autifyで工夫していること 2 6| 現在抱えている課題
と Autifyへの期待
3 氏名 所属 経歴 関井 祐介 / Yusuke Sekii 株式会社ニーリー
プロダクト本部 プラットフォームグループ QAチーム 資格 JSTQB Advanced Level テストマネージャ/テストアナリスト 2014-2015 大学でソフトウェアテストの研究 2017-2022 半導体メーカーで主に組み込み系のQA 2023- 株式会社ニーリーでPark DirectのQAチームリード 1|自己紹介 @ysekii_
4 2|プロダクト紹介
5 3|Autify導入前の課題感 2週間毎の定期リリース前の手動リグレッションテストに5〜6人掛かりで半日使っており 自動テストを進めなければデプロイ頻度が上がらない状態だった ・早期に開発者のQAコストを下げ、デリバリーまでのリードタイムを短くしたい ・完全なノーコードでなくても、少ないコードだけでやりたいことを実現したい. Autifyでなら実現できそう!
6 Autify導入から運用の歴史 2022/1 2022/4 2022/12 2023/3 4|Autify導入前後のテストプロセス(1/5) Autify 導入検討開始 Autify
本導入開始 RTの見直しと 自動テスト シナリオ拡張完了 無停止リリース開始に よるRT戦略の見直し 2022/7 v1自動テスト シナリオ 実装完了 ※RT:リグレッションテスト シナリオ数は 約2倍
7 Autify導入前のテストプロセス 4|Autify導入前後のテストプロセス(2/5) 開発とテスト 手動RT リリース リリース案件が揃ったタイミングで QA1名と開発者5名が半日で手動RTを実施 14日前 定期リリース当日
8 Autify導入後のテストプロセス 4|Autify導入前後のテストプロセス(3/5) 手動RT リリース 14日前 定期リリース当日 3日前 自動RT 自動
RT 自動 RT 開発とテスト リリースの3日前からマージが増えて くるので、1日1回自動RTを実施 リリース当日は自動RT +QA1人が半日で手動RTを実施 細かい単位で修正してリリース日のリスクを低減
9 無停止リリース開始後のテストプロセス 4|Autify導入前後のテストプロセス(4/5) 自動RT& リリース 14日前 定期リリース当日 開発と テスト 開発と
テスト 開発と テスト 自動RT& リリース 自動RT& リリース 開発と テスト 自動RT& リリース 無停止リリース① 無停止リリース② 無停止リリース③ ・・・ 2週間に1回のリリースから 2週間に平均4回のリリースへ
10 変更障害率の推移 4|Autify導入前後のテストプロセス(5/5) 2週に1回のリリース 2週に約4回のリリース
11 5|Autifyで工夫していること(1/2) 検索をした際に1つだけ見つかるように 一意のIDを使う 検索結果が反映されたことを確認して から次のステップへ進むようにする この状態では操作対象の顧客選択が安定しない 1. テスト実行結果を安定させる
12 5|Autifyで工夫していること(2/2) この画面を利用しているシナリオが10個以上あるが、 リアーキテクチャ予定なので、 シナリオの再レコーディングが必要になる 再レコーディング回数を最小化するために ステップグループに置き換えて、 1つのステップグループを修正するだけで 修正が必要なシナリオを実行できるようにしている ※現在進行中
2. 修正範囲の最小化(ステップグループの利用)
13 6|現在抱えている課題 と Autifyへの期待 1. メンテナンスが追いつかない ◦ フロントエンドの改修スピードが上がって、Autifyが追従できなくなっている ◦ Autify担当者を付けて、変更に追従できる体制を構築中
2. メールの取り違えが多い ◦ ランダムメールアドレスを使っているところは問題ないが、 固定メールアドレスしか設定できないところのメールは取り違えが多い ◦ 完全な件名一致ができれば安定しそう 3. テストプラン内で直列実行と並列実行を使い分けたい ◦ テストシナリオ間で変数が使えるようになったが、直列実行の制約があるため、 なかなか使えていない ◦ テストプランの中で直列実行するもの、並列実行するのもを分けられると嬉しい
ニーリーでは、QA/SETはもちろん、 他のポジションも積極採用中です! https://jobs.nealle.com/ We are hiring!!!
Thank you 15