Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Nealle_Autify_LT_Slide202403
Search
Nealle
April 01, 2024
Programming
0
670
Nealle_Autify_LT_Slide202403
Autify_LT_Slide202403
Nealle
April 01, 2024
Tweet
Share
More Decks by Nealle
See All by Nealle
Nealle Company Deck
nealle
2
38k
信頼性とアジリティの両輪で進むスタートアップSRE
nealle
0
53
feature環境をGitHub ActionsとCloudFormationでいい感じに管理する
nealle
2
310
DatadogでAPI毎のSQL発行数を可視化してN+1を改善した話
nealle
0
1.2k
ニーリーエンジニア向け会社紹介資料
nealle
1
37k
Other Decks in Programming
See All in Programming
しくじり先生 Image Matching Challenge 2024 編
goosehaaan
0
810
Javaの現状2024夏 / Java current status 2024 summer
kishida
4
1.4k
Jetpack for KMP
fornewid
1
290
企業向け生成AIアプリの 開発から得られた知見
takaakikakei
0
310
初心者がおさえておきたいAWS CDKのベストプラクティス 2024
konokenj
15
7.3k
リハビリmruby
kishima
1
160
[After Kotlin Fest 2024 LT Night @ Sansan] もっともっとKotlinを好きになる!K2 Compiler Pluginで遊んでみよう!
kitakkun
2
260
Rust.Nagoya #1
codemountains
0
170
生成AIをkintoneに連携してみた
hideg
0
230
GraphQL はいいぞ! ~Laravel で学ぶ GraphQL 入門~
azuki
1
160
開発部に不満を持っていたCSがエンジニアにジョブチェンしてわかった「勝手に諦めない」ことの大切さ
sakuraikotone
28
16k
Rustのweb開発を助ける 便利なツール紹介
yuki0418
1
190
Featured
See All Featured
Pencils Down: Stop Designing & Start Developing
hursman
118
11k
The Power of CSS Pseudo Elements
geoffreycrofte
64
5.2k
Speed Design
sergeychernyshev
9
270
Art, The Web, and Tiny UX
lynnandtonic
291
20k
Intergalactic Javascript Robots from Outer Space
tanoku
266
26k
How to name files
jennybc
67
96k
10 Git Anti Patterns You Should be Aware of
lemiorhan
652
58k
Making the Leap to Tech Lead
cromwellryan
127
8.7k
The Mythical Team-Month
searls
217
43k
Product Roadmaps are Hard
iamctodd
PRO
48
10k
Mobile First: as difficult as doing things right
swwweet
219
8.8k
Principles of Awesome APIs and How to Build Them.
keavy
124
16k
Transcript
Autify活用による高頻度リリースの実現 NEALLE 2024.3.27 株式会社ニーリー 関井 祐介
目次 1|自己紹介 2|プロダクト紹介 3|Autify導入前の課題感 4|Autify導入前後のテストプロセス 5| Autifyで工夫していること 2 6| 現在抱えている課題
と Autifyへの期待
3 氏名 所属 経歴 関井 祐介 / Yusuke Sekii 株式会社ニーリー
プロダクト本部 プラットフォームグループ QAチーム 資格 JSTQB Advanced Level テストマネージャ/テストアナリスト 2014-2015 大学でソフトウェアテストの研究 2017-2022 半導体メーカーで主に組み込み系のQA 2023- 株式会社ニーリーでPark DirectのQAチームリード 1|自己紹介 @ysekii_
4 2|プロダクト紹介
5 3|Autify導入前の課題感 2週間毎の定期リリース前の手動リグレッションテストに5〜6人掛かりで半日使っており 自動テストを進めなければデプロイ頻度が上がらない状態だった ・早期に開発者のQAコストを下げ、デリバリーまでのリードタイムを短くしたい ・完全なノーコードでなくても、少ないコードだけでやりたいことを実現したい. Autifyでなら実現できそう!
6 Autify導入から運用の歴史 2022/1 2022/4 2022/12 2023/3 4|Autify導入前後のテストプロセス(1/5) Autify 導入検討開始 Autify
本導入開始 RTの見直しと 自動テスト シナリオ拡張完了 無停止リリース開始に よるRT戦略の見直し 2022/7 v1自動テスト シナリオ 実装完了 ※RT:リグレッションテスト シナリオ数は 約2倍
7 Autify導入前のテストプロセス 4|Autify導入前後のテストプロセス(2/5) 開発とテスト 手動RT リリース リリース案件が揃ったタイミングで QA1名と開発者5名が半日で手動RTを実施 14日前 定期リリース当日
8 Autify導入後のテストプロセス 4|Autify導入前後のテストプロセス(3/5) 手動RT リリース 14日前 定期リリース当日 3日前 自動RT 自動
RT 自動 RT 開発とテスト リリースの3日前からマージが増えて くるので、1日1回自動RTを実施 リリース当日は自動RT +QA1人が半日で手動RTを実施 細かい単位で修正してリリース日のリスクを低減
9 無停止リリース開始後のテストプロセス 4|Autify導入前後のテストプロセス(4/5) 自動RT& リリース 14日前 定期リリース当日 開発と テスト 開発と
テスト 開発と テスト 自動RT& リリース 自動RT& リリース 開発と テスト 自動RT& リリース 無停止リリース① 無停止リリース② 無停止リリース③ ・・・ 2週間に1回のリリースから 2週間に平均4回のリリースへ
10 変更障害率の推移 4|Autify導入前後のテストプロセス(5/5) 2週に1回のリリース 2週に約4回のリリース
11 5|Autifyで工夫していること(1/2) 検索をした際に1つだけ見つかるように 一意のIDを使う 検索結果が反映されたことを確認して から次のステップへ進むようにする この状態では操作対象の顧客選択が安定しない 1. テスト実行結果を安定させる
12 5|Autifyで工夫していること(2/2) この画面を利用しているシナリオが10個以上あるが、 リアーキテクチャ予定なので、 シナリオの再レコーディングが必要になる 再レコーディング回数を最小化するために ステップグループに置き換えて、 1つのステップグループを修正するだけで 修正が必要なシナリオを実行できるようにしている ※現在進行中
2. 修正範囲の最小化(ステップグループの利用)
13 6|現在抱えている課題 と Autifyへの期待 1. メンテナンスが追いつかない ◦ フロントエンドの改修スピードが上がって、Autifyが追従できなくなっている ◦ Autify担当者を付けて、変更に追従できる体制を構築中
2. メールの取り違えが多い ◦ ランダムメールアドレスを使っているところは問題ないが、 固定メールアドレスしか設定できないところのメールは取り違えが多い ◦ 完全な件名一致ができれば安定しそう 3. テストプラン内で直列実行と並列実行を使い分けたい ◦ テストシナリオ間で変数が使えるようになったが、直列実行の制約があるため、 なかなか使えていない ◦ テストプランの中で直列実行するもの、並列実行するのもを分けられると嬉しい
ニーリーでは、QA/SETはもちろん、 他のポジションも積極採用中です! https://jobs.nealle.com/ We are hiring!!!
Thank you 15