Slide 1
Slide 1 text
Autify活用による高頻度リリースの実現
NEALLE
2024.3.27
株式会社ニーリー 関井 祐介
Slide 2
Slide 2 text
目次
1｜自己紹介
2｜プロダクト紹介
3｜Autify導入前の課題感
4｜Autify導入前後のテストプロセス
5｜ Autifyで工夫していること
2
6｜ 現在抱えている課題
と Autifyへの期待
Slide 3
Slide 3 text
3
氏名
所属
経歴
関井 祐介 ／ Yusuke Sekii
株式会社ニーリー
プロダクト本部 プラットフォームグループ QAチーム
資格 JSTQB Advanced Level テストマネージャ／テストアナリスト
2014-2015
大学でソフトウェアテストの研究
2017-2022
半導体メーカーで主に組み込み系のQA
2023-
株式会社ニーリーでPark DirectのQAチームリード
1｜自己紹介
@ysekii_
Slide 4
Slide 4 text
4
2｜プロダクト紹介
Slide 5
Slide 5 text
5
3｜Autify導入前の課題感
2週間毎の定期リリース前の手動リグレッションテストに5〜6人掛かりで半日使っており
自動テストを進めなければデプロイ頻度が上がらない状態だった
・早期に開発者のQAコストを下げ、デリバリーまでのリードタイムを短くしたい
・完全なノーコードでなくても、少ないコードだけでやりたいことを実現したい.
Autifyでなら実現できそう！
Slide 6
Slide 6 text
6
Autify導入から運用の歴史
2022/1 2022/4 2022/12 2023/3
4｜Autify導入前後のテストプロセス(1/5)
Autify
導入検討開始
Autify
本導入開始
RTの見直しと
自動テスト
シナリオ拡張完了
無停止リリース開始に
よるRT戦略の見直し
2022/7
v1自動テスト
シナリオ
実装完了
※RT：リグレッションテスト
シナリオ数は
約2倍
Slide 7
Slide 7 text
7
Autify導入前のテストプロセス
4｜Autify導入前後のテストプロセス(2/5)
開発とテスト 手動RT リリース
リリース案件が揃ったタイミングで
QA1名と開発者5名が半日で手動RTを実施
14日前 定期リリース当日
Slide 8
Slide 8 text
8
Autify導入後のテストプロセス
4｜Autify導入前後のテストプロセス(3/5)
手動RT リリース
14日前 定期リリース当日
3日前
自動RT
自動
RT
自動
RT
開発とテスト
リリースの3日前からマージが増えて
くるので、1日1回自動RTを実施
リリース当日は自動RT
+QA1人が半日で手動RTを実施
細かい単位で修正してリリース日のリスクを低減
Slide 9
Slide 9 text
9
無停止リリース開始後のテストプロセス
4｜Autify導入前後のテストプロセス(4/5)
自動RT&
リリース
14日前 定期リリース当日
開発と
テスト
開発と
テスト
開発と
テスト
自動RT&
リリース
自動RT&
リリース
開発と
テスト
自動RT&
リリース
無停止リリース① 無停止リリース②
無停止リリース③
・・・
2週間に1回のリリースから
2週間に平均4回のリリースへ
Slide 10
Slide 10 text
10
変更障害率の推移
4｜Autify導入前後のテストプロセス(5/5)
2週に1回のリリース
2週に約4回のリリース
Slide 11
Slide 11 text
11
5｜Autifyで工夫していること(1/2)
検索をした際に1つだけ見つかるように
一意のIDを使う
検索結果が反映されたことを確認して
から次のステップへ進むようにする
この状態では操作対象の顧客選択が安定しない
1. テスト実行結果を安定させる
Slide 12
Slide 12 text
12
5｜Autifyで工夫していること(2/2)
この画面を利用しているシナリオが10個以上あるが、
リアーキテクチャ予定なので、
シナリオの再レコーディングが必要になる
再レコーディング回数を最小化するために
ステップグループに置き換えて、
1つのステップグループを修正するだけで
修正が必要なシナリオを実行できるようにしている
※現在進行中
2. 修正範囲の最小化（ステップグループの利用）
Slide 13
Slide 13 text
13
6｜現在抱えている課題 と Autifyへの期待
1. メンテナンスが追いつかない
○ フロントエンドの改修スピードが上がって、Autifyが追従できなくなっている
○ Autify担当者を付けて、変更に追従できる体制を構築中
2. メールの取り違えが多い
○ ランダムメールアドレスを使っているところは問題ないが、
固定メールアドレスしか設定できないところのメールは取り違えが多い
○ 完全な件名一致ができれば安定しそう
3. テストプラン内で直列実行と並列実行を使い分けたい
○ テストシナリオ間で変数が使えるようになったが、直列実行の制約があるため、
なかなか使えていない
○ テストプランの中で直列実行するもの、並列実行するのもを分けられると嬉しい
Slide 14
Slide 14 text
ニーリーでは、QA/SETはもちろん、
他のポジションも積極採用中です！
https://jobs.nealle.com/
We are hiring!!!
Slide 15
Slide 15 text
Thank you
15