Tweet
Tweet

Slide 1

Slide 1 text

Autify活用による高頻度リリースの実現 NEALLE 2024.3.27 株式会社ニーリー 関井 祐介

Slide 2

Slide 2 text

目次 1｜自己紹介 2｜プロダクト紹介 3｜Autify導入前の課題感 4｜Autify導入前後のテストプロセス 5｜ Autifyで工夫していること 2 6｜ 現在抱えている課題 と Autifyへの期待

Slide 3

Slide 3 text

3 氏名 所属 経歴 関井 祐介 ／ Yusuke Sekii 株式会社ニーリー プロダクト本部 プラットフォームグループ QAチーム 資格 JSTQB Advanced Level テストマネージャ／テストアナリスト 2014-2015 　大学でソフトウェアテストの研究 2017-2022 　半導体メーカーで主に組み込み系のQA 2023- 　株式会社ニーリーでPark DirectのQAチームリード 1｜自己紹介 @ysekii_

Slide 4

Slide 4 text

4 2｜プロダクト紹介

Slide 5

Slide 5 text

5 3｜Autify導入前の課題感 2週間毎の定期リリース前の手動リグレッションテストに5〜6人掛かりで半日使っており 自動テストを進めなければデプロイ頻度が上がらない状態だった ・早期に開発者のQAコストを下げ、デリバリーまでのリードタイムを短くしたい ・完全なノーコードでなくても、少ないコードだけでやりたいことを実現したい. Autifyでなら実現できそう！

Slide 6

Slide 6 text

6 Autify導入から運用の歴史 2022/1 2022/4 2022/12 2023/3 4｜Autify導入前後のテストプロセス(1/5) Autify 導入検討開始 Autify 本導入開始 RTの見直しと 自動テスト シナリオ拡張完了 無停止リリース開始に よるRT戦略の見直し 2022/7 v1自動テスト シナリオ 実装完了 ※RT：リグレッションテスト シナリオ数は 約2倍

Slide 7

Slide 7 text

7 Autify導入前のテストプロセス 4｜Autify導入前後のテストプロセス(2/5) 開発とテスト 手動RT リリース リリース案件が揃ったタイミングで QA1名と開発者5名が半日で手動RTを実施 14日前 定期リリース当日

Slide 8

Slide 8 text

8 Autify導入後のテストプロセス 4｜Autify導入前後のテストプロセス(3/5) 手動RT リリース 14日前 定期リリース当日 3日前 自動RT 自動 RT 自動 RT 開発とテスト リリースの3日前からマージが増えて くるので、1日1回自動RTを実施 リリース当日は自動RT +QA1人が半日で手動RTを実施 細かい単位で修正してリリース日のリスクを低減

Slide 9

Slide 9 text

9 無停止リリース開始後のテストプロセス 4｜Autify導入前後のテストプロセス(4/5) 自動RT& リリース 14日前 定期リリース当日 開発と テスト 開発と テスト 開発と テスト 自動RT& リリース 自動RT& リリース 開発と テスト 自動RT& リリース 無停止リリース① 無停止リリース② 無停止リリース③ ・・・ 2週間に1回のリリースから 2週間に平均4回のリリースへ

Slide 10

Slide 10 text

10 変更障害率の推移 4｜Autify導入前後のテストプロセス(5/5) 2週に1回のリリース 2週に約4回のリリース

Slide 11

Slide 11 text

11 5｜Autifyで工夫していること(1/2) 検索をした際に1つだけ見つかるように 一意のIDを使う 検索結果が反映されたことを確認して から次のステップへ進むようにする この状態では操作対象の顧客選択が安定しない 1. テスト実行結果を安定させる

Slide 12

Slide 12 text

12 5｜Autifyで工夫していること(2/2) この画面を利用しているシナリオが10個以上あるが、 リアーキテクチャ予定なので、 シナリオの再レコーディングが必要になる 再レコーディング回数を最小化するために ステップグループに置き換えて、 1つのステップグループを修正するだけで 修正が必要なシナリオを実行できるようにしている ※現在進行中 2. 修正範囲の最小化（ステップグループの利用）

Slide 13

Slide 13 text

13 6｜現在抱えている課題 と Autifyへの期待 1. メンテナンスが追いつかない ○ フロントエンドの改修スピードが上がって、Autifyが追従できなくなっている ○ Autify担当者を付けて、変更に追従できる体制を構築中 2. メールの取り違えが多い ○ ランダムメールアドレスを使っているところは問題ないが、 固定メールアドレスしか設定できないところのメールは取り違えが多い ○ 完全な件名一致ができれば安定しそう 3. テストプラン内で直列実行と並列実行を使い分けたい ○ テストシナリオ間で変数が使えるようになったが、直列実行の制約があるため、 なかなか使えていない ○ テストプランの中で直列実行するもの、並列実行するのもを分けられると嬉しい

Slide 14

Slide 14 text

ニーリーでは、QA/SETはもちろん、 他のポジションも積極採用中です！ https://jobs.nealle.com/ We are hiring!!!

Slide 15

Slide 15 text

Thank you 15