mablでリグレッションテストをデイリー実行するまで #mablExperience

2025年11月26日(水)「mabl Experience 2025」に開催された、弁護士ドットコム株式会社 クラウドサイン QAEチームマネージャの田中翔が登壇した際の資料です。

セッションタイトル： mablでリグレッションテストをデイリー実行するまで
https://experience.mabl.com/ja/

■ 弁護士ドットコム株式会社プロダクト組織について
https://speakerdeck.com/bengo4com/introduction-for-creators

■ 採用情報はこちら
https://hrmos.co/pages/bengo4/jobs

■ テックブログ：弁護士ドットコム Creators’ blog
https://creators.bengo4.com/

■ X(Twitter)：弁護士ドットコム CREATOR'S
https://x.com/bengo4_creators

Transcript

1. mablでリグレッションテストを デイリー実行するまで 2025年11月26日 mabl experience 2025 弁護士ドットコム株式会社 田中 翔
2. © 2023 Bengo4.com, inc. 田中 翔 Sho Tanaka 弁護士ドットコム株式会社 開発本部 クラウドサインProduct Engineering部 Customer Centeredグループ QAEチーム 経歴 テスト会社のテスター →アウトソーシング会社の営業マン →エンタメ系事業会社の QAエンジニアを経て 2023年1月にクラウドサインのQAエンジニア 
 自己紹介 2
3. 会社・クラウドサインについて
4. Bengo4.com,Inc. VISION まだないやり方で、世界を前へ。 Drive a paradigm shift for the better world. MISSION ｢プロフェッショナル・テック ｣で、次の常識をつくる。 Be the Professional-Tech Company. プロフェッショナルだからできること。 専門知とテクノロジーで、社会に貢献する。
5. © 2025 Bengo4.com, inc. 5 5 5 税理士に無料で相談・検索できる日本最大級の 税務相談ポータルサイト 最新の法改正や実務について分かりやすく解説する 日本最大級の企業法務ポータルサイト 運営サービス OUR SERVICE AI基盤技術「 LegalBrain 1.0」を組み込んだ リーガル特化型 AIエージェント 契約の締結から管理までデジタルで完結させる 契約マネジメントプラットフォーム 時事問題の弁護士解説を中心としたメディア 日本最大級の無料法律相談ポータルサイト 弁護士事務所、企業法務職向け人材紹介事業
6. © 2025 Bengo4.com, inc. 6 6 6 税理士に無料で相談・検索できる日本最大級の 税務相談ポータルサイト 最新の法改正や実務について分かりやすく解説する 日本最大級の企業法務ポータルサイト クラウドサイン は、弁護士ドットコム が運営するサービスです OUR SERVICE AI基盤技術「 LegalBrain 1.0」を組み込んだ リーガル特化型 AIエージェント 契約の締結から管理までデジタルで完結させる 契約マネジメントプラットフォーム 時事問題の弁護士解説を中心としたメディア 日本最大級の無料法律相談ポータルサイト 弁護士事務所、企業法務職向け人材紹介事業
7. © 2025 Bengo4.com, inc. 契約締結から契約書管理まで可能な クラウド型の電子契約 サービス 契約交渉が済んだ完成済の契約書をアップロードし、相手方が承認するだけで契約を締結することができます 書類の受信者はクラウドサインに登録する必要がありません 7 クラウドサインとは
8. © 2025 Bengo4.com, inc. 8 今日のゴール 10年成長し続ける「クラウドサイン」 24,000ステップのリグレッションテストを日次化するまでに やった全部と、その先に見えた景色を共有します。
9. 目次
10. © 2025 Bengo4.com, inc. 目次 10 01：クラウドサインのリグレッションテスト 02：改善が必要になった背景 03：立ちはだかる壁と突破口 04：運用するにあたっての工夫 05：日次実行がもたらした変化 06：これからの事 07：まとめ
11. クラウドサインのリグレッションテスト
12. © 2025 Bengo4.com, inc. クラウドサインのリグレッションテストの定義 12 ⭕　リリース済みのプロダクトの機能の劣化を検知 ❌ 新機能の不具合を検知 リグレッションテスト（ regression Testing） 変更により、ソフトウェアの未変更部分に欠陥が新たに入り込んだり、発現したり しないことを確認するため、変更実施後、すでにテスト済みのコンポーネントやシ ステムに対して実行するテスト。 引用：ISTQB Glossary
13. © 2025 Bengo4.com, inc. リグレッションテスト (mabl導入の背景) 13 • 当初の目的： ◦ 開発者の手動 E2Eテストの代替 （テスト工数の削減）
14. © 2025 Bengo4.com, inc. リグレッションテストの目的 (現在) 14 • 現在の目的： ◦ 機能の劣化を検知しながら、安定したリリース サイクルを実現することが目的
15. 改善が必要になった背景
16. © 2025 Bengo4.com, inc. 組織の拡大 • エンジニアの人数が年々増加 • 機能要求の多様化 AI 時代の開発が加速 （ Claude Code、Cursor、GitHub Copilot、Kiro等 ） • 開発のスピードアップを実現 前提：クラウドサインの状況 • クラウドサインは、2025年10月19日で10周年 • レガシーなライブラリと共存している 従来の開発環境における課題 16 節目
17. © 2025 Bengo4.com, inc. 改善が必要になった背景 17 • 頻度 ◦ 週次：毎週水曜日 • テスト環境 ◦ mablクラウド（並列） • テスト規模（1回の実行あたり） ◦ 約400tests ▪ =24000step • 担当 ◦ SET(1名)が主体で運用 ▪ 実行結果確認:QAE（当番） ▪ テストの修正:SET これまでの自動リグレッションテストの運用
18. © 2025 Bengo4.com, inc. 改善が必要になった背景 18 限界が訪れる ... これまでの自動リグレッションテストの運用 • 頻度 ◦ 週次：毎週水曜日 • テスト環境 ◦ mablクラウド（並列） • テスト規模（1回の実行あたり） ◦ 約400tests ▪ =24000step • 担当 ◦ SET(1名)が主体で運用 ▪ 実行結果確認:QAE（当番） ▪ テストの修正:SET
19. © 2025 Bengo4.com, inc. 改善が必要になった背景 19 ※リリースノートに掲出された顧客向けアップデートの数であり、内部向けリリースは含まない プロダクトの変化・成長に伴うリリース数の増加
20. © 2025 Bengo4.com, inc. 改善が必要になった背景 20 週1回の実行では 　　リリースサイクルのボトルネックになり始めている ... 　　リファクタリング、 FW更新...など 変更についていけない 週次実行の限界
21. © 2025 Bengo4.com, inc. 改善が必要になった背景 21 日々プロダクトが成長していく中で、 課題が顕在化してきている
22. © 2025 Bengo4.com, inc. 改善が必要になった背景 22 リグレッションテスト頻度の改善が必要
23. 立ちはだかる壁と突破口
24. © 2025 Bengo4.com, inc. 立ちはだかる現実 24 10年の歴史で積み上がった機能 ✖ 個別のユースケース 　＝多くのテストを回す必要がある • テスト規模（ 1回の実行あたり） ◦ 約400tests ▪ 24,000step
25. © 2025 Bengo4.com, inc. 立ちはだかる現実 25 予算は有限である … このボリュームのテストを毎日クラウドで実行するには クラウドクレジットが圧倒的に足りない
26. © 2025 Bengo4.com, inc. 突破口 そうだ mabl CLIを活用しよう 26
27. © 2025 Bengo4.com, inc. またしても立ちはだかる現実 27 CI環境の準備が ... 技術的な課題含め構築には時間がかかる 早急に頻度を改善したいニーズに答えるスピード感で進めるのは難しい
28. © 2025 Bengo4.com, inc. 待つか、進むか 28 Wait or Go?
29. © 2025 Bengo4.com, inc. mabl CLI × ローカル実行 ローカル環境から mabl CLIを手動トリガーし 毎日自動テストを実行（力技） 29
30. 運用するにあたっての工夫
31. © 2025 Bengo4.com, inc. 運用負荷の壁 31 日次実行による QAE/SETの定常業務の圧迫
32. © 2025 Bengo4.com, inc. SET→QAEに運用を移譲 32 After • QAEメンバー（7名）に自動テスト実施 / 運用の責務を委譲 全体リグレッションテストの 運用主体を QAEメンバーに移譲 Before • SETメンバー（1名）が自動テストの実 施/運用責務を持つ
33. © 2025 Bengo4.com, inc. 業務プロセスを整備 33 全体リグレッションテストの業務プロセスを整備 After QAE: 実行結果の確認、日々のプロダクトの 変更によるtestsの修正 SET: 目的/設計思想が大きく変わる tests修 正、技術的エスカレーション受け、および監 修 Before SET:実行結果の確認・修正を含む全ての 運用
34. © 2025 Bengo4.com, inc. 細かい工夫 34 シェルスクリプトの活用 • 実行する複数 plan/testsのCLIコマンドをまとめてシェルスクリプト で一括実行できるように整備 • Headlessモードで高速化
35. 日次実行がもたらした変化
36. © 2025 Bengo4.com, inc. 日次実行がもたらした変化 36 Before（週次） After（日次） フィードバックまでのリードタイム 50%短縮
37. © 2025 Bengo4.com, inc. 日次実行がもたらした変化 37 • 自動テストを「水曜日まで待つ」必要がなくなった ▪ 開発が終わったタイミングと、 リグレッションテストのタイミングを合わせる事が容易になった ▪ 気軽に自動テストを回せる環境へ変化した 自動テストサイクルの変化
38. © 2025 Bengo4.com, inc. 38 クラウド実行（週次） 目的： • エラーログの取得 • 画面スクショの取得 • クロスブラウザテスト 重視： • CLIで難しい証跡取得や深さの追求 日次実行がもたらした変化 テスト実行環境の役割の変化 CLI実行（日次） 目的： • 日々の変更差分の検知 重視： • フィードバックスピード
39. © 2025 Bengo4.com, inc. 日次実行がもたらした変化 39 当事者意識の変化 ◦ 誰かのテスト から 自分たちのテストへ 暗黙知の形式知化 ◦ 日次でのfailedした testsの修正のプロセスが、各人の学習サイクルに 組み込まれた ◦ 日々最新化された testsが生きた仕様書として機能してきた QAEチームの変化
40. これからのこと
41. © 2025 Bengo4.com, inc. 41 • CIパイプラインへの完全統合 ◦ 力技に頼らず、ちゃんと CIに任せ、然るべきリ ポジトリで管理する これからやりたい事
42. © 2025 Bengo4.com, inc. 42 • Flaky testの改善 ◦ クラウドサインにあった合目的性の高いテストに 変えていく ◦ 実装基準の拡充とテストのリファクタリングを進 める これからやりたい事
43. まとめ
44. © 2025 Bengo4.com, inc. まとめ 44 • リリースサイクルに合わせて、リグレッションテストのあり 方は変化していく • 最初から完璧な環境を待つ必要はない。目的に応じて 実行手段を使い分ける • リグレッションテストの委譲は単なる負荷分散ではない。 最終的には主体性が移譲される
45. ご清聴ありがとうございました
46. © 2025 Bengo4.com, inc. おわりに We are Hiring 46