複雑化・巨大化するプロダクトに立ち向かう、私たちのAutifyテスト設計術

2025年9月11日に開催されたAutify主催のイベントでの登壇資料です。 株式会社TOKIUMのQAチームが、複雑化・巨大化するプロダクトに対し、Autifyの自動テストをいかに改善したかを解説します。

Transcript

1. 2025年9月11日 株式会社TOKIUM 部署名：プロダクト部 QAチーム 氏名：富田 複雑化・巨大化するプロダクト に立ち向かう！ 私たちのAutifyテスト設計術 1
2. 名前：富田秀作 所属：株式会社TOKIUM-プロダクト部QAチーム 経歴： • 2012年 墓石のCADオペレーター • 2014年 第三者検証会社でQAに着任 • 2022年 株式会社TOKIUM に入社 QAチームとして、 10数名のQAメンバーの管理業務・プロセス改善 等を推進 趣味：将棋・ギター 資格：JSTQB AL テストアナリスト 2 My Introduction
3. 創業以来、10年以上一貫して支出にまつわるサービスを提供。 TOKIUMシリーズは直近5年間で導入社数が6倍以上増加し、2024年7月に2,500社を超えました。 TOKIUMのこれまで｜創業以来支出にまつわるサービスを提供 累計導入社数 2,500社を突破 ※24/07末時点 製造 IT・情報通信 外食・食品 製造 建設・不動産 コンサルティング 金融・保険 法人サービス 小売 インフラ・物流 商社・流通 広告 広告・エンタメ 医薬・化学 2012年6月 　創業 2016年2月 「TOKIUM経費精算」 2020年9月 「TOKIUMインボイス」 2024年6月 「TOKIUM契約管理」 2022年1月 「TOKIUM電子帳簿保存」 2025年1月 「TOKIUM請求書発行」
4. 4 今日話すこと ・背景： 　停滞していたわたしたちのAutify運用 ・現状調査： 　　「なんとなく」からの脱却。まずは現状をとことん可視化 ・改善： 　　チームで挑んだ改善アプローチ Autifyを運用してきた経験から、伝えたい内容
5. 5 背景 Autifyの運用をしていて何が起こっていたか プロダクト の増加 機能拡充 テスト環境 の増加 TOKIUMの 開発状況 新機能の自動テスト 実装 ＆ メンテナンス が追いつかない Autifyの 状況 Autifyでも 検知できなかった 不具合 が発生 Autifyの運用をイチから見直し！
6. 6 まずやったこと - 現状整理 どんなテストが必要か、今一度整理 ※数字や項目はサンプル値です
7. 7 まずやったこと - 現状整理 どんなテストが必要か、今一度整理 現状のシナリオの利用状況 を整理
8. 8 まずやったこと - 現状整理 どんなテストが必要か、今一度整理 自動テストのカバー率(網羅率) を数値化 ※表示されている数値は あくまでサンプル値です
9. 9 まずやったこと - 現状整理 Autifyが検知できた不具合 Autifyが検知できなかった 不具合 ボタン押下後に画面が反応しなくなる 特定のタブを開くと何も表示されない 常に不要な解除ボタンが表示されている 入力フォームのバリデーションが機能しない 画面上の重要な要素が表示されていない 静的な画面・機能における不具合 は検知できている 権限が異なる複数ユーザーで同じデータを操作すると不整合が起きる 申請と承認のフローで「差し戻し」が特定回数続くと、添付ファイルが消失する 外部連携サービス(SAML認証等)がエラーを返した際、画面が無限ロードになる 特定の勘定科目と税区分を組み合わせた場合にのみ消費税が二重計上される 複数ブラウザで同時に同じデータを編集・保存すると、先に保存した内容が消える ※内容はあくまでサンプルです
10. 10 まずやったこと - 現状整理 Autifyが検知できた不具合 Autifyが検知できなかった 不具合 ボタン押下後に画面が反応しなくなる 特定のタブを開くと何も表示されない 常に不要な解除ボタンが表示されている 入力フォームのバリデーションが機能しない 画面上の重要な要素が表示されていない 権限が異なる複数ユーザーで同じデータを操作すると不整合が起きる 申請と承認のフローで「差し戻し」が特定回数続くと、添付ファイルが消失する 外部連携サービス(SAML認証等)がエラーを返した際、画面が無限ロードになる 特定の勘定科目と税区分を組み合わせた場合にのみ消費税が二重計上される 複数ブラウザで同時に同じデータを編集・保存すると、先に保存した内容が消える ※内容はあくまでサンプルです 動的な状態遷移が絡む、 複合的なデータパターンの 不具合 は検知できていない
11. 11 まずやったこと - 現状整理 •安定稼働率 ：良くて70%
12. 12 まずやったこと - 現状整理 •安定稼働率 ：良くて70% 【主な原因】 ・落ちやすい実装 になっていた （JSステップでの要素取得不足） ・UI変更時の メンテナンスが追いついてなかっ た
13. 13 まずやったこと - 現状整理 これらの調査を踏まえ、みえてきた課題 ・より複合的な観点でのテストが必要 ・実装カバー率の低い機能が顕在化してきた ・安定性の確保 品質 実装スピード 安定性
14. 取り組んだ改善 　① - テスト技法を使った自動テストケースの練り直し 　② - 実現できてなかったテスト自動化の再検討 　③ - 自動化実装のチームを再編成 　④ - Autifyシナリオのドキュメント化 　⑤ - 各開発環境で自動テストできる仕組みづくり 14 調査をふまえた改善 品質 実装スピード 安定性
15. 15 取り組んだこと① - テスト技法を使った自動テストケースの練り直し これまで： 　ど正常導線でシンプルなテストケースの自動テスト 　↓ 改善点： 　より複合的なパターンでの観点でテスト実装していく 特に ・各導線の CRUD処理 ・テスト技法 を用いた網羅性担保 を意識
16. 16 取り組んだこと① - テスト技法を使った自動テストケースの練り直し テスト技法「状態遷移テスト」 を取り入れた例
17. 17 取り組んだこと① - テスト技法を使った自動テストケースの練り直し テスト技法「状態遷移テスト」 を取り入れた例 Autify でカバー
18. 18 その他様々な技法 をAutifyに盛り込む 取り組んだこと① - テスト技法を使った自動テストケースの練り直し
19. 19 取り組んだこと② - 実現できてなかったテスト自動化の再検討 領収書画像が表示さ れる画面を表示する と・・ 【Before】 ランダム性 のある 領収書画像表示だった （毎回異なる画像が表 示）
20. 20 取り組んだこと② - 実現できてなかったテスト自動化の再検討 特定のURL を叩くと 【After】 ランダム性のある機能 をAutifyで実装できる よう開発チーム へ協力 依頼 必ず決まった 領収書画像を表示できるよう に実装
21. 21 自動化実装担当も再編成 従来： 　私（富田）が普段のQA業務の片手間で自動化の実装をしていた 改善： 　・自動化実装の専任メンバー をアサイン 　・属人化しないように、シナリオの詳細はドキュメント化 　　→専任メンバー以外の人でも、Autifyを使える体制に。 取り組んだこと③ - 自動化実装のチームを再編成 【自動テストの安定性を向上】 　・落ちやすい実装 になっていたステップを、 　　JSステップでの要素取得するように再実装 　・UI変更時の メンテナンスを即時実装
22. 22 Autifyシナリオの詳細内容をスプシでドキュメント化 →初見QAメンバーの 導入コストも削減 ！ ～イメージ～ 　シナリオA：経費の手入力 　　経費登録（手入力） | ステップ1-10 | (詳細内容) 　　経費一括編集　　 　| ステップ11-30 | (詳細内容) 　　申請　　　　　　　 | ステップ31-50 | (詳細内容) 　　取り下げ操作　　　 | ステップ51-70 | (詳細内容) 　シナリオB：経費の交通費入力 　　経費の交通費入力　 | ステップ1-10 | (詳細内容) 　　経費分割操作　　 　| ステップ11-30 | (詳細内容) 　　申請/承認 　　　　 | ステップ31-50 | (詳細内容) 　　差し戻し操作　　　 | ステップ51-70 | (詳細内容) 取り組んだこと④ - Autifyシナリオのドキュメント化
23. 23 実際のスプシ↓ 取り組んだこと④ - Autifyシナリオのドキュメント化 シナリオの概要が誰でも分か るように視認性UP! ＆ 必要な観点の 検索性UP!
24. 24 取り組んだこと⑤ - 各開発環境で自動テストできる仕組みづくり 作ったシナリオをどの開発環境 でも併用できるように実装
25. 25 取り組んだこと⑤ - 各開発環境で自動テストできる仕組みづくり AutifyのURL置換機能を つかって、メンテナンス性を 上げていてる
26. 26 まとめ 結果どうなったか •シナリオ数 ： •安定稼働率 ：
27. 27 まとめ 結果どうなったか •シナリオ数 ：30件前後 → (約半年で) 80件まで増加 •安定稼働率 ：
28. 28 結果どうなったか 結果どうなったか •シナリオ数 ：30件前後 → (約半年で) 80件まで増加 •安定稼働率 ：70% → 98%の安定性を確保
29. 直近の事業展望　※05/22のプレスリリース 直近の事業展望 BtoB/SaaSの基盤を活かしつ つ 経理AIエージェント の開発に 注力！🔥
30. 直近の事業展望 TOKIUM AIエージェントを提供開始 経理AIエージェント AIとプロスタッフが連携し、経理作業から解放。経理業務を自動運転へ 日常的な言葉の指示で 経理作業を代行 TOKIUMの既存サービス (SaaS)との連携 サービスの特徴
31. 31 直近の事業展望 以下からブログを 開けます↓ テックブログもございます！（ぜひ閲覧ください）
32. 32 おわりに 懇親会ではよろしくお願いします！ 「AIプロダクトのQA」について、頑張っていることや苦労など 資料には載せていないお話しもできます！ ※カジュアル面談等も絶賛募集中です！ 😊 （TOKIUMのホームページから導線ございます）
33. 33 ご清聴ありがとうございました！