Slide 1

Slide 1 text

2025/7/3 開発生産性 Conference 2025

Slide 2

Slide 2 text

Speaker Profile odasho (Shohei Oda) Quality Advocate / Product Marketing, mabl Japan 国内SIerにてインフラやPaaS App開発まで幅広く経験。その後 コミュニティ活動をきっかけにMicrosoftに入社。Evangelistと してAudience Marketingに従事。2022年10月にmablにJoin、 TestingやQAの啓蒙活動に取り組む。現在もDevRel/Tokyoを中心 に複数のコミュニティを運営/支援。 iPhone絶対並んで買うおじさん(2011 - 2024) 一般社団法人DevRel 理事、名城大学情報工学部 非常勤講師 odashoDotCom odasho0618 odasho odasho0618

Slide 3

Slide 3 text

OpenAI の音声書き起こしサービスの『Whisper』に「おだしょー 」という文字列が大量に出 てくるバグ (2年以上放置中) 最近生成AI周りで気になること 引用: https://techblog.ap-com.co.jp/entry/2023/10/31/132036

Slide 4

Slide 4 text

AI活用ソフトウェアテストツールのマー ケットガイド by Joachim Herschmann, Thomas Murphy, Jim Scheibmeir, Frank O'Connor, Deacon D.K Wan, February 2024

Slide 5

Slide 5 text

AI活用ソフトウェアテストツールのマーケットガイド by Joachim Herschmann, Thomas Murphy, Jim Scheibmeir, Frank O'Connor, Deacon D.K Wan, February 2024

Slide 6

Slide 6 text

No content

Slide 7

Slide 7 text

現状のQAに関する問題点 (アンケート結果) と、その前に 6割以上が『手動でのテスト対応』と 回答 『テストメンテナンス』 『構築と実行に時間がかかりすぎる』 『自動化を行うためのコーディング知識がない』 が最多回答

Slide 8

Slide 8 text

短期的な記憶 計画立案 判断力 推論 集中力 長期記憶 視覚 認識 知覚 読解 言語理解 行動の協調 AIによる破壊的変化への対応 テストは過小評価されてきた

Slide 9

Slide 9 text

人のインテリジェンス に加えて 自動化が必要 コラボレーション 実行する 観察する 考える 学習する AIによる破壊的変化への対応

Slide 10

Slide 10 text

コラボ レーション 考える 実行する 観察する 学習する 人のインテリジェンス に加えて 自動化が必要 AIによる破壊的変化への対応

Slide 11

Slide 11 text

人のインテリジェンス に加えて 自動化が必要 AIによる破壊的変化への対応

Slide 12

Slide 12 text

実行する Webブラウザ、モバイルアプリ ケーション、APIとの迅速かつ 信頼性の高い連携。

Slide 13

Slide 13 text

多岐にわたるスキルセット AIによる破壊的変化への対応 Webブラウザのコントロール クリックと ナビゲーション フォームの送信 と検証 Shadow DOM との連携 PDFとメールの 検証 データベースの クエリと検証 認証フローの 処理 Android/iOS アプリとの連携 タップ、ピンチ 、スワイプ操作 フォームの送信 と検証 Webviewとの 連携 UI要素の 視覚的検出 位置情報サービ スのテスト デバイスの 向きの変更 APIの呼び出しと検証 APIリクエスト の送信 APIレスポンス の検証 APIからの データ抽出 リクエストへの 変数利用 API認証の処理 API負荷テスト の実行

Slide 14

Slide 14 text

データベースアクセスを活用したテストカバレッジの拡大 AIによる破壊的変化への対応

Slide 15

Slide 15 text

観察 と 認識 アプリケーションの状態、 エラー、ページの応答時間 などを捉えて分析。

Slide 16

Slide 16 text

熟練のQAのように観察 観察 スクリーンショットの記録 Save DOM スナップショット アプリのログを収集 ネットワークトレースの保存 アプリのパフォーマンス分析 要素のプロパティを保存 ページ読み込みをトラック AIによる破壊的変化への対応

Slide 17

Slide 17 text

自然言語によるアサーションでカバレッジを拡大 17 AIによる破壊的変化への対応 自然言語で検証可能: アプリケーションの「こう動作して 欲しい」を伝えるだけ 旧来のアサーションを超えて: 旧来のテストでは検証しきれ なかったAIが生成する動的なコンテンツを検証可能 旧来のテスト対象を超えて: ● イメージの検証: 「画像中に自転車があるか検証」したり「社名 ロゴが正しく追加されているか確認」することが可能 ● ビデオの検証: 「ビデオ上に字幕が表示されているか検証」する ことが可能 ● テキストの分析: 「ページが全て日本語化されているか チェック」することが可能 ● AIチャットボット: 「チャットボットの応答が適切、かつ役に たつもので、アクションボタンが表示されているかを確認」する ことが可能

Slide 18

Slide 18 text

意思決定をする 低レベルの指示を解釈し、 問題を特定することで、 推論と意図の理解に 基づいてテストを遂行。

Slide 19

Slide 19 text

生成AIによる自動修復機能でメンテナンスを削減 ● UI要素の変更時にメンテナンスを削減 ● 複数の戦略を用いて要素を特定 ● エキスパートシステムを活用し、 迅速かつ低コストで自動修復 ● テキストやコンテキストの認識が 必要な場合は生成AIを使用 AIによる破壊的変化への対応

Slide 20

Slide 20 text

推論する データを分析・相関させ、 仮説や提案を導き出す。

Slide 21

Slide 21 text

生成AIによる障害分析で生産性を向上 (AutoTFA) AIによる破壊的変化への対応

Slide 22

Slide 22 text

計画する アプリケーションとテスト プラクティスの知識を 組み合わせ、チームの協力 を得て効果的な自動化を 生成。

Slide 23

Slide 23 text

自然言語でWebテスト構築 (テスト作成エージェント) ● 意図に基づいたタスクとインテリ ジェントな検証ステップを生成 ● 既存のワークフローをワーク スペース全体で自動的にインポート ● 効率的で堅牢、かつ信頼性の高い テスト ● テスト作成を90%以上加速 AIによる破壊的変化への対応

Slide 24

Slide 24 text

統合する 適切なコンテキストでチーム メンバーにインサイトを提供 エンタープライズ環境と ワークフローにシームレスに 適合

Slide 25

Slide 25 text

チームや開発環境との連動 統合&コラボレーション Jiraで欠陥を 起票・更新 Slack/Teamsで 共有 CI/CDフックと 連携 テストのオーケ ストレーション レポート生成 テストアセットの 共有 テスト結果の分析 CI/CDインテグレーション コラボレーション レポーティング バグトラッキング テスト環境の管理 生成AIによる破壊的変化への対応

Slide 26

Slide 26 text

実行する - あらゆるブラウザアプリ、API、モバイルアプリと簡単に連携し、テストを実行 統合する - チームメンバーと協業し、既存の環境やワークフローにシームレスに適合 学習する - アプリケーションの挙動と「正常」な状態を理解し、状況に応じてテスト アプローチを調整 観察する - 画面情報、ログ、トレースなどから深いインサイトを生成 考える - テスト計画を立案し、データに基づいて推論し、品質に関する的確な意思決定を行う 熟練のQAのように機能するmabl 生成AIによる破壊的変化への対応

Slide 27

Slide 27 text

直近のプロダクトリリース テスト作成エージェント • テストの意図をタスクに分解 • 適切な再利用可能フローの発見と活用 • エンドツーエンドテスト全体を自律的に構築 • テスト作成時に変数とテストデータを生成 自動TFA (テスト失敗分析) • すべてのテストおよびプランの失敗を バックグラウンドで自動分析 • 迅速な問題解決のため、即座にテスト結果から インサイトと推奨事項を提供 ビジュアルアシスト • 生成AIを活用し、画面中のUI要素を ビジュアルに学習することで信頼性を向上 • これまでロケーターが位置づけできなかった ピクセルベースで描画されたボタン等の要素 であっても位置づけ可能に 適応型の自動修復機能 • アプリケーションの変更に合わせてテストを インテリジェントに修正 • 複数のAIモデルを活用し、市場をリードする 信頼性を実現 • コンテキストに応じた柔軟性を実現するために 生成AIを活用

Slide 28

Slide 28 text

For your information

Slide 29

Slide 29 text

DevOpsにおける テストレポート https://www.mabl.com/ja/reports/testing-in-devops-2025 mablが毎年公開しているテストレポートの 2025年度日本語版 ダウンロードリンクはこちら!

Slide 30

Slide 30 text

Join our webinar on July! 7/9 13:00~14:00 まだ手動でテストしてるの? 生成AIとローコードで実現するE2Eテスト 徹底解説! https://mabl-japan.connpass.com/event/358819/

Slide 31

Slide 31 text

Come visit the mabl booth!

Slide 32

Slide 32 text

Thank You for attending Today!!