Tweet
Tweet

Slide 1

Slide 1 text

AIを駆使した自動テストは 2024/3/14 -15 JaSST’24 Tokyo

Slide 2

Slide 2 text

Speaker Profile odasho (Shohei Oda) Quality Advocate / Product Marketing, mabl Japan 国内SIerにてインフラやPaaS App開発まで幅広く経験。その後 コミュニティ活動をきっかけにMicrosoftに入社。Evangelistと してAudience Marketingに従事。2022年10月にmablにJoin、 TestingやQAの啓蒙活動に取り組む。現在もDevRel Meetup in Tokyoを中心に複数のコミュニティを運営/支援。 iPhone絶対並んで買うおじさん(2011 - 2023) Most DevRel Committer 2020、名城大学情報工学部非常勤講師 odashoDotCom odasho0618 odasho odasho0618

Slide 3

Slide 3 text

mabl について

Slide 4

Slide 4 text

What's mabl? ● 「めいぶる」と読みます ● Stackdriver（現Google Cloud Operations）の 創業者IzzyとDanが2017年ボストンで創業 ● 2021年8月に日本法人設立 ● グローバルの社員数は約110名 ● Fortune Globalの35社含む300社+が採用 ● GV、CRV、Amplify、Vista Equity Partner、 Presidioより 7,700万ドル (90億円) を調達

Slide 5

Slide 5 text

マーブルと誤読されがち (わかる)

Slide 6

Slide 6 text

Transform software quality by combining AI, automation, and human insight in software delivery ソフトウェアのデリバリーにおいて、 AI、自動化、人間の洞察力を組み合わせ、 ソフトウェアの品質を変革する

Slide 7

Slide 7 text

Web/Mobile/APIのための統合型プラットフォーム 7 AI、クラウド、ローコードの 最新テクノロジーを軸に 構築されたプラットフォーム Web、モバイル、APIテストを 単一のプラットフォームで実行 テストの再利用性を備えた 真のエンドツーエンドテスト

Slide 8

Slide 8 text

mablのスコープ 単体テスト API/結合テスト UI/E2Eテスト 探索的テスト

Slide 9

Slide 9 text

現状のQAに関する問題点 スピード: 従来型のテスト手法では現在の ソフトウェアリリースサイクルについてい けない サイロ化: テスト実施がチームごとにサイ ロ化され、アジリティや可視性が犠牲に なっている メンテナンス: 開発チームがテストコード のメンテナンスに多くの時間を費やしてい る

Slide 10

Slide 10 text

現状のQAに関する問題点 (アンケート結果) 6割以上が『手動でのテスト対応』と 回答 『テストメンテナンス』 『構築と実行に時間がかかりすぎる』 『自動化を行うためのコーディング知識がない』 が最多回答

Slide 11

Slide 11 text

単一プラットフォームでの広範囲なテストカバー 機能/非機能テストをカバーするプラットフォーム ● Web UIテスト ● モバイルWeb UIテスト ● APIテスト ● アクセシビリティテスト ● UI/API パフォーマンステスト ● 2024年第一四半期にサポート（予定） ○ ネイティブモバイルアプリテスト

Slide 12

Slide 12 text

ノーコードでテストを作成、ローコードで拡張 テスト作成の流れ 1. ブラウザでテスト対象アプリを 操作 2. トレーナー（右側ウィンドウ） が各操作をステップとして記録 してテストを作成 3. 必要に応じてステップの追加・ 削除・変更が可能

Slide 13

Slide 13 text

ローコードで「意図」と「実装」を分ける

Slide 14

Slide 14 text

ノーコードでカバーしきれないテストステップをローコードでカバー、テストカバレッジを向上 ローコードでテストを拡張 テストの任意ステップでJavaScriptを実行可能

Slide 15

Slide 15 text

より良い品質のソフトウェアをより早く提供 15 3倍 速くテストを作成 スピード向上 70% メンテナンスコスト削減 効率化 10倍 速くテストを実行 加速化 80% 自社開発ソリューション よりも低コスト コスト削減

Slide 16

Slide 16 text

世界の動向 (アクティブユーザー数) 48% 2% 13% 2% 2% 12% 21%

Slide 17

Slide 17 text

品質エンジニアリング採用の拡大 QUALITY ASSURANCE（品質保証） アプリケーションの品質を保証する。 開発プロセスの第一歩。 品質エンジニアリング データを使用しながら、 開発パイプライン全体を通して、アプ リケーションの品質と カスタマーエクスペリエンスを 継続的に改善する。

Slide 18

Slide 18 text

品質指標を使用した継続的な改善 非機能的品質の検証 シフトレフト: 自動化されたテストを開発に組み込む 機能テスト自動化のカバレッジ拡大 開発後に手動でテスト 品質エンジニアリング (QE) ジャーニー QEの成熟度

Slide 19

Slide 19 text

エンタープライズ対応のセキュリティ SOC II Type 2 GDPR

Slide 20

Slide 20 text

本日のテーマ

Slide 21

Slide 21 text

AIを駆使した自動テストは 2024/3/14-15 JaSST’24 Tokyo

Slide 22

Slide 22 text

そういえば1年前のJaSST'23 Tokyoで… 2023/3/10 (撮影NGで) Autifyさん、MagicPodさん、 mabl の3社で『AIテスト自動化ツールの向かう 先』と題して、次のAIテスト自動化のトレンド について、熱い想いを語り合ってきましたね！ 当時のトレンドはやはり生成AI。テスト自動化 にどのように組み込まれていくのか、願望と想 像を膨らませながら三者三様の意見をぶつけ合 いました…！

Slide 23

Slide 23 text

というか、その後も… ● 2023/3/15 TechFeed Experts Night #15 『〜 ソフトウェアテスト最前線 〜 自動化 サービスの波は本物か？』 ● 2023/3/23 BlastEngine 『Auto Test Panel vol.1』 ● 2023/9/12 TechStreet 『テスト自動化の先駆者3社が集結！今後の 自動化の方向性』 ● 2023/11/1 FUJIYAMA Tech ShowCase #1 と連続して共同登壇してきた俺たち…(なんなの？)

Slide 24

Slide 24 text

AIテスト自動化 ベンダの試行錯誤

Slide 25

Slide 25 text

既に生成AIの活用は始まっている 無断でロゴ使用とかサービス詳細を説明すると大いなる力の洗礼を受けかねないので、シンプルなスライドにしています。私は大人だから。 ● Autifyさんの『Step Suggestions』『Scenario Summarizer』 ● GitHubさんの『GitHub Copilot』 ● Postmanさんの『Postbot』 ● mablの…？？

Slide 26

Slide 26 text

AIによる信頼性の向上

Slide 27

Slide 27 text

UI変更を検知しテストを自動修復機能 どうやってテストを自動修復する？ ● テスト実行のたび要素ごとに 35以上の属性を記録 ● 要素が見つからない時、 属性情報を使い要素を検索 ● マッチした要素でテストを 修正して実行 ● 自動修正をユーザーに通知し、 正しく修正されているか確認

Slide 28

Slide 28 text

生成AIが言語理解をサポート 要素の検索モデル DOM エキスパートシステム Autonomous Agent

Slide 29

Slide 29 text

生成AIが言語理解をサポート ● 1000 件以上のテストケースに成功 ● 約100 社の顧客が使用 ● 高精度 ● スケーリングにおける課題なし

Slide 30

Slide 30 text

生成AIを活用した テストの落とし穴

Slide 31

Slide 31 text

Microsoft Gamoさんはこう言っている。 　Reference: GPT開発の悩みの種「速度」「精度」「評価」の壁をどう超えるか 『Azure OpenAI ServiceではじめるChatGPT/LLMシステム構築入門』著者の1人 ”GPTに出力を評価させる場合、その評価が妥当なものであ るかどうかを確認する必要がある。" ”特に判断に注意。品質保証部門やデータサイエンティスト など専門家と相談し、通常のソフトウェアテストと同じく、 Go/No Goの判定基準を事前に設けておく。"

Slide 32

Slide 32 text

これからのAI活用 とテスト自動化

Slide 33

Slide 33 text

Home grown 車輪の再発明は必要か？ 33

Slide 34

Slide 34 text

Web/Mobile/APIのための統合型プラットフォーム 34 AI、クラウド、ローコードの 最新テクノロジーを軸に 構築されたプラットフォーム Web、モバイル、APIテストを 単一のプラットフォームで実行 テストの再利用性を備えた 真のエンドツーエンドテスト

Slide 35

Slide 35 text

既存ツールとの統合 DevOpsツールセットとの統合 CI/CDインテグレーション Mabl アプリ (デスクトップ、Web) Mabl Cloud レポート コラ レーションツール お使いのアプリケーション Mabl Link optional バグ追跡

Slide 36

Slide 36 text

https://github.com/apps/mabl-bot GitHub インテグレーション Deployment action Run mabl tests action Actions 2.0 Deployments API Tests Test Results API DEPLOYMENT EVENT POLL FOR TEST RESULTS TRIGGER

Slide 37

Slide 37 text

詳細なテスト結果データを自動で記録 テストのステップごとに結果情報を収集 ● スクリーンショットと画面差分 ● ネットワークログ ● DOMスナップショット ● HARファイル

Slide 38

Slide 38 text

テスト実行結果からインサイトを通知 実行テストに関する情報を俯瞰的に把握 ● テストカバレッジ ○ 最新のテスト成功率 ○ 累積テスト実行数 ○ 失敗テストの分類 ○ テストステータス、など ● 自動修復 ● 視覚的変化 ● リンク切れ ● JavaScriptエラー

Slide 39

Slide 39 text

継続的なWebおよびAPIのパフォーマンステスト PERFORMANCE TESTING IN A UNIFIED PLATFORM 39 ブラウザテストとAPIテストの再利用: パフォーマンステストの ための面倒なスクリプト作成とメンテナンスを不要にします。 シンプルかつパワフル: エラー率、レスポンス時間、ブラウザー のステップ時間、コアウェブバイタルのSLAを設定可能です。 シフトレフト: 開発パイプライン上で、早期かつ継続的に 実行するパフォーマンステストの設定と統合。 クラウドの有効性: インフラのメンテナンスから解放し、 スケーラビリティと効率性を実現できます。 統合プラットフォーム: 機能テストとパフォーマンステスト (非機能テスト)の両方を効率化、ユーザー体験を最適化します。

Slide 40

Slide 40 text

高品質なモバイルアプリの提供を実現 手軽にモバイルテストを生成: AndroidおよびiOSアプリの テスト作成を劇的に高速化 高い信頼性: 自動修復機能により、アプリ側の変更にテストを 動的に適応させ、メンテナンスに必要な工数を軽減 クラウド実行でスケーラビリティを提供: インフラの メンテナンスなしに、仮想デバイスと実デバイスでテスト可能 シームレスなインテグレーション: リグレッションテストを 開発パイプラインに早期かつ継続的に簡単追加 単一プラットフォーム: Web、iOS、Androidにまたがるテスト を合理化し、品質全体を俯瞰するビューを提供します。 LOW-CODE MOBILE APP TESTING WITH MABL

Slide 41

Slide 41 text

モダンなソフトウェア品質プラットフォーム UNIFIED TEST AUTOMATION PLATFORM FOR WEB, MOBILE, AND APIS コーディング経験の有無に関係なく、 チーム全体でテスト自動化に取り組む ローコード 開発ワークフローや コラボレーションツールとの シームレスな統合 インテグレーション 生成AIを含む複数のAI技術を活用した、 信頼性が高くアプリ変更への耐性が強い テスト AI 無制限の並列化による高速なテスト実行と、 インフラのメインテナンス不要な シームレスなスケーリングの実現 クラウド ロ ー コ ー ド インテグレーション クラウド 機能テスト 機能テスト パフォーマンス アクセシ ビリティ テスト運用 ビジュアル モバイル

Slide 42

Slide 42 text

For your information #mablJapan

Slide 43

Slide 43 text

About the mabl University How-to Videos (English only) How-to Lessons (Japanese only) On-Demand Training (English & Japanese) mabl Skills Certifications (English & Japanese) ● 33 ビデオ (各3 - 8 分程度) ● 英語字幕あり、日本語字幕なし ● 26 レッスン ● Step by stepで学習可能 ● 4 ラーニングパス ● 設定、基礎、高度、統合でそれ ぞれ30 - 90 分の学習パス ● 学習目標に応じたパスを提供 ● 3 つの資格 ● Foundations と Advanced ● NonFunctional ←NEW ● LinkedIn に掲載可能

Slide 44

Slide 44 text

mabl Skills Certification mabl Skills Certification: Foundations (基本レベル) mabl Skills Certification: Advanced (応用レベル) mabl Skills Certification: Non-functional Testing (非機能テスト)

Slide 45

Slide 45 text

有資格者には特別なノベルティをプレゼント

Slide 46

Slide 46 text

You can try it now! ● 2週間の無料トライアルとmabl University でmablをマスターしよう！ ● デモのリクエストはこちらから！→→ https://www.mabl.com/ja

Slide 47

Slide 47 text

Join user community! mabl の User Community『mablers_ jp』

Slide 48

Slide 48 text

Join our mini session! JaSST'24 Tokyo ミニセッション Discordに大集合！！！ ● 3/14 14:15～14:25、15:45～15:55、 17:00～17:10 ● 3/15 14:00～14:10、15:45～15:55

Slide 49

Slide 49 text

Join our webinar! mabl ご紹介 Webinar 3/28、4/11、4/25 14:00～ 開催 ● mablが提供する様々なテストについて、 ご紹介するWebinarシリーズ ● 国内登録者 2000 名 突破 右のQRコード(Connpassサイト)より お申込みください！

Slide 50

Slide 50 text

Thank You!