ノーコード × 生成AIの MagicPod Autopilotを使ったE2Eテスト生成

by MagicPod

Slide 1

Slide 1 text

ノーコード × 生成AIの MagicPod Autopilotを使ったE2Eテスト生成 AI Agentで変わるモバイルアプリ開発におけるテスト MagicPod CEO 伊藤望

Slide 2

Slide 2 text

伊藤望 / Nozomi Ito About me ・自動テストツール歴：15年・Seleniumコミュニティ主催・Twitter: @ito_nozomi MagicPod CEO

Slide 3

Slide 3 text

ノーコードで簡単にテスト作成できる柔軟性とメンテナンス性が強み E2Eテスト自動化SaaS Web & モバイルアプリの

Slide 4

Slide 4 text

【株式会社MIXI様】MagicPodヘルススコアの全社統合分析用ダッシュボードを作成してみた【弥生株式会社様】新サービスを開発しながらMagicPodでE2Eテストの自動化を行った話【株式会社iCARE様】MagicPod の導入しました！【株式会社COUNTERWORKS様】数多あるE2Eテスト自動化ツールから MagicPodを本気で選定した【株式会社メドレー様】持続可能なE2E自動テストを目指して【レコチョク株式会社】【MagicPod】Webとアプリを跨いだ機能の自動UIテストユーザーさんのブログ記事 MagicPodを活用してくださっているユーザーの皆様がたくさんのブログを書いてくださっています。

Slide 5

Slide 5 text

生成テスト実行自然言語で指示を出すステップを作成・実行ユーザー名とパスワードを入れてログインするテストを作成してください 1 2 3 ユーザー MagicPod Autopilot ユーザーIDを入力パスワードを入力ログインボタンをクリック What is MagicPod Autopilot? チャット対話でテスト作成・編集・実行ができるAIエージェント

Slide 6

Slide 6 text

DEMO

Slide 7

Slide 7 text

MagicPod Autopilot のポジショニングコーディングテストエンジニア向き非エンジニア向き Claude Code Cursor Cline Devin ソフトウェア開発・テストAI エージェントのマトリクス MagicPodなら非エンジニアでも生成されたテストを理解・編集できる

Slide 8

Slide 8 text

プロンプト user1/pass でログイン利用可能アクションリスト get-ui-tree run-test save-test ... アクション呼び出し get-ui-tree MagicPod ブラウザ AI model UI ツリー取得 MagicPod Autopilot の仕組み

Slide 9

Slide 9 text

MagicPod Autopilot の仕組みモデル精度速度コスト問題点 Gemini2.5 Pro ▲ ▲ ● しょっちゅう止まる GPT-5 ▲ × ● ー Claude Sonnet 4 ● ● × ー使う生成AIモデルによって性能にかなり差が出る実装裏話

Slide 10

Slide 10 text

連絡先ページに移動して、適当な氏名と会社名で連絡先を追加するテストを作成して。 Autopilot利用例① - 連絡先アプリ(Android)

Slide 11

Slide 11 text

ストップウォッチを開始して5秒経ったら止める。表示されている秒数が5秒以上経過していることを確認 Autopilot利用例② - 時計アプリ(Android)

Slide 12

Slide 12 text

設定アプリから文字サイズをできるだけ大きくするテスト Autopilot利用例③ - 設定アプリ(iOS)

Slide 13

Slide 13 text

連絡先ページに移動して、適当な氏名と会社名で連絡先を追加するテストを作成して。 Autopilot失敗例① - 連絡先アプリ(iOS) スクロールがうまく動かず、会社名入力に失敗

Slide 14

Slide 14 text

Autopilot失敗例① - 解決策手編集でスクロール(スワイプ)を追加

Slide 15

Slide 15 text

090-1234-5678に電話をかけて切った後、通話履歴を確認し、最新の履歴にかけた番号が表示されていることを確認。確認できたら通話履歴を削除し、削除されたことを確認 Autopilot失敗例② - 「電話」アプリ(Android) 通話開始後「戻る」で戻ったため履歴が作られず、代わりに無駄なステップを大量生成

Slide 16

Slide 16 text

090-1234-5678に電話をかけて、通話を切るボタンを押して切った後、通話履歴を確認し、最新の履歴にかけた番号が表示されていることを確認。確認できたら通話履歴を削除し、削除されたことを確認 Autopilot失敗例② - 解決策プロンプト中で、通話を切るボタンを押すよう明示

Slide 17

Slide 17 text

テスト作成と並行で別作業ができるようになる初心者の「テスト自動化難しそう...」というハードルが下がる複雑なステップを初心者でも組みやすくなる Autopilotのメリットテスト作れたー!

Slide 18

Slide 18 text

複雑なステップの例宿泊日エリアに「年/月/日」の形式で 2日後の日付をセットして合計金額を、カンマなしの数字で変数「合計金額値」にセットして

Slide 19

Slide 19 text

MCP サーバーテスト失敗修復中です... MCPサーバー経由で、外部AIエージェントからテスト作成今後の機能拡張構想テスト失敗時の自動修復に Autopilotを適用 AIで確認検索意図に沿った結果が表示されているかを確認 1 テスト手順書等から一括でテストの雛形生成生成AIによるアサーションステップ