AWS Device Farmを使った GenAIモバイルアプリの自動テストについて

AWS Device Farmを使った GenAIモバイルアプリの自動テストについて Deliver GenAl Mobile Apps and Models
at scale: A Testing Architecture (DVT323) レポート AWS re:Invent 2025 株式会社 Works Human Intelligence 星七花(ほしなな)

星七花 (ほしなな) 経歴 Qiita 仕事モバイルアプリケーション開発 ( バックエンド >
フロントエンド > インフラ ) 2023/04：株式会社Works Human Intelligence 新卒入社 2023/08：新製品Webアプリケーション開発部門 2024/10：COMPANY Me(モバイルアプリ)開発部門 2025/06：2025 Japan AWS Jr.Champions 2025 Japan All AWS Certiﬁcations Engineers about me キックボクシング・茶道・謎解き趣味

1日目のセッションに参加しました（チョークトーク） GenAIモバイルアプリの自動テスト周りが学べそう…？

1日目のセッションに参加しました（チョークトーク） GenAIモバイルアプリの自動テスト周りが学べそう…？セッションレポート&感想をお話しします

Agenda • GenAIモバイルアプリとは？ • GenAIモバイルアプリのベンチマークについて • AWS Device Farmとは？ •
Amazonによる生成AIを使ったテストの実例 • セッションのまとめ・感想

自己完結型バックエンド依存型ネットワーク通信なしでデバイス上のモデルだけで完結推論はすべてクラウドだが、 API通信が必須ハイブリッド型軽量モデルはデバイス、複雑な処理はクラウド GenAIモバイルアプリとは？
GenAIモバイルアプリ＝生成AIを搭載しているアプリのことで、以下の3つの種類がある Deliver GenAl Mobile Apps and Models at scale: A Testing Architecture (DVT323)を参考にWHI作成

Deliver GenAl Mobile Apps and Models at scale: A Testing
Architecture (DVT323)を参考にWHI作成自己完結型バックエンド依存型ネットワーク通信なしでデバイス上のモデルだけで完結推論はすべてクラウドだが、 API通信が必須ハイブリッド型軽量モデルはデバイス、複雑な処理はクラウド GenAIモバイルアプリとは？ GenAIモバイルアプリ＝生成AIを搭載しているアプリのことで、以下の3つの種類がある GenAIモバイルアプリは、従来の自動テストだけでは不十分

GenAIモバイルアプリのベンチマークについて従来のテストにはなかった推論時間やトークンパフォーマンスなどが追加された起動時間初回起動と2回目以降では異なるので、モデルのアセットロードや初期化時間を区別して計測する。推論時間ウォームアップの有無が重要。モデルのロード、認証、JITコンパイルを含む「最初の1回」とキャッシュが効いた状態の差を把握する。メモリ使用量
ピークメモリと常駐メモリ。他のアプリを落とさずに共存できるか。トークンパフォーマンス最初のトークンまでの時間と、1秒あたりのトークン生成数。ユーザーが「待たされている」と感じる時間を数値化する。

ピークメモリと常駐メモリ。他のアプリを落とさずに共存できるか。トークンパフォーマンス最初のトークンまでの時間と、1秒あたりのトークン生成数。ユーザーが「待たされている」と感じる時間を数値化する。実機のGPUやNPUの性能に依存するためエミュレータでは正確に測れない

ピークメモリと常駐メモリ。他のアプリを落とさずに共存できるか。トークンパフォーマンス最初のトークンまでの時間と、1秒あたりのトークン生成数。ユーザーが「待たされている」と感じる時間を数値化する。実機のGPUやNPUの性能に依存するためエミュレータでは正確に測れない →実機で新しいベンチマークを測る必要がある！

AWS Device Farmとは？ AWSによりホストされている実際の物理的な電話やタブレットで、Android や iOS、およびウェブアプリケーションをテストしてやり取りできるアプリケーションテストサービス。現在は、us-west-2 (オレゴン) リージョンでのみ使用可能。
最近 (2025/11) のアップデートは、以下。 1. Appiumエンドポイントの提供 a. ローカルからDevice Farmにつなげられるようになった 2. 環境変数のサポート a. 動的なテスト環境設定が可能になった 3. IAM ロール統合 a. IAM ロールを引き受けて他の AWS サービスと接続できるようになった https://docs.aws.amazon.com/ja_jp/devicefarm/latest/developerguide/welcome.html https://aws.amazon.com/jp/about-aws/whats-new/2025/11/aws-device-farm-managed-appium-endpoint/#:~:text=AWS%20Device%20Farm%20enables%20we b,enabling%20dynamic%20test%20environment%20conﬁguration.

Amazonによる生成AIを使ったテストの実例こうした追加されたベンチマークをコード化するのは大変…

Amazonによる生成AIを使ったテストの実例こうした追加されたベンチマークをコード化するのは大変… LLMでテストを実行・管理して人間の負担を減らす

課題 • 10,000人のエンジニアがそれぞれが異なるフレームワークでテストを書いていた • 従来の自動テストは、ボタンのIDなどを指定して操作していたため、アプリのUIが少し変わるだけでIDが変わり、テストが失敗していた解決策 • 人間がテストコードを書くのをやめ、LLMに「ハリーポッターを検索して」などの指示をするだけで、AIが自律的に検索バーを探して操作する仕組みを導入した
Amazonによる生成AIを使ったテストの実例

Amazonによる生成AIを使ったテストの実例人間が何をテストするのかを指示し、LLMがそれに沿ってテストの生成・実行する。 Deliver GenAl Mobile Apps and Models at scale:
A Testing Architecture (DVT323)を参考にWHI作成仕様書プロダクションコード運用課題既存のテスト

Amazonによる生成AIを使ったテストの実例ハルシネーションや、質の低いプロンプトを防ぐために、Judge LLMを用意し、実行結果を監視・批評して品質を担保する。 Deliver GenAl Mobile Apps and Models
at scale: A Testing Architecture (DVT323)を参考にWHI作成 LLM Cleans test LLM Executes test

Amazonによる生成AIを使ったテストの実例ハルシネーションや、質の低いプロンプトを防ぐために、Judge LLMを用意し、実行結果を監視・批評して品質を担保する。 Deliver GenAl Mobile Apps and Models
at scale: A Testing Architecture (DVT323)を参考にWHI作成 LLM Cleans test LLM Executes test Amazonストアはテスト作成時間を90%削減＆テストの不安定さを50%削減した！

• GenAIアプリは従来の自動テストのみでは足りない ◦ 推論速度など新たなベンチマークが登場したため • 膨大なテストスクリプトを人間がメンテナンスし続けるのは限界がある ◦ テスト自体にもLLM（＋Judge役）を組み込むことで、複雑なUI操作のテストをスケールさせることができる •
新たなベンチマークを正確に測定するには「実機」が不可欠 ◦ エミュレータだけでなくAWS Device Farmなどを使っていくべきセッションのまとめ

• 自動テストを組み込んでいない場合は、いきなり今回の事例のようなLLM を組み込むのは大変 ◦ まずは自動テストの導入から。次に推論速度などのベンチマークを導入 →LLMで自動化というように段階を踏む。 • とはいえ、新しいベンチマークがなくても実機でのテストは必要 ◦ AWS
Device Farmは、Appiumエンドポイントができたことで、 us-west-2 (オレゴン) リージョンという部分が許容できれば実務で取り入れられそう感想

AWS Device Farmを使った GenAIモバイルアプリの自動テストについて

AWS Device Farmを使った GenAIモバイルアプリの自動テストについて

WHIsaiyo

More Decks by WHIsaiyo

Featured

Transcript