AWS Device FarmとCircleCIでAndroidのUIテストを自動化しよう

© 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Application Prototyping Solutions Architect
Fumihiko Shiroyama
December 16, 2019
AWS Device FarmとCircleCIで
AndroidのUIテストを⾃動化しよう
Android/iOS Test Night 2019

View Slide

⾃⼰紹介
名前：⽩⼭⽂彦（しろやまふみひこ）
所属：アマゾンウェブサービスジャパン株式会社
アプリケーションプロトタイピングソリューションアーキテクト
経歴：インフラエンジニア、バックエンド開発者
モバイルアプリ開発者、クラウドアーキテクト
趣味：⼦育て!、懸垂、⾃動テスト#

View Slide

⾃動テスト⼤好きです！
• Androidテスト全書という本を出しました
• ⾃動テストの種類やそれぞれがカバーする範
囲、モック（テストダブル）の考え⽅、UIテ
スト、CI/CDとの統合など、Androidにおけ
るテストについてひと通りカバーされた本で
す

View Slide

アジェンダ
本セッションのゴール
• AWS Device Farmでノーテストでバグを⾒つける
• AWS Device Farmで任意のバージョンの端末にリモートアクセス
• AWS Device FarmでUIテストを⾃動実⾏
• CircleCIからAWS Device Farmを利⽤する
• CI/CDとSlackを連携する

View Slide

対象となるアプリ

View Slide

ゴリラ
CHANGE

View Slide

デモ

View Slide

特定のバージョンのバグを⾒つけ出す

View Slide

リリースしたが…

なんか私のGalaxy S6(Android 6)
でクラッシュするんですが…
弱ったな…
こちらで確認できないぞ

View Slide

バグの事実と原因を確かめたい
• ユーザからAndroid 6系で動かないという報告があった
• 実はAndroid 6以下でクラッシュする深刻なバグがある
• 報告を確かめたいが古い端末は⼿元にない
• AWS Device Farmを使ってみよう(

View Slide

AWS Device Farm

View Slide

近年のモバイル開発が抱える課題
デバイスとOSの
多様化
複数のテストフレー
ムワーク対応の困難
デバイスメンテ
の⼿間
テストレポートの
可視化に対する要望

View Slide

AWS Device Farm
⾃動テストリモートアクセス
⾃動テストを好きな時に
好きな数だけクラウド上
で並列実⾏
クラウド上の好きな端末の
任意のバージョンですぐに
リモートで動作確認

View Slide

様々なテストパターンに対応
アプリ
UI Automation
UI Automator
XCTest
各種テストフレームワーク AWS Device Farm 詳細なレポート

View Slide

デバイスタイプ
• パブリックデバイス
• 0.17USD∕デバイス分の従量課⾦（無料利⽤期間1000デバイス分あり）
• 250USD∕⽉の定額プランで無制限利⽤
• 端末はテスト毎にデータ消去して再起動
• プライベートデバイス
• 200USD∕⽉から利⽤できる専有デバイス※1※2
• デバイスは専有で決して他者と共有されず、契約終了後に廃棄
※1 端末の取得価格によって変動
※2 最低6ヶ⽉の利⽤など諸条件あり

View Slide

早速使ってみよう

View Slide

Built-in: Fuzzテスト
• いわゆるモンキーテスト
• テストコードがなくてもUIをランダムに操作して落ちないか確認
• 複数のデバイスやOSを並列実⾏できる

View Slide

apkをビルド
./gradlew :app:assembleDebug

View Slide

AWS Device Farm
プロジェクトの作成

View Slide

Automated Tests
apkのアップロード
⾃動テストを選択

View Slide

Automated Tests
テストするデバイス群
Fuzzテスト
Device poolの選択

View Slide

Fuzzテスト
テスト結果
やはり古いバージョンで
エラーが起こっているようだ

View Slide

Fuzzテスト
テスト結果

View Slide

エラーの録画を確認する

View Slide

© 2019, Amazon Web Services, Inc. or its Aﬃliates. All rights reserved.
正常系

View Slide

異常系

View Slide

Screenshots
正常系
異常系

View Slide

Logs

View Slide

リモートアクセス

View Slide

⽬当ての端末選択

View Slide

ブラウザから操作

View Slide

アップロードして
実際に試すことができる

View Slide

その他のテスト

View Slide

その他のテストをAWS Device Farmで実⾏する
• AWS Device FarmはFuzzテスト以外にも多数のテストをサポートしている
• Instrumentationを選ぶことでUIテスト(Espresso)が実⾏できる
• 他にもAppiumやUI Automatorなど多数のフレームワークをサポートしている

View Slide

Instrumentation (Espresso)

View Slide

Instrumentation (Espresso)
• https://docs.aws.amazon.com/ja_jp/devicefarm/latest/developerguide/test-
types-android-instrumentation.html
1. ⼿順を参考にアプリ本体のapkをビルドする(assembleDebug)
2. ⼿順を参考にUIテストのapkをビルドする(assembleDebugAndroidTest)
3. AWS Device Farmにアップロードして実⾏

View Slide

Instrumentationテスト
テストapkをアップロード

View Slide

⽤途に応じて独⾃のDevice Poolも定義できる
Deviceの台数や組み合わせも任意

View Slide

追加のオプションや
タイムアウトを設定して実⾏

View Slide


View Slide

CI/CDとの統合

View Slide

CI/CDとの統合
• AWS Device Farmは便利だが⼿動でアップロードは⼤変
• CI/CDツールと連携することで⽇々のテストを⾃動化できる
• ここではCircleCIを使ってDevice Farmのテストを⾃動化する
• https://circleci.com/

View Slide

CircleCIとの連携
macOSでビルドするには有料プランが必要（無料トライアルあり）

View Slide

CircleCIの設定
• プロジェクト直下に.circleci/conﬁg.ymlという設定ファイルを設置
• yamlファイルを編集しビルドとテストの実⾏を設定（後述）
• Gitレポジトリへのプッシュを契機にビルドとテストが開始される
• 基本はGradleのコマンドを記述するだけ

View Slide

aws-device-farm-gradle-plugin
• https://github.com/awslabs/aws-device-farm-gradle-plugin
• Gradle plugin for AWS Device Farm
• apkのビルド、アップロード、テストの実⾏などを⼿助けするプラグイン
• DSLで細かい設定が可能

View Slide

Project build.gradle
• classpath 'com.amazonaws:aws-devicefarm-gradle-plugin:1.3’

View Slide

App build.gradle
• apply plugin: 'devicefarm’
• devicefarm{ 各種設定 }
• ./gradlew devicefarmUpload
projectNameは
Device Farmの設定に合わせる

View Slide

App build.gradle
• apply plugin: 'devicefarm’
• devicefarm{ 各種設定 }
• ./gradlew devicefarmUpload
IAMユーザと権限は最⼩に！

View Slide

CircleCIへの組み込み
• 基本はGradleコマンドを列挙するだけ
• ./gradlew :app:assembleDebug
• ./gradlew :app:assembleDebugAndroidTest
• ./gradlew :app:devicefarmUpload

View Slide

CircleCIの環境変数設定

View Slide

• https://slack.com/services/new/incoming-webhook
Slackに通知

View Slide

CircleCIの環境変数設定

View Slide

Slackに通知

View Slide

満を持してプッシュ！

View Slide

CircleCIコンソール

View Slide

Device Farmコンソール

View Slide

CircleCI Workflow
• すべてのプッシュでDevice Farm連携したくないケース
• Workflow機能を使ってmaster/releaseブランチプッシュ時だけ
Device FarmでUIテストを実⾏するといった制御が可能
• https://circleci.com/docs/ja/2.0/workflows/

View Slide


View Slide

処理の流れおさらい
1. Gitレポジトリへのプッシュを契機にCircleCIでビルドが始まる
2. 通常のGradleコマンドでapkをビルド
3. ワークフローでmasterブランチだけDevice Farmが⾛る
4. aws-device-farm-gradle-pluginプラグインがDevice Farmにアップロード
5. 結果をCircleCIに通知する

View Slide

CircleCIコンソール
masterだけ
UIテスト

View Slide

Yay!!!

View Slide

ご清聴ありがとございました,

View Slide

質疑応答

View Slide

Appendix

View Slide

スライドURL
http://bit.ly/34iYRc4

View Slide

AWS Device Farm テストデバイス⼀覧
• Q. AWS Device Farmではどのようなデバイスが利⽤できますか
• A. モバイルアプリケーションのテストに使⽤できる iOS、Android、
および Fire OS の実機は増え続けています。デバイス群は、市場の
データとお客様からのフィードバックをもとに、今後も引き続き更
新していく予定です。⼀覧は次のリストをご覧ください。
• http://awsdevicefarm.info/

View Slide

AWS Device FarmとCircleCIでAndroidのUIテストを自動化しよう

AWS Device FarmとCircleCIでAndroidのUIテストを自動化しよう

Fumihiko Shiroyama

More Decks by Fumihiko Shiroyama

Other Decks in Technology

Featured

Transcript