Android Robo Test

xtone社内勉強会 2019/05/31

Transcript

1. Android Robo Test xtone社内勉強会 2019/05/31 Sosuke Okubo
2. UIテストはめんどくさ い
3. テストを書かなくても UIテストをしてくれる 仕組みがあるらしい
4. そうAndroidならね
5. Roboテスト • Firebase Test Labで提供されている機能 ◦ Bitriseの「Virtual Device Testing for Android」でも使える ▪ Virtual Device TestingのバックエンドはFirebase Test Lab • ざっくりいうと賢いモンキーテスト ◦ Robo テストはアプリの UI の構造を分析してから、ユーザー アクティビティを自動的にシミュレート することによって体系的な調査を行います。（中略） UI/Application Exerciser Monkey テストでは不 可能な方法で、Robo テストを使用しバグの修正の検証や回帰テストを行うことができます。 • 一般的なAndroidアプリであれば、コードを書かずともいい感じにUIテストしてくれる ◦ 現状、標準のUIフレームワークを使っていることが条件なので、 UnityやFlutter製のアプリはテスト できない。
6. Bitriseで試してみる
7. ワークフローを組み立てる
8. 成功！
9. 詳細はTest Reportsから確認できる
10. Bitrise Test Reportsで確認できるもの • Test Cases ◦ Roboテストではなし • Performance ◦ 時間経過によるCPU、メモリ、ネットワークの使用率がグラフ表示される ◦ 表示がバグっている • Video • Screenshots ◦ 画面遷移したタイミングで撮影される？ • Test Artifacts ◦ Roboテストではなし • Logs
11. Firebaseコンソールで試してみる
12. APKをアップロード
13. デバイスやオプションを指定して実行
14. 成功！
15. Firebaseコンソールで確認できるもの • テストでの問題 • 統計 ◦ クロール時間、操作回数、アクティビティ数、スクリーン数 • クロールグラフ ◦ スクリーンショットを使って、どこでどういう操作をして、どこへ遷移したかのグラフが作成される • ログ • スクリーンショット • 動画 ◦ Bitriseではダウンロードできたが、 Firebaseコンソールからはできなさそう • パフォーマンス ◦ Bitriseの時と同じ情報に加え、アプリ起動時間、グラフィックに関する統計情報も表示される ◦ グラフ表示もバグってない
16. BitriseとFirebaseの差分 • テスト結果の項目 • 同時に実行できるデバイス ◦ Bitriseは1台ずつ ◦ Firebaseでは複数台同時にテストできる • 料金 ◦ Bitriseは無料！ ▪ The tests run on Firebase Test Lab and we display the results we get from them. You have unlimited device minutes for free until this feature is in beta. ◦ Firebaseは ▪ Spark（無料）プラン：物理デバイス 5件/日、仮想デバイス 10件/日 ▪ Flame プラン：無料プランと同じ ▪ Blaze プラン：$1/デバイス/時間、$5/デバイス/時間
17. まとめ • Firebase Test LabのRoboテストを使うと、コードを書かずともUIテストが行える ◦ 画面遷移やクラッシュしないかなどの確認ならば必要十分 ◦ 1日にテストできる台数に制限はあるが、用途から考えると必要十分 • Bitriseでも使える ◦ しかも無料で使える！ ◦ すでにBitriseを使っていれば導入しやすい
18. 簡単なので気軽にUI テストの自動化をは じめましょう！