iOSDC_2019_DeviceFarm.pdf

Transcript

1. © 2019, Amazon Web Services, Inc. or its Affiliates. All

   rights reserved. Application Prototyping Solutions Architect Fumihiko Shiroyama September 6, 2019 実機の管理とおさらば！ AWS Device FarmでiOSのテストをしよう！ iOSDC Japan 2019

2. © 2019, Amazon Web Services, Inc. or its Affiliates. All

   rights reserved. スライドURL https://bit.ly/2m2Gfww

3. © 2019, Amazon Web Services, Inc. or its Affiliates. All

   rights reserved. ⾃⼰紹介 名前：⽩⼭ ⽂彦（しろやま ふみひこ） 所属：アマゾン ウェブ サービス ジャパン株式会社 アプリケーションプロトタイピングソリューションアーキテクト 経歴：インフラエンジニア、バックエンド開発者 モバイルアプリ開発者、クラウドアーキテクト 趣味：⼦育て!、懸垂、⾃動テスト#

4. © 2019, Amazon Web Services, Inc. or its Affiliates. All

   rights reserved. ⾃動テスト⼤好きです！ • Androidテスト全書という本を出しました • ⾃動テストの種類やカバーする範囲、モック （テストダブル）の考え⽅、CI/CDとの統合 など、iOSにも応⽤できるトピックをカバー しています

5. © 2019, Amazon Web Services, Inc. or its Affiliates. All

   rights reserved. このセッションの対象者と⽬的 対象者 • iOSのテスト初⼼者 • テストの⾃動実⾏にチャレンジしたい⽅ • デバイスの管理から開放されたい⽅ ゴール • iOSの⾃動テストを速習する • AWS Device Farmで⾃動テスト実⾏とリモートアクセス • AWS Device FarmとCI/CDツールとの統合

6. © 2019, Amazon Web Services, Inc. or its Affiliates. All

   rights reserved. 対象となるアプリ

7. © 2019, Amazon Web Services, Inc. or its Affiliates. All

   rights reserved. じゃんけんゲーム プレーヤーは 「⼿」を選ぶ

8. © 2019, Amazon Web Services, Inc. or its Affiliates. All

   rights reserved. デモ

9. © 2019, Amazon Web Services, Inc. or its Affiliates. All

   rights reserved. テストとはなんだろうか

10. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. テストの種類 • ユーザが⼿動で⾏うテスト • ⾃動テスト (Automated Tests) • ユニットテスト (Unit Test) • 統合テスト (Integration Test) • UIテスト 統合テストの定義は会社や個⼈によって広範にわたる傾向にある

11. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. テストピラミッド • The Test Pyramid • テストのバランスを⽰す指針 • 上から下にかけて数が増える • 上に⾏くほど⼿間がかかる 引⽤：https://martinfowler.com/articles/practical-test-pyramid.html

12. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. テストピラミッド • The Test Pyramid • テストのバランスを⽰す指針 • 上から下にかけて数が増える • 上に⾏くほど⼿間がかかる 引⽤：https://martinfowler.com/articles/practical-test-pyramid.html 今⽇はユニットテストとUIテストについてかいつまんで解説します%

13. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. iOSにおける⾃動テスト

14. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. XCTest • https://developer.apple.com/documentation/xctest • Appleが開発・提供するテストフレームワーク • ユニットテスト、パフォーマンステスト、UIテストを提供 • Xcode 5.0+ から利⽤可能 ☝XCTest以外にも⾊々あります

15. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. XCTestのはじめ⽅

16. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. XCTestのはじめ⽅ 後からプロジェクトに追加する場合

17. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. ユニットテスト

18. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. ユニットテストの基礎の基礎 • 部品（ユニット）を作る • テストクラスを作る • テストメソッドを実装 • 機能が正しいことをアサーション • ⾃動テストを実⾏する

19. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. import XCTest @testable import SampleTest class SampleUnitTest: XCTestCase { func testSample1() { XCTAssertTrue(1 + 1 == 2) } func testSample2() { XCTAssertEqual("foo" + "bar", "foobar") } } テストクラス

20. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. import XCTest @testable import SampleTest class SampleUnitTest: XCTestCase { func testSample1() { XCTAssertTrue(1 + 1 == 2) } func testSample2() { XCTAssertEqual("foo" + "bar", "foobar") } } XCTestを利⽤

21. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. import XCTest @testable import SampleTest class SampleUnitTest: XCTestCase { func testSample1() { XCTAssertTrue(1 + 1 == 2) } func testSample2() { XCTAssertEqual("foo" + "bar", "foobar") } } テスト対象のモジュールに アクセス可能にする

22. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. import XCTest @testable import SampleTest class SampleUnitTest: XCTestCase { func testSample1() { XCTAssertTrue(1 + 1 == 2) } func testSample2() { XCTAssertEqual("foo" + "bar", "foobar") } } XCTestCaseを継承

23. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. import XCTest @testable import SampleTest class SampleUnitTest: XCTestCase { func testSample1() { XCTAssertTrue(1 + 1 == 2) } func testSample2() { XCTAssertEqual("foo" + "bar", "foobar") } } テストメソッド testから始まる命名規則

24. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. import XCTest @testable import SampleTest class SampleUnitTest: XCTestCase { func testSample1() { XCTAssertTrue(1 + 1 == 2) } func testSample2() { XCTAssertEqual("foo" + "bar", "foobar") } } アサーション 意図した結果だと 主張（アサーション）

25. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. import XCTest @testable import SampleTest class SampleUnitTest: XCTestCase { func testSample1() { XCTAssertTrue(1 + 1 == 2) } func testSample2() { XCTAssertEqual("foo" + "bar", "foobar") } } 全体像

26. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. 実⾏ Pass! ✅ 個別実⾏ 全体実⾏

27. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. class SampleUnitTest: XCTestCase { override func setUp() { } override func tearDown() { } } 初期化・後処理 テストケース毎に実⾏される

28. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. じゃんけんゲームのユニットテスト

29. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. じゃんけんゲームのユニットテスト • 「じゃんけん」機能を考える • 「⼿」をランダム抽選し、相⼿の「⼿」と⽐較 • 勝敗を判定して「結果」を返す

30. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. Hands.swift enum Hands: Int, CaseIterable { case paper case rock case scissors } じゃんけんの「⼿」

31. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. Result.swift じゃんけんの「結果」 enum Result { case win case lose case draw }

32. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. HandGenerator.swift 「⼿」を抽選するクラス class HandGenerator { func generate() -> Hands { let i = Int.random(in: 0..<3) let hand = Hands(rawValue: i)! return hand } }

33. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. HandGenerator.swift class HandGenerator { func generate() -> Hands { let i = Int.random(in: 0..<3) let hand = Hands(rawValue: i)! return hand } } 「⼿」を返す

34. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. HandGenerator.swift class HandGenerator { func generate() -> Hands { let i = Int.random(in: 0..<3) let hand = Hands(rawValue: i)! return hand } } 乱数で抽選

35. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. PaperRockScissors.swift class PaperRockScissors { let generator = HandGenerator() func play(hand: Hands) -> Result { // 後述 } } じゃんけんクラス

36. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. PaperRockScissors.swift class PaperRockScissors { let generator = HandGenerator() func play(hand: Hands) -> Result { // 後述 } } 抽選オブジェクト

37. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. PaperRockScissors.swift class PaperRockScissors { let generator = HandGenerator() func play(hand: Hands) -> Result { // 後述 } } 結果を返す

38. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. func play(hand: Hands) -> Result { }

39. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. func play(hand: Hands) -> Result { let generated = generator.generate() } 抽選

40. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. func play(hand: Hands) -> Result { let generated = generator.generate() if (generated == hand) { return Result.draw } else if (generated == Hands.paper && hand == Hands.scissors) { return Result.win } else if (generated == Hands.rock && hand == Hands.paper) { return Result.win } else if (generated == Hands.scissors && hand == Hands.rock) { return Result.win } else { return Result.lose } } 結果を場合分け

41. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. func play(hand: Hands) -> Result { let generated = generator.generate() if (generated == hand) { return Result.draw } else if (generated == Hands.paper && hand == Hands.scissors) { return Result.win } else if (generated == Hands.rock && hand == Hands.paper) { return Result.win } else if (generated == Hands.scissors && hand == Hands.rock) { return Result.win } else { return Result.lose } } play()メソッドをどうテストする？

42. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. テストしにくい理由を考える • 実はPaperRockScissors#play(hand:)はテストしにくい • 「⼿」がランダム抽選されるので結果が不定 • 依存しているランダム抽選オブジェクトが変更不能なプロパティ • 依存オブジェクトを外から渡すことでコントロール可能に

43. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. Generator.swift protocol Generator { func generate() -> Hands } プロトコル定義で抽象化

44. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. HandGenerator.swift class HandGenerator { func generate() -> Hands { let i = Int.random(in: 0..<3) let hand = Hands(rawValue: i)! return hand } }

45. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. HandGenerator.swift class HandGenerator: Generator { func generate() -> Hands { let i = Int.random(in: 0..<3) let hand = Hands(rawValue: i)! return hand } }

46. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. PaperRockScissors.swift class PaperRockScissors { let generator = HandGenerator() func play(hand: Hands) -> (Result, Hands) { } }

47. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. PaperRockScissors.swift class PaperRockScissors { let generator: Generator func play(hand: Hands) -> (Result, Hands) { } }

48. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. PaperRockScissors.swift class PaperRockScissors { let generator: Generator init(generator: Generator = HandGenerator()) { self.generator = generator } func play(hand: Hands) -> (Result, Hands) { } }

49. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. PaperRockScissors.swift class PaperRockScissors { let generator: Generator init(generator: Generator = HandGenerator()) { self.generator = generator } func play(hand: Hands) -> (Result, Hands) { } } 初期値を与えつつ 差し替え可能に

50. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. テストコード

51. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. PaperRockScissorsTest.swift class PaperRockScissorsTest: XCTestCase { }

52. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. PaperRockScissorsTest.swift class PaperRockScissorsTest: XCTestCase { class MockGenerator: Generator { var hand = Hands.paper func generate() -> Hands { return hand } } } テスト⽤のGeneratorクラス

53. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. PaperRockScissorsTest.swift class PaperRockScissorsTest: XCTestCase { class MockGenerator: Generator { var hand = Hands.paper func generate() -> Hands { return hand } } } 「⼿」は差し替え可能

54. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. PaperRockScissorsTest.swift let generator = MockGenerator() var paperRockScissors: PaperRockScissors! override func setUp() { paperRockScissors = PaperRockScissors(generator: generator) } コントロール可能な 依存オブジェクトを渡す

55. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. PaperRockScissorsTest.swift func testPlay() { let myHand = Hands.paper generator.hand = Hands.rock let result = paperRockScissors.play(hand: myHand) XCTAssertEqual(result, Result.win) } テストケース

56. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. PaperRockScissorsTest.swift func testPlay() { let myHand = Hands.paper generator.hand = Hands.rock let result = paperRockScissors.play(hand: myHand) XCTAssertEqual(result, Result.win) } ⾃分の「⼿」はパー

57. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. PaperRockScissorsTest.swift func testPlay() { let myHand = Hands.paper generator.hand = Hands.rock let result = paperRockScissors.play(hand: myHand) XCTAssertEqual(result, Result.win) } 相⼿の「⼿」はグー

58. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. PaperRockScissorsTest.swift func testPlay() { let myHand = Hands.paper generator.hand = Hands.rock let result = paperRockScissors.play(hand: myHand) XCTAssertEqual(result, Result.win) } 結果は勝利！

59. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. PaperRockScissorsTest.swift func testPlay() { let myHand = Hands.paper generator.hand = Hands.rock let result = paperRockScissors.play(hand: myHand) XCTAssertEqual(result, Result.win) }

60. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. ユニットテストまとめ • ユニットテストは⽂字通りユニット（部品）単位で書く • テストしづらい場合は粒度をより細かく • 依存オブジェクトを外から渡すとテストしやすくなる • 継続的に実⾏する⼿順はこのあと学びます

61. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. UIテスト

62. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. • 画⾯を操作し、その結果を検証するテスト • XCTestはUIテストをサポートしており、便宜上XCTest UIと呼称する • UI要素へのアクセス以外はアサーション含めユニットテストとほとんど同じ • テストピラミッドの最上位に位置し、作成もメンテも最も⼿間がかかるので、⽤法⽤ 量を守って付き合う UIテスト

63. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. XCTest UIの基礎 import XCTest class SampleTestUITests: XCTestCase { var app: XCUIApplication! override func setUp() { continueAfterFailure = false app = XCUIApplication() app.launch() } override func tearDown() { }

64. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. XCTest UIの基礎 import XCTest class SampleTestUITests: XCTestCase { var app: XCUIApplication! override func setUp() { continueAfterFailure = false app = XCUIApplication() app.launch() } override func tearDown() { }

65. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. XCTest UIの基礎 import XCTest class SampleTestUITests: XCTestCase { var app: XCUIApplication! override func setUp() { continueAfterFailure = false app = XCUIApplication() app.launch() } override func tearDown() { } アプリの起動

66. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. UI要素の特定 let topLabel = app.staticTexts["top_label"] XCTAssertEqual(topLabel.label, "じゃんけん") Accessibility Identifier

67. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. UI要素の特定 let topLabel = app.staticTexts["top_label"] XCTAssertEqual(topLabel.label, "じゃんけん") Accessibility Identifier ラベルテキストの検証

68. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. UI要素の特定 Accessibility Identifier let opponentHand = app.images["opponent_hand"] XCTAssertTrue(opponentHand.exists)

69. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. UI要素の特定 Accessibility Identifier let opponentHand = app.images["opponent_hand"] XCTAssertTrue(opponentHand.exists) 要素の存在検証

70. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. UI要素の操作 同様に「⼿」も特定 let rock = app.images["my_hand_rock"] let paper = app.images["my_hand_paper"] let scissors = app.images["my_hand_scissors"] for hand in [rock, paper, scissors] { hand.tap() } それぞれの「⼿」をタップ

71. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. UI要素の変更を検知 初期画像が これに変わってることを テストしたい どうする？

72. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. ViewController.swift switch opponentHand { case .paper: self.boyHand.image = UIImage(named: "boy_paper") self.boyHand.accessibilityLabel = "boy_paper" case .rock: self.boyHand.image = UIImage(named: "boy_rock") self.boyHand.accessibilityLabel = "boy_rock" case .scissors: self.boyHand.image = UIImage(named: "boy_scissors") self.boyHand.accessibilityLabel = "boy_scissors" } 相⼿の「⼿」画像を更新するロジック

73. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. ViewController.swift switch opponentHand { case .paper: self.boyHand.image = UIImage(named: "boy_paper") self.boyHand.accessibilityLabel = "boy_paper" case .rock: self.boyHand.image = UIImage(named: "boy_rock") self.boyHand.accessibilityLabel = "boy_rock" case .scissors: self.boyHand.image = UIImage(named: "boy_scissors") self.boyHand.accessibilityLabel = "boy_scissors" } accessibilityLabelに値をセット

74. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. UI要素の変更を検知 let opponentHand = app.images["opponent_hand"] let accessibilityLabel = opponentHand.label let imageChanged = accessibilityLabel == "boy_paper" || accessibilityLabel == "boy_rock" || accessibilityLabel == "boy_scissors" XCTAssertTrue(imageChanged) 再びUIテストコード

75. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. UI要素の変更を検知 let opponentHand = app.images["opponent_hand"] let accessibilityLabel = opponentHand.label let imageChanged = accessibilityLabel == "boy_paper" || accessibilityLabel == "boy_rock" || accessibilityLabel == "boy_scissors" XCTAssertTrue(imageChanged)

76. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. UI要素の変更を検知 let opponentHand = app.images["opponent_hand"] let accessibilityLabel = opponentHand.label let imageChanged = accessibilityLabel == "boy_paper" || accessibilityLabel == "boy_rock" || accessibilityLabel == "boy_scissors" XCTAssertTrue(imageChanged) 相⼿が初期状態から グーチョキパーのいずれかに 変わったことを検知

77. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. UI要素の変更を検知 let opponentHand = app.images["opponent_hand"] let accessibilityLabel = opponentHand.label let imageChanged = accessibilityLabel == "boy_paper" || accessibilityLabel == "boy_rock" || accessibilityLabel == "boy_scissors" XCTAssertTrue(imageChanged) Pass!!

78. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. UI要素の変更を検知 let opponentHand = app.images["opponent_hand"] let accessibilityLabel = opponentHand.label let imageChanged = accessibilityLabel == "boy_paper" || accessibilityLabel == "boy_rock" || accessibilityLabel == "boy_scissors" XCTAssertTrue(imageChanged) ※あくまで⼀例であり、ViewController側でaccessibilityLabelをセットすることを強く推奨するものではありません

79. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. UIテストデモ

80. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved.

81. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. バグの原因を突き⽌める

82. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. リリースしたが… なんか私のiPhone(iOS 10) でクラッシュするんですが… 弱ったな… こちらで確認できないぞ

83. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. バグの事実と原因を確かめたい • ユーザからiOS 10系で動かないという報告があった • 実はiOS 11.2未満でクラッシュする深刻なバグがある • 報告を確かめたいが古い端末は⼿元にない • AWS Device Farmを使ってみよう%

84. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. AWS Device Farm

85. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. 近年のモバイル開発が抱える課題 デバイスとOSの 多様化 複数のテストフレー ムワーク対応の困難 デバイスメンテ の⼿間 テストレポートの 可視化に対する要望

86. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. AWS Device Farm ⾃動テスト リモートアクセス リモートデバッグ ⾃動テストを好きな時に 好きな数だけクラウド上 で並列実⾏ クラウド上の好きな端末の 任意のバージョンですぐに リモートで動作確認 クラウド上のiOS端末や Android端末をローカルの IDEから接続してデバッグ ※プライベートデバイスのみ

87. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. 様々なテストパターンに対応 アプリ UI Automation UI Automator XCTest 各種テストフレームワーク AWS Device Farm 詳細なレポート

88. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. デバイスタイプ • パブリックデバイス • 0.17USD／デバイス分の従量課⾦（無料利⽤期間あり） • 250USD／⽉の定額プランで無制限利⽤ • 端末はテスト毎にデータ消去して再起動 • プライベートデバイス • 200USD／⽉から利⽤できる専有デバイス※1※2 • デバイスは専有で決して他者と共有されず、契約終了後に廃棄 • リモートデバッグ機能が利⽤可能 ※1 端末の取得価格によって変動 ※2 最低6ヶ⽉の利⽤など諸条件あり

89. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. 早速使ってみよう

90. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. Built-in: Fuzzテスト • いわゆるモンキーテスト • テストコードがなくてもUIをランダムに操作して落ちないか確認 • 複数のデバイスやOSを並列実⾏できる

91. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. ipaをビルド

92. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. ipaをビルド

93. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. AWS Device Farm プロジェクトの作成

94. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. Automated Tests ipaのアップロード ⾃動テストを選択

95. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. Automated Tests Device poolの選択 テストするデバイス群 Fuzzテスト

96. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. Fuzzテスト テスト結果 やはり古いバージョンで エラーが起こっているようだ

97. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. エラーの録画を確認する

98. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved.

99. © 2019, Amazon Web Services, Inc. or its Affiliates. All

    rights reserved. Screenshots やはりここで落ちている

100. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. Logs クラッシュ理由とソース コードの対応⾏を発⾒！

101. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. リモートアクセス

102. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. リモートアクセス ⽬当てのバージョンを選択 リモートアクセス

103. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. リモートアクセス ブラウザから操作

104. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. リモートアクセス やはりここでクラッシュ！ このバージョンに間違いない

105. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. その他のテスト

106. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. その他のテストをAWS Device Farmで実⾏する • AWS Device FarmはFuzzテスト以外にも多数のテストをサポートしている • XCTestを選ぶことでユニットテストが実⾏できる • XCTest UIを選ぶことでUIテストが実⾏できる • 他にもAppiumやEspressoなど多数のフレームワークをサポートしている

107. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. XCTestをAWS Device Farmで利⽤する • https://docs.aws.amazon.com/ja_jp/devicefarm/latest/developerguide/test- types-ios-xctest.html 1. ⼿順を参考にアプリ本体のipaをビルドする 2. ⼿順を参考にXCTestパッケージをアーカイブする 3. AWS Device Farmにアップロードして実⾏

108. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. XCTest ユニットテスト XCTestパッケージをアップロード

109. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. XCTest ⽤途に応じて独⾃のDevice Poolも定義できる Deviceの台数や組み合わせも任意

110. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. XCTest 追加のオプションや タイムアウトを設定して実⾏

111. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. XCTest UIをAWS Device Farmで利⽤する • https://docs.aws.amazon.com/ja_jp/devicefarm/latest/developerguide/test- types-ios-xctest-ui.html 1. ⼿順を参考にアプリ本体のipaをビルドする 2. ⼿順を参考にXCTest UI Runnerバンドルをアーカイブする 3. AWS Device Farmにアップロードして実⾏

112. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. XCTest UI UIテスト XCTest UI⽤Runnerバンドルをアップロード

113. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. XCTest UI ユニットテスト同様 オプションを設定して実⾏

114. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. CI/CDとの統合

115. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. CI/CDとの統合 • AWS Device Farmは便利だが⼿動でアップロードは⼤変 • CI/CDツールと連携することで⽇々のテストを⾃動化できる • ここではCircleCIを使ってDevice Farmのテストを⾃動化する • https://circleci.com/

116. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. CircleCIとの連携 macOSでビルドするには有料プランが必要（無料トライアルあり）

117. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. CircleCIの設定 • プロジェクト直下に.circleci/config.ymlという設定ファイルを設置 • yamlファイルを編集しビルドとテストの実⾏を設定（後述） • Gitレポジトリへのプッシュを契機にビルドとテストが開始される • 設定例は後述する

118. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. fastlaneの組み込み • fastlaneはビルド、テスト、リリースなどのタスクを⾃動化するツール • https://github.com/fastlane/fastlane • ⼀連のタスクをlaneという単位にまとめて記述、管理できる • iOSの証明書やプロビジョニングプロファイルの管理を簡単にできる • AWS Device Farmと連携するプラグインが提供されている

119. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. fastlaneの組み込み % gem install bundler % bundle init % vim Gemfile gem "fastlane" % bundle install % bundle exec fastlane --version プロジェクト直下で 次のコマンドを実⾏

120. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. matchで証明書管理 • matchはfastlaneで利⽤できるアクションで、証明書やプロビジョニング ファイルをプライベートレポジトリに⼀元管理できるツール • はじめにcertificatesなどの名前でプライベートレポジトリを作成しておく • コマンドを実⾏すると秘匿情報が証明書にプッシュされる • 詳細は公式ドキュメントを参照してください • https://docs.fastlane.tools/actions/match/

121. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. matchを設定 git_url("git@github.com:your_account/certificates.git") storage_mode("git") type("development") # The default type app_identifier(["us.shiroyama.SampleTest", "us.shiroyama.SampleTestUITests"]) username("Your Apple ID") % bundle exec fastlane match init vim fastlane/Matchfile UIテスト⽤のIdentifierを 忘れないこと % bundle exec fastlane match development ここで設定したパスワードをCircleCIの 環境変数MATCH_PASSWORDに設定

122. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. fastlaneでビルドとテストまで設定 default_platform(:ios) before_all do |lane, options| setup_circle_ci end platform :ios do desc "Build and Test" lane :build_and_test do match( type: "development", readonly: true, ) scan() end CircleCIでmatchを使う設 定 ビルドとテストが実⾏できる状態

123. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. fastlaneにaws_device_farmプラグインを追加 Device Farmにテストを スケジュールする設定 % bundle exec fastlane add_plugin aws_device_farm % vim fastlane/Fastfile desc "AWS Device Farm" lane :device_farm do |options| test_type = "XCTEST_UI" derived_data_path = options[:derived_data_path] configuration = options[:configuration] aws_device_farm_package( derrived_data_path: derived_data_path, configuration: configuration, ) aws_device_farm( name: "My1stProject", device_pool: "Top Devices", test_type: test_type, run_name: "#{test_type} - #{Time.now}", ) end Device Farm⽤のlaneを定義

124. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. 定義したlaneを利⽤してテストをスケジュール derived_data_path = "aws" scan( build_for_testing: true, destination: "generic/platform=iOS", derived_data_path: derived_data_path, ) device_farm( derived_data_path: derived_data_path, configuration: "Debug", ) Device Farmのために Generic iOSでビルド

125. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. CircleCIへの組み込み 作ったlaneの呼び出し

126. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. CircleCIの環境変数設定 AWSのキー情報 matchのパスフレーズ

127. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. 証明書取得設定 Permissions > Checkout SSH Keys > Add user key > Authorize with GittHub 証明書レポジトリに アクセスできるよう設定

128. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. 満を持してプッシュ！

129. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. CircleCIコンソール プッシュをトリガに ビルドが成功

130. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. AWS Device Farmコンソール Device Farm側でも ビルドの成功を確認！

131. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. 処理の流れおさらい 1. Gitレポジトリへのプッシュを契機にCircleCIでビルドが始まる 2. CircleCIがfastlaneを使ってソースをビルド 3. fastlane awc_device_farmプラグインがビルドアーティファクトを元に Device Farmで利⽤できる形式に変換 4. プラグインからAWS APIが呼び出されDevice Farmにアップロード＆テスト が実⾏される 5. fastlaneはテスト結果を受け取るまで待ってCircleCIに通知する

132. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. CI/CDとの統合まとめ • CI/CDパイプラインに組み込むことで、ビルドからテストまでロー カルに⼀切依存しない環境を構築できた • CircleCIのワークフロー機能を利⽤すると、特定のブランチへの プッシュのみを契機にしたテスト等も可能 • プラグインはその他多くのCI/CD⽤に提供されており、⾃分にあっ たものを選ぶことができる コスト削減

133. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. Yay!!!

134. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. ご清聴ありがとございました,

135. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. 質疑応答

136. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. Appendix

137. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. 参考⽂献 • 平⽥敏之, 細沼祐介（2019）『iOSアプリ開発⾃動テストの教科書 〜XCTestによる単体テスト・UIテストから、CI/CD、デバッグ技術 まで』技術評論社. • ⽩⼭⽂彦, 外⼭純⽣, 平⽥敏之, 菊池紘, 堀江亮介（2018）『Android テスト全書』PEAKS.

138. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. AWS Device Farm テストデバイス⼀覧 • Q. AWS Device Farmではどのようなデバイスが利⽤できますか • A. モバイルアプリケーションのテストに使⽤できる iOS、 Android、および Fire OS の実機は増え続けています。デバイス群 は、市場のデータとお客様からのフィードバックをもとに、今後も 引き続き更新していく予定です。⼀覧は次のリストをご覧くださ い。 • http://awsdevicefarm.info/

139. © 2019, Amazon Web Services, Inc. or its Affiliates. All

     rights reserved. CircleCIのWorkflow workflows: version: 2 build_and_test: jobs: - build - test: requires: - build filters: branches: only: - master - release Master, release のみDevice Farmを動かす