ミューテーション解析について調べた/2019-02-26-llt7

社内のLTイベント「えるLT Vol.7」で発表した資料です

Transcript

1. ミューテーション解析について調べた Satoshi SAKAO えるLT Vol.7 2019/02/26 (Tue) N1
2. 話すひと N2 インフォコム株式会社 オープンイノベーションセンター # アプリケーションエンジニア JS (ES6) / Node.js / GCP / IoT / iOS (Swift) エースコンバット７ / 技術士合格に向けた学習 Satoshi SAKAO @ottijp
3. N3 ミューテーション解析？
4. ミューテーション解析とは • ＝ ミューテーションテスト • テストの十分さを測定する手法 • 欠陥を含むプログラムを生成（ミューテーション操作）し，
 それを検出できるかどうかで，テストの欠陥検出能力を測る • さらなるテストケース作成の必要性などの評価に利用できる N4
5. 図解 N5 https://codezine.jp/article/detail/10066
6. 具体例 N6 // monthが0〜11ならtrueを返す function isValid(month) { return month >= 0 && month <= 11 } return month < 0 && month <= 11 return month >= 0 && month > 11 ミューテーション操作 ミュータント ミュータント
7. 具体例 N7 return month >= 0 && month <= 11 return month < 0 && month <= 11 return month >= 0 && month > 11 望ましいテスト結果 テストの失敗が期待される
8. Swiftでやってみる N8 https://github.com/SeanROlszewski/muter
9. Swiftでやってみる N9 class MonthValidator { /// monthが0〜11であればtrueを返す func isValid(_ month: Int) -> Bool { return month >= 0 && month <= 11 } } // more Swifty return 0...11 ~= month
10. Swiftでやってみる N10 final class swift_muterTests: XCTestCase { func testMonthValidator_valid() { XCTAssertEqual(MonthValidator().isValid(11), true) } func testMonthValidator_inValid() { XCTAssertEqual(MonthValidator().isValid(-1), false) } } 11 TRUE -1 FALSE
11. Swiftでやってみる N11 $ muter -------------------------- Applied Mutation Operators -------------------------- File Position Applied Mutation Operator Mutation Test Result ---- -------- ------------------------- -------------------- swift_muter.swift Line: 4, Column: 18 Negate Conditionals passed swift_muter.swift Line: 4, Column: 32 Negate Conditionals failed -------------------- Mutation Test Scores -------------------- Mutation Score of Test Suite (higher is better): 50/100 File # of Applied Mutation Operators Mutation Score ---- ------------------------------- -------------- swift_muter.swift 2 50 ん？
12. Swiftでやってみる N12 return month >= 0 && month >= 11 ２つめのミュータント 11 TRUE -1 FALSE ミュータントの欠陥を検出できない
13. Swiftでやってみる N13 func testMonthValidator_inValid_over11() { XCTAssertEqual(MonthValidator().isValid(12), false) } テストを追加 11 TRUE -1 FALSE 12 FALSE 欠陥を検出できるようになった
14. Swiftでやってみる N14 $ muter -------------------------- Applied Mutation Operators -------------------------- File Position Applied Mutation Operator Mutation Test Result ---- -------- ------------------------- -------------------- swift_muter.swift Line: 4, Column: 18 Negate Conditionals passed swift_muter.swift Line: 4, Column: 32 Negate Conditionals passed -------------------- Mutation Test Scores -------------------- Mutation Score of Test Suite (higher is better): 100/100 File # of Applied Mutation Operators Mutation Score ---- ------------------------------- -------------- swift_muter.swift 2 100 OK
15. 課題：等価ミュータント • 元のプログラムと常に同じように振る舞うミュータント
 （等価ミュータント）が発生しうる • このミュータントをkillするようなテストケースの生成は不可能 • ミューテーション解析を実用に移すことを阻む大きな障害の一つ N15
16. まとめ • ミューテーション解析で，テストの欠陥検出能力を測定できる • テストの十分さを評価する指標として活用できる • 実用には等価ミュータントに注意 N16
17. $ exit N17
18. N18 Appendix
19. 留意点 • muterはプロジェクトディレクトリのキャッシュが悪さしがちなので注意 • Muter sometimes fails on Swift PM projects, probably due to module cache problems · Issue #72 · SeanROlszewski/muter • https://github.com/SeanROlszewski/muter/issues/72 • swift package clean できれいにしてあげると通る • muterはまだ比較演算子のミューテーションしか対応していない • LLVMレベルのミューテーション解析ライブラリもあったが試していない N19
20. 等価ミュータントの例 N20 func isEven(_ n: Int) -> Bool { return n % 2 == 0 } ミュータント return -n % 2 == 0 ミュータントをkillするテストは書けない
21. refs • ミューテーション解析 - Wikipedia • https://ja.wikipedia.org/ミューテーション解析 • ミューテーションテストに触れてみよう | ギャップロ • https://www.gaprot.jp/pickup/tips/mutation-testing • ソフトウェアのテスト品質を効果的に測定するミューテーション 解析 (1/3)：CodeZine（コードジン） • https://codezine.jp/article/detail/10066 N21