マルチモジュールにおけるテスト最適化

Transcript

1. マルチモジュールにおける テスト最適化 Fumitaka Watanabe / id:fxwx23 2024/09/02 iOSDC 2024 後夜祭
3. 自己紹介 • Fumitaka Watanabe ◦ @fxwx23 • 株式会社はてな ◦ マンガアプリチーム ◦ GigaViewer for Apps [1] [1] https://hatena.co.jp/solutions/gigaviewer
4. 前置き CIの高速化とコスト削減
5. CIの高速化とコスト削減 • インスタンスタイプ見直し • キャッシュ活用 • テスト実行の並列化 • 不必要にテストを実行しない • Flakyなテストを直す etc
6. CIの高速化とコスト削減 • インスタンスタイプ見直し • キャッシュ活用 • テスト実行の並列化 • 不必要にテストを実行しない • Flakyなテストを直す etc
7. 不必要なテストの実行 • commit度にCIでフルテストが実行される
8. 不必要なテストの実行 • commit度にCIでフルテストが実行される ◦ → 変更とは関係ないテストの実行
9. 不必要なテストの実行 • commit度にCIでフルテストが実行される ◦ → 変更とは関係ないテストの実行 • Flakyなテストがある場合、変更とは関係ない テストが落ちる
10. 不必要なテストの実行 • commit度にCIでフルテストが実行される ◦ → 変更とは関係ないテストの実行 • Flakyなテストがある場合、変更とは関係ない テストが落ちる ◦ → テストが落ちるとJobを再実行することになる ◦ → CIの時間が開発のボトルネックに
11. 変更に関係するテスト のみ実行したい
12. 変更に関係するテスト • 変更差分がどのモジュールに影響しているか
13. 変更に関係するテスト • 変更差分がどのモジュールに影響しているか
14. 変更に関係するテスト • 変更差分がどのモジュールに影響しているか ◦ → マルチモジュールで適切に依存関係が整理されてい ることが前提
15. マルチモジュール • 機能単位やレイヤー単位でモジュールを分割 • 嬉しいこと ◦ 機能同士の依存関係の整理 ◦ ビルド時間の削減 ◦ 複数人での並行開発時のコンフリクト回避 ◦ 機能の取捨選択 etc
16. マルチモジュール • 機能単位やレイヤー単位でモジュールを分割 • 嬉しいこと ◦ 機能同士の依存関係の整理 ◦ ビルド時間の削減 ◦ 複数人での並行開発時のコンフリクト回避 ◦ 機能の取捨選択 etc
17. 📱App Feature 📦 Feature 📦 Feature 📦 Feature 📦 Common 📦 CommonUI 📦 Model 📦 Protocol
18. 📱App Feature 📦 Feature 📦 Feature 📦 Feature 📦 Common 📦 CommonUI 📦 Model 📦 Protocol
19. 📱App Feature 📦 Feature 📦 Feature 📦 Feature 📦 Common 📦 CommonUI 📦 Model 📦 Protocol
20. どのモジュールに影響するか • Xcodeプロジェクト内のターゲット間の依存 • ターゲットとSwift Package間の依存 • Swift Package内でのターゲット間の依存
21. Xcodeプロジェクト内のターゲット間 の依存関係
22. Xcodeプロジェクト内のターゲット間 の依存関係 • App.xcworkspace > App.xcproj > project.pbxproj > PBXTarget > PBXNativeTarget > dependencies http://www.monobjc.net/xcode-project-file-format.html
23. • App.xcworkspace > App.xcproj > project.pbxproj > PBXTarget > PBXNativeTarget > dependencies 491FBA866697560BBEF6A475 /* PBXTargetDependency */ = { isa = PBXTargetDependency; target = 3478A70B9E3147C13F640454 /* AModule */; }; 4C4FDDD28591957330786D9B /* App */ = { isa = PBXNativeTarget; dependencies = ( 491FBA866697560BBEF6A475 /* PBXTargetDependency */ ); } http://www.monobjc.net/xcode-project-file-format.html Xcodeプロジェクト内のターゲット間 の依存関係
24. • App.xcworkspace > App.xcproj > project.pbxproj > PBXTarget > PBXNativeTarget > dependencies 491FBA866697560BBEF6A475 /* PBXTargetDependency */ = { isa = PBXTargetDependency; target = 3478A70B9E3147C13F640454 /* AModule */; }; 4C4FDDD28591957330786D9B /* App */ = { isa = PBXNativeTarget; dependencies = ( 491FBA866697560BBEF6A475 /* PBXTargetDependency */ ); } http://www.monobjc.net/xcode-project-file-format.html Xcodeプロジェクト内のターゲット間 の依存関係
25. ターゲットとSwift Package間の依存
26. ターゲットとSwift Package間の依存 4C4FDDD28591957330786D9B /* AModule */ = { isa = PBXNativeTarget; packageProductDependencies = ( 1885F5AAE69D8D13E59C4ECF /* BModule */, ); }; http://www.monobjc.net/xcode-project-file-format.html • App.xcworkspace > App.xcproj > project.pbxproj > PBXTarget > PBXNativeTarget > packageProductDependencies
27. Swift Package 内でのターゲット間の 依存
28. Swift Package 内でのターゲット間の 依存 • $ swift package dump-package { "targets": [ { "dependencies": [ { "byName": ["CModule", null] } ], "name": "BModule" } ] }
29. XcodeSelectiveTestin g https://github.com/mikeger/XcodeSelectiveTesting
30. XcodeSelectiveTesting • $ swift run xcode-selective-testing --test-plan App.xctestplan • $ swift run xcode-selective-testing --json https://github.com/mikeger/XcodeSelectiveTesting
31. JSON Output [ { "name": "AppTests", "type": "target", "path": "\/path\/to\/your\/App.xcodeproj", "testTarget": true }, { "name": "App", "type": "target", "path": "\/path\/to\/your\/App.xcodeproj", "testTarget": false } ]
32. JSON Output [ { "name": "AppTests", "type": "target", "path": "\/path\/to\/your\/App.xcodeproj", "testTarget": true }, { "name": "App", "type": "target", "path": "\/path\/to\/your\/App.xcodeproj", "testTarget": false } ] $ jq -r "[.[] | select(.testTarget == true)] | map(.name) | join(\",\")"
33. JSON Output [ { "name": "AppTests", "type": "target", "path": "\/path\/to\/your\/App.xcodeproj", "testTarget": true }, { "name": "App", "type": "target", "path": "\/path\/to\/your\/App.xcodeproj", "testTarget": false } ] $ jq -r "[.[] | select(.testTarget == true)] | map(.name) | join(\",\")" AppTests
34. fastlane lane :selective_test do |options| if options[:targets].nil? then UI.user_error!("The required parameter is invalid or missing.") end if options[:targets].empty? then UI.user_error!("At least one target is required.") end run_tests( scheme: "...", only_testing: options[:targets], ) end
35. fastlane TARGETS=$(./scripts/affected-targets.sh) if [ -n "$TARGETS" ]; then bundle exec fastlane selective_test targets:"$TARGETS" else bundle exec fastlane test fi https://fxwx23.hatenablog.com/entry/tips-integrating-xcode-selective-testing
36. フルテスト +-------------------------------+ | Test Results | +-------------------------+-----+ | Number of tests | 674 | | Number of failures | 0 | +-------------------------+-----+
37. フルテスト +-------------------------------+ | Test Results | +-------------------------+-----+ | Number of tests | 15 | | Number of failures | 0 | +-------------------------+-----+ +-------------------------------+ | Test Results | +-------------------------+-----+ | Number of tests | 674 | | Number of failures | 0 | +-------------------------+-----+ Application Target 変更の み
38. 💪 フルテスト +-------------------------------+ | Test Results | +-------------------------+-----+ | Number of tests | 15 | | Number of failures | 0 | +-------------------------+-----+ +-------------------------------+ | Test Results | +-------------------------+-----+ | Number of tests | 674 | | Number of failures | 0 | +-------------------------+-----+ Application Target 変更の み
39. 運用方針 • main、 Package更新のPRはフルテスト ◦ 任意のPRでフルテストに切り替える等は今後の課題 • 変更差分がどのモジュールにも影響していな い場合はフルテスト ◦ テストが実行されていないことに気づけないリスクは 防ぎたい
40. 導入してみて • 影響範囲が小さいほど恩恵が大きい • Flakyなテストの回避 ◦ Success Rate 向上の貢献 • CPU利用や消費クレジットへの貢献
41. まとめ • マルチモジュールはテスト実行の最適化に活 用できる • テスト実行の最適化はCIの高速化とコスト削 減に貢献できる
42. 地球環境に優しい CI実行を目指していきましょう 🌏
43. Thank you!
44. hatena.co.jp/recruit