golang-parallel-test-by-github-actions-and-merge-coverage-report

Transcript

1. GitHub ActionsでGoの テストを並列実行し カバレッジレポートを作る 2024/12/11 @DMM.go プラットフォーム開発本部 第一開発部 ポイントクラブグループ webチーム デザインエンジニア @SANdglAss
2. • 2021年に新卒で入社したバックエンドエンジニア • 3年目からは「デザインエンジニア」としてUI/UXデザインや UXライティングも担当中 くわしくは「デザインエンジニア」で検索 🔍 自己紹介
3. GoプロジェクトのCIをCircleCI → GitHub Actionsに
4. • とある事情で移行することに • 無事すべて移行できた • テストジョブの所要時間が1分半 → 5分になった GoプロジェクトのCIをCircleCI → GitHub Actionsに
5. GoプロジェクトのCIをCircleCI → GitHub Actionsに なんでやねん • とある事情で移行することに • 無事すべて移行できた • テストジョブの所要時間が 1分半 → 5分になった
6. 遅くなった主な理由: マシンスペック(コア数) Docker 実行環境の使用 - CircleCI GitHub Actions CircleCI About GitHub-hosted runners - GitHub Enterprise Cloud Docs ↑のドキュメントはエンプラですが Cloudも同じです
7. CIに詳しいマリーアントワネット
8. CIに詳しいマリーアントワネット 「スペックが足りないなら 強いのを使えばいいじゃない」
9. CIに詳しいマリーアントワネット 「スペックが足りないなら 強いのを使えばいいじゃない」 → 現状のDMM Organizationでは使えない ...
10. CIに詳しいマリーアントワネット
11. CIに詳しいマリーアントワネット 「コアが少ないならノード並列で 分割実行すればいいじゃない」
12. CIに詳しいマリーアントワネット 「コアが少ないならノード並列で 分割実行すればいいじゃない」 → それでいきましょう
13. 1つのジョブを並列実行: CircleCI編
14. 1つのジョブを並列実行: CircleCI編 とてもかんたん
15. 1つのジョブを並列実行: GitHub Actions編
16. 1つのジョブを並列実行: GitHub Actions編 ない
17. 1つのジョブを並列実行: GitHub Actions編 なんでやねん ない
18. 1つのジョブを並列実行: GitHub Actions編 ジョブを並列実行する仕組み自体は、ないわけではない
19. 1つのジョブを並列実行: GitHub Actions編 ジョブを並列実行する仕組み自体は、ないわけではない その名も matrix ワークフローでのジョブのバリエーションの実行 - GitHub Docs
20. 1つのジョブを並列実行: GitHub Actions編 ジョブを並列実行する仕組み自体は、ないわけではない その名も matrix 変数のパターンを 列挙しておくと ワークフローでのジョブのバリエーションの実行 - GitHub Docs
21. 1つのジョブを並列実行: GitHub Actions編 ジョブを並列実行する仕組み自体は、ないわけではない その名も matrix 各値が設定された ジョブが並列で 立ち上がる ワークフローでのジョブのバリエーションの実行 - GitHub Docs 変数のパターンを 列挙しておくと
22. 1つのジョブを並列実行: GitHub Actions編 ジョブを並列実行する仕組み自体は、ないわけではない その名も matrix 各値が設定された ジョブが並列で 立ち上がる 変数のパターンを 列挙しておくと どうにかして 使えないものか ... ワークフローでのジョブのバリエーションの実行 - GitHub Docs
23. Rubyで用いし先駆者がいた
24. Rubyで用いし先駆者がいた GitHub Actions でテストを並列化して CI 時間を短縮する - Gunosy Tech Blog
25. Rubyで用いし先駆者がいた GitHub Actions でテストを並列化して CI 時間を短縮する - Gunosy Tech Blog 並列化したい数だけ IDを宣言しておいて
26. Rubyで用いし先駆者がいた GitHub Actions でテストを並列化して CI 時間を短縮する - Gunosy Tech Blog 並列化したい数だけ IDを宣言しておいて 全テストをいい感じに 各IDに割り振って
27. Rubyで用いし先駆者がいた GitHub Actions でテストを並列化して CI 時間を短縮する - Gunosy Tech Blog 並列化したい数だけ IDを宣言しておいて 各ノードは自分の IDの テストだけ実行 全テストをいい感じに 各IDに割り振って
28. Rubyで用いし先駆者がいた GitHub Actions でテストを並列化して CI 時間を短縮する - Gunosy Tech Blog 並列化したい数だけ IDを宣言しておいて 各ノードは自分の IDの テストだけ実行 全テストをいい感じに 各IDに割り振って これをGoでも やりたい！
29. Goでのテスト分割は(とりあえず)パッケージ毎で
30. Goでのテスト分割は(とりあえず)パッケージ毎で これが
31. Goでのテスト分割は(とりあえず)パッケージ毎で これが こうなりました
32. Goでのテスト分割は(とりあえず)パッケージ毎で これが こうなりました パッケージのパスを列挙して
33. Goでのテスト分割は(とりあえず)パッケージ毎で これが こうなりました パッケージのパスを列挙して テスト対象外の パッケージを 除外して (無くてもいいしいくつあってもいい )
34. Goでのテスト分割は(とりあえず)パッケージ毎で これが こうなりました パッケージのパスを列挙して 行番号を4(並列数)で割ったあまり == 自分のid なら担当 テスト対象外の パッケージを 除外して (無くてもいいしいくつあってもいい )
35. Goでのテスト分割は(とりあえず)パッケージ毎で これが こうなりました パッケージのパスを列挙して テスト対象外の パッケージを 除外して (無くてもいいしいくつあってもいい ) 行番号を4(並列数)で割ったあまり == 自分のid なら担当 よし！いけるぞ！ と言いたいところだが ...
36. 唯一の懸念点: カバレッジレポートどうしよう
37. Goは素晴らしい言語なので $ go test -cover ./... -coverprofile=<ファイル名>.out でテスト時にカバレッジのプロファイルを吐き出しておき $ go tool cover -html=<ファイル名>.out -o <ファイル名>.html　 でカバレッジレポートを作れる 唯一の懸念点: カバレッジレポートどうしよう
38. 唯一の懸念点: カバレッジレポートどうしよう Goは素晴らしい言語なので $ go test -cover ./... -coverprofile=<ファイル名>.out でテスト時にカバレッジのプロファイルを吐き出しておき $ go tool cover -html=<ファイル名>.out -o <ファイル名>.html　 でカバレッジレポートを作れる でもnノードで分割実行したら細切れのカバレッジレポートが n個できちゃう
39. 唯一の懸念点: カバレッジレポートどうしよう Goは素晴らしい言語なので $ go test -cover ./... -coverprofile=<ファイル名>.out でテスト時にカバレッジのプロファイルを吐き出しておき $ go tool cover -html=<ファイル名>.out -o <ファイル名>.html　 でカバレッジレポートを作れる でもnノードで分割実行したら細切れのカバレッジレポートが n個できちゃう → 結論: プロファイルの仕様で (無理やり)解決！
40. 唯一の懸念点: カバレッジレポートどうしよう 結論: プロファイルの仕様で (無理やり)解決！
41. 唯一の懸念点: カバレッジレポートどうしよう 結論: プロファイルの仕様 で(無理やり)解決！
42. 唯一の懸念点: カバレッジレポートどうしよう 結論: プロファイルの仕様 で(無理やり)解決！ カバレッジの計算モード set・count・atomicがある(割愛) ※ golang/go/src/cmd/cover/profile.goに該当の実装があります
43. 各ファイルのカバレッジ情報 <file_path>:<start_line>.<start_col>,<end_line>.<end_col> <num_statements> <count> というフォーマットでカバレッジが大量にメモられている カバレッジの計算モード set・count・atomicがある(割愛) ※ golang/go/src/cmd/cover/profile.goに該当の実装があります 唯一の懸念点: カバレッジレポートどうしよう 結論: プロファイルの仕様 で(無理やり)解決！
44. そしてできあがった.yamlがこちら
45. そしてできあがった.yamlがこちら ※ 環境変数や serviceなど、この発表の範囲外と判断したために一部省略している箇所があります
46. そしてできあがった.yamlがこちら ※ 環境変数や serviceなど、この発表の範囲外と判断したために一部省略している箇所があります 例のID
47. 例のID そしてできあがった.yamlがこちら ※ 環境変数や serviceなど、この発表の範囲外と判断したために一部省略している箇所があります テストを実行しプロファイルを出力
48. 例のID そしてできあがった.yamlがこちら ※ 環境変数や serviceなど、この発表の範囲外と判断したために一部省略している箇所があります テストを実行しプロファイルを出力 名前にIDを含んだartifactを後続のジョブに遺す
49. 例のID そしてできあがった.yamlがこちら ※ 環境変数や serviceなど、この発表の範囲外と判断したために一部省略している箇所があります テストを実行しプロファイルを出力 名前にIDを含んだartifactを後続のジョブに遺す ダウンロード
50. 例のID そしてできあがった.yamlがこちら ※ 環境変数や serviceなど、この発表の範囲外と判断したために一部省略している箇所があります テストを実行しプロファイルを出力 名前にIDを含んだartifactを後続のジョブに遺す ダウンロード 1行目を直接書いて最終ファイルを作成 →各プロファイルの2行目以降をくっつける
51. 例のID そしてできあがった.yamlがこちら ※ 環境変数や serviceなど、この発表の範囲外と判断したために一部省略している箇所があります テストを実行しプロファイルを出力 名前にIDを含んだartifactを後続のジョブに遺す ダウンロード レポート 作成
52. 例のID そしてできあがった.yamlがこちら ※ 環境変数や serviceなど、この発表の範囲外と判断したために一部省略している箇所があります テストを実行しプロファイルを出力 名前にIDを含んだartifactを後続のジョブに遺す ダウンロード レポート 作成 最終レポート(HTML)を保存
53. 例のID そしてできあがった.yamlがこちら ※ 環境変数や serviceなど、この発表の範囲外と判断したために一部省略している箇所があります テストを実行しプロファイルを出力 名前にIDを含んだartifactを後続のジョブに遺す ダウンロード レポート 作成 最終レポート(HTML)を保存 絶対もっといいやり方あるだろ
54. \ ありがとうございました！ /