勤怠管理サービスでの継続的テストの取り組み / continuous testing in attendance service

Transcript

1. #jjug_ccc 勤怠管理サービスでの継続的テストの取り組み JJUG CCC 2021 Fall 株式会社ラクス Yuya Yamaguchi

2. #jjug_ccc 2 自己紹介 SIerでAWS, Azure, k8s 株式会社ラクス で楽楽勤怠に所属 バックエンドエンジニア +

   CI周りを担当

3. 3 https://fortee.jp/jjug-ccc-2021-fall/proposal/8256578c-e568-46a0-9eb5-85ee954f1d0e

4. #jjug_ccc Agenda 1. なぜ継続的テストを進めているの か 2. CIパイプラインへのテストの組み 込み 3. テストの自動化

   4

5. #jjug_ccc Agenda 1. なぜ継続的テストを進めているの か 2. CIパイプラインへのテストの組み 込み 3. テストの自動化

   5

6. #jjug_ccc なぜ継続的テストを進めているのか 6 1. 勤怠管理サービスの特徴 2. QA・SETエンジニアがいない 3. リリースサイクルを短縮したい

7. #jjug_ccc なぜ継続的テストを進めているのか 7 1. 勤怠管理サービスの特徴 2. QA・SETエンジニアがいない 3. リリースサイクルを短縮したい

8. #jjug_ccc 勤怠管理サービスの特徴 8

9. #jjug_ccc なぜ継続的テストを進めているのか 9 1. 勤怠管理サービスの特徴 2. QA・SETエンジニアがいない 3. リリースサイクルを短縮したい

10. #jjug_ccc QA・SETエンジニアがいない 10 プロダクトマネージャ バックエンドエンジニア フロントエンドエンジニア デザイナー インフラエンジニア QAエンジニア SETエンジニア

11. #jjug_ccc なぜ継続的テストを進めているのか 11 1. 勤怠管理サービスの特徴 2. QA・SETエンジニアがいない 3. リリースサイクルを短縮したい

12. #jjug_ccc なぜ継続的テストを進めているのか 12 1. 勤怠管理サービスの特徴 2. QA・SETエンジニアがいない 3. リリースサイクルを短縮したい

13. #jjug_ccc Agenda 1. なぜ継続的テストを進めているの か 2. CIパイプラインへのテストの組み 込み 3. テストの自動化

    13

14. #jjug_ccc CIパイプラインの対象範囲 14 • Single Page Application • Vue.js •

    Spring Boot • PostgreSQL Vue.js PostgreSQL

15. #jjug_ccc CIパイプラインへのテストの組み込みで利用したもの 15

16. Gitlab-CIとは 16 GitLab CI/CDパイプラインは、統合され た単一のワークフローの一部としてコー ドのビルド、テスト、デプロイ、監視を行 います。 Forrester CI Wave™のリーダーに選出

    されました。 https://www.gitlab.jp/stages-devops-lifecycle/continuous-integration/

17. #jjug_ccc Gitlab-CIの特徴 17 • マルチプラットフォーム： Unix、Windows、macOS、その他Goをサポートするあらゆるプラットフォームでビルドを実行 できます。 • 安定性： ビルドは

    GitLab とは別のマシンで実行されます。 • 柔軟なパイプライン： ステージごとに複数の並列ジョブを定義し、 他のビルドをトリガー することができます。 • バージョン管理されたパイプライン： .gitlab-ci.yml ファイル にはテストなどのすべてのステップが含まれています。 ブ ランチで .gitlab-ci.yml ファイルを変更することで、誰でも安全にパイプラインの変更を試すことができます。 • Dockerのサポート： カスタムDockerイメージを使用したり、テストの一環として サービス を起動したり、 新しいDocker イメージをビルド したり、Kubernetes上で実行したりすることができます。 • コンテナレジストリ： コンテナイメージを保存、共有、使用するための 組み込みコンテナレジストリ を利用できます。 • 保護変数： 環境ごとに 保護変数 を使用して、デプロイに必要な認証情報などを安全に保存し、使用することができま す。 https://www.gitlab.jp/stages-devops-lifecycle/continuous-integration/

18. #jjug_ccc Gitlab-CIの特徴 18 • マルチプラットフォーム： Unix、Windows、macOS、その他Goをサポートするあらゆるプラットフォームでビルドを実行 できます。 • 安定性： ビルドは

    GitLab とは別のマシンで実行されます。 • 柔軟なパイプライン： ステージごとに複数の並列ジョブ を定義し、 他のビルドをトリガー することができます。 • バージョン管理されたパイプライン： .gitlab-ci.yml ファイル にはテストなどのすべてのステップが含まれています。 ブ ランチで .gitlab-ci.yml ファイルを変更することで、誰でも安全にパイプラインの変更を試すことができます。 • Dockerのサポート： カスタムDockerイメージを使用したり、テストの一環として サービス を起動したり、 新しいDocker イメージをビルド したり、Kubernetes上で実行したりすることができます。 • コンテナレジストリ： コンテナイメージを保存、共有、使用するための 組み込みコンテナレジストリ を利用できます。 • 保護変数： 環境ごとに 保護変数 を使用して、デプロイに必要な認証情報などを安全に保存し、使用することができま す。 https://www.gitlab.jp/stages-devops-lifecycle/continuous-integration/

19. #jjug_ccc Gitlab-CIの特徴 19 • マルチプラットフォーム： Unix、Windows、macOS、その他Goをサポートするあらゆるプラットフォームでビルドを実行 できます。 • 安定性： ビルドは

    GitLab とは別のマシンで実行されます。 • 柔軟なパイプライン： ステージごとに複数の並列ジョブを定義し、 他のビルドをトリガー することができます。 • バージョン管理されたパイプライン： .gitlab-ci.yml ファイル にはテストなどのすべてのステップが含まれています。 ブ ランチで .gitlab-ci.yml ファイルを変更することで、誰でも安全にパイプラインの変更を試すことができます。 • Dockerのサポート： カスタムDockerイメージを使用したり、テストの一環として サービス を起動したり、 新しいDocker イメージをビルド したり、Kubernetes上で実行したりすることができます。 • コンテナレジストリ： コンテナイメージを保存、共有、使用するための 組み込みコンテナレジストリ を利用できます。 • 保護変数： 環境ごとに 保護変数 を使用して、デプロイに必要な認証情報などを安全に保存し、使用することができま す。 https://www.gitlab.jp/stages-devops-lifecycle/continuous-integration/

20. #jjug_ccc .gitlab-ci.yml $ cat .gitlab-ci.yml stages: - build - test

    build-code-job: stage: build script: - echo "Check the ruby version, then build some Ruby project files:" - ruby -v - rake test-code-job1: stage: test script: - echo "If the files are built successfully, test some files with one command:" - rake test1 test-code-job2: stage: test script: - echo "If the files are built successfully, test other files with a different command:" - rake test2 20 https://docs.gitlab.com/ee/ci/yaml/gitlab_ci_yaml.html

21. #jjug_ccc Gitlab-CIの特徴 21 • マルチプラットフォーム： Unix、Windows、macOS、その他Goをサポートするあらゆるプラットフォームでビルドを実行 できます。 • 安定性： ビルドは

    GitLab とは別のマシンで実行されます。 • 柔軟なパイプライン： ステージごとに複数の並列ジョブを定義し、 他のビルドをトリガー することができます。 • バージョン管理されたパイプライン： .gitlab-ci.yml ファイル にはテストなどのすべてのステップが含まれています。 ブ ランチで .gitlab-ci.yml ファイルを変更することで、誰でも安全にパイプラインの変更を試すことができます。 • Dockerのサポート： カスタムDockerイメージを使用したり、テストの一環として サービス を起動したり、 新しいDocker イメージをビルド したり、Kubernetes上で実行したりすることができます。 • コンテナレジストリ： コンテナイメージを保存、共有、使用するための 組み込みコンテナレジストリ を利用できます。 • 保護変数： 環境ごとに 保護変数 を使用して、デプロイに必要な認証情報などを安全に保存し、使用することができま す。 https://www.gitlab.jp/stages-devops-lifecycle/continuous-integration/

22. #jjug_ccc Gitlab-CIのDockerサポート 22 https://docs.gitlab.com/runner/executors/

23. #jjug_ccc Gitlab-CIのDockerサポート 23 https://docs.gitlab.com/runner/executors/

24. #jjug_ccc CIパイプラインへのテストの組み込み 24

25. #jjug_ccc CIパイプラインへのテストの組み込み 25 アプリケーションとインフラのコードを分離

26. #jjug_ccc CIパイプラインへのテストの組み込み 26 アプリケーションとインフラのコードを分離 アプリケーション

27. #jjug_ccc CIパイプラインへのテストの組み込み 27 アプリケーションとインフラのコードを分離 インフラ

28. #jjug_ccc CI CIパイプラインへのテストの組み込み 28 アプリケーションとインフラのコードを分離 インフラ アプリケーション

29. #jjug_ccc CIパイプラインへのテストの組み込み 29 4つのステージ構成

30. #jjug_ccc stageとは 30 https://docs.gitlab.co.jp/ee/ci/pipelines/ jobのグループ化と実行順序を制御する

31. #jjug_ccc stageとは 31 https://www.gitlab.jp/stages-devops-lifecycle/continuous-integration/

32. #jjug_ccc CIパイプラインへのテストの組み込み 32 4つのステージ構成 code

33. #jjug_ccc CIパイプラインへのテストの組み込み 33 4つのステージ構成 code test

34. #jjug_ccc CIパイプラインへのテストの組み込み 34 4つのステージ構成 code test build

35. #jjug_ccc CIパイプラインへのテストの組み込み 35 4つのステージ構成 code test deploy build

36. #jjug_ccc CIパイプラインへのテストの組み込み 36 code test deploy build

37. #jjug_ccc stageとは 37 $ cat .gitlab-ci.yml stages: # code -

    build - test - deploy

38. #jjug_ccc CIパイプラインへのテストの組み込み 38 code test deploy build

39. #jjug_ccc CIパイプラインへのテストの組み込み 39 code

40. #jjug_ccc CIパイプラインへのテストの組み込み 40 code test deploy build git push

41. #jjug_ccc stageとは 41 $ cat .gitlab-ci.yml stages: # code -

    build - test - deploy

42. #jjug_ccc CIパイプラインへのテストの組み込み 42 code test git push

43. #jjug_ccc CIパイプラインへのテストの組み込み 43 code test deploy build analysis git push

44. #jjug_ccc analysis job • 静的コード解析を実行するジョブ • コーディング規約などをチェック • PMD, Spotbugs,

    CheckStyle 44

45. #jjug_ccc 静的解析 $ cat .gitlab-ci.yml stages: - test analysis: stage:

    test image: openjdk script: - /bin/sh gradlew clean checkstyleMain checkstyleTest spotbugsMain pmdMain pmdTest 45

46. #jjug_ccc CIパイプラインへのテストの組み込み 46 code test deploy build unit test git

    push

47. #jjug_ccc unit test job • 単体テストを実行するジョブ • JUnit 47

48. #jjug_ccc unit test job $ cat .gitlab-ci.yml stages: - test

    services: - name: postgres unit-test: stage: test image: openjdk script: - /bin/sh gradlew clean test 48

49. #jjug_ccc servicesとは $ cat .gitlab-ci.yml stages: - test services: -

    name: postgres unit-test: stage: test image: openjdk script: - /bin/sh gradlew clean test 49

50. #jjug_ccc servicesとは • jobを実行するdockerイメージとは別のdockerイメージを実行するための仕組み • データベースコンテナを動作させておきたいユースケースに対応 50

51. #jjug_ccc unit test job $ cat .gitlab-ci.yml stages: - test

    services: - name: postgres unit-test: stage: test image: openjdk script: - /bin/sh gradlew clean test 51

52. #jjug_ccc CIパイプラインへのテストの組み込み 52 code test deploy build unit test git

    push

53. #jjug_ccc CIパイプラインへのテストの組み込み 53 code test deploy build arch test git

    push

54. #jjug_ccc arch test job • アーキテクチャテストを実行するジョブ • レイヤー間の依存関係をチェック • ドメインモデル間の依存関係をチェック

    • ArchUnit 54

55. #jjug_ccc CIパイプラインへのテストの組み込み 55 code test deploy build merge request arch

    test unit test analysis git push

56. #jjug_ccc CIパイプラインへのテストの組み込み 56 code test deploy build analysis git push

    arch test unit test analysis merge request

57. #jjug_ccc CIパイプラインへのテストの組み込み 57 code test deploy build unit test git

    push arch test unit test analysis merge request

58. #jjug_ccc CIパイプラインへのテストの組み込み 58 code test deploy build arch test git

    push arch test unit test analysis merge request

59. #jjug_ccc CIパイプラインへのテストの組み込み 59 code test deploy build arch test unit

    test analysis git push arch test unit test analysis merge request

60. #jjug_ccc CIパイプラインへのテストの組み込み 60 code test build git push arch test

    unit test analysis merge request arch test unit test analysis

61. #jjug_ccc CIパイプラインへのテストの組み込み 61 code test deploy build build git push

    arch test unit test analysis merge request arch test unit test analysis

62. #jjug_ccc build job • アプリケーションのビルドを実行するジョブ 62

63. #jjug_ccc build job $ cat .gitlab-ci.yml stages: - build build:

    stage: build image: openjdk script: - /bin/sh gradlew clean bootJar after_script: - aws s3 cp build/libs/app.jar s3://bucket/app.jar 63

64. #jjug_ccc build job $ cat .gitlab-ci.yml stages: - build build:

    stage: build image: openjdk script: - /bin/sh gradlew clean bootJar after_script: - aws s3 cp build/libs/app.jar s3://bucket/app.jar 64

65. #jjug_ccc CIパイプラインへのテストの組み込み 65 code test deploy build build git push

    arch test unit test analysis merge request arch test unit test analysis

66. #jjug_ccc CIパイプラインへのテストの組み込み 66 code test deploy build git push arch

    test unit test analysis merge request arch test unit test analysis build

67. #jjug_ccc CIパイプラインへのテストの組み込み 67 code test deploy build trigger git push

    arch test unit test analysis merge request arch test unit test analysis build

68. #jjug_ccc trigger job $ cat .gitlab-ci.yml stages: - deploy trigger:

    stage: deploy variables: APP_VERSION: 1.0 trigger: project: infra-repository 68

69. #jjug_ccc CIパイプラインへのテストの組み込み 69 code test deploy build trigger インフラ git

    push arch test unit test analysis merge request arch test unit test analysis build

70. #jjug_ccc CIパイプラインへのテストの組み込み 70 code test deploy build trigger インフラ deploy

    git push arch test unit test analysis merge request arch test unit test analysis build

71. #jjug_ccc deploy job $ cat .gitlab-ci.yml stages: - deploy deploy:

    stage: deploy image: ansible script: - /usr/local/bin/ansible-playbook -i staging/hosts -e “app_version=${APP_VERSION’}” deploy.yml rules: - if ‘$APP_VERSION’ 71

72. #jjug_ccc deploy job $ cat .gitlab-ci.yml stages: - deploy deploy:

    stage: deploy image: ansible script: - /usr/local/bin/ansible-playbook -i staging/hosts -e “app_version=${APP_VERSION’}” deploy.yml rules: - if ‘$APP_VERSION’ 72

73. #jjug_ccc CIパイプラインへのテストの組み込み 73 code test deploy build trigger インフラ deploy

    git push merge request trigger analysis unit test arch test analysis unit test arch test build アプリケーション

74. #jjug_ccc Agenda 1. なぜ継続的テストを進めているの か 2. CIパイプラインへのテストの組み 込み 3. テストの自動化

    74

75. #jjug_ccc 自動化しているテスト • ユニットテスト • パフォーマンステスト • E2Eテスト 75 https://note.com/globis_engineers/n/n455d7322fa33

76. #jjug_ccc 自動化しているテスト 76 • ユニットテスト • パフォーマンステスト • E2Eテスト https://note.com/globis_engineers/n/n455d7322fa33

77. #jjug_ccc パフォーマンステストを自動化される前は 77 1. 負荷がかかるサーバを構築する 2. 負荷をかけるサーバを構築する 3. パフォーマンステストを実行する 4.

    テストをもとにSpreadsheetのグラフに落としこむ 5. すべてのパフォーマンステストのシナリオに対して上記の作業を繰り返す

78. #jjug_ccc パフォーマンステストが自動化される前の問題 1. 1つのJMeterシナリオをテストするのに時間がかかる 2. 手作業なので作業ミスが発生する 3. テスト結果を確認するためのグラフを作るのに大変 78

79. #jjug_ccc パフォーマンステストの自動化で利用したもの 79

80. #jjug_ccc パフォーマンステストを自動化される前は 80 1. 負荷がかかるサーバを構築する 2. 負荷をかけるサーバを構築する 3. パフォーマンステストを実行する 4.

    テストをもとにSpreadsheetのグラフに落としこむ 5. すべてのパフォーマンステストのシナリオに対して上記の作業を繰り返す

81. #jjug_ccc パフォーマンステストの自動化 81 テストを実行する ansible influxdb PostgreSQL Grafana 負荷がかかるサーバ

82. #jjug_ccc パフォーマンステストの自動化 82 負荷がかかるサーバを構築する ansible influxdb PostgreSQL Grafana 負荷がかかるサーバ

83. #jjug_ccc パフォーマンステストを自動化される前は 83 1. 負荷がかかるサーバを構築する 2. 負荷をかけるサーバを構築する 3. パフォーマンステストを実行する 4.

    テストをもとにSpreadsheetのグラフに落としこむ 5. すべてのパフォーマンステストのシナリオに対して上記の作業を繰り返す

84. #jjug_ccc パフォーマンステストを自動化される前は 84 1. 負荷がかかるサーバを構築する 2. 負荷をかけるサーバを構築する 3. パフォーマンステストを実行する 4.

    テストをもとにSpreadsheetのグラフに落としこむ 5. すべてのパフォーマンステストのシナリオに対して上記の作業を繰り返す

85. #jjug_ccc パフォーマンステストの自動化 85 JMeter環境を構築する ansible influxdb PostgreSQL Grafana 負荷がかかるサーバ

86. #jjug_ccc パフォーマンステストを自動化される前は 86 1. 負荷がかかるサーバを構築する 2. 負荷をかけるサーバを構築する 3. パフォーマンステストを実行する 4.

    テストをもとにSpreadsheetのグラフに落としこむ 5. すべてのパフォーマンステストのシナリオに対して上記の作業を繰り返す

87. #jjug_ccc パフォーマンステストを自動化される前は 87 1. 負荷がかかるサーバを構築する 2. 負荷をかけるサーバを構築する 3. パフォーマンステストを実行する 4.

    テストをもとにSpreadsheetのグラフに落としこむ 5. すべてのパフォーマンステストのシナリオに対して上記の作業を繰り返す

88. #jjug_ccc パフォーマンステストの自動化 88 JMeterシナリオを実行する ansible influxdb Grafana 負荷がかかるサーバ PostgreSQL

89. #jjug_ccc JMeter CLI $ jmeter -n -t scenario.jmx -l /usr/local/report/jtl.csv

    -e -o /usr/local/report 89

90. #jjug_ccc パフォーマンステストを自動化される前は 90 1. 負荷がかかるサーバを構築する 2. 負荷をかけるサーバを構築する 3. パフォーマンステストを実行する 4.

    テストをもとにSpreadsheetのグラフに落としこむ 5. すべてのパフォーマンステストのシナリオに対して上記の作業を繰り返す

91. #jjug_ccc パフォーマンステストの自動化 91 JTLファイルをインポートする ansible influxdb PostgreSQL Grafana 負荷がかかるサーバ

92. #jjug_ccc JTLファイル $ cat jtl.csv timeStamp,elapsed,label,responseCode,responseMessage,threadName,dataType,success,fa ilureMessage,bytes,sentBytes,grpThreads,allThreads,URL,Latency,IdleTime,Connect 1234567890123,1,GET /index.html,200,OK,rakus.co.jp:1099-Thread Group

    1-1,text,true,,1689,1,1,1,https://rakus.co.jp/,1,0,1 92

93. #jjug_ccc パフォーマンステストの自動化 93 JTLファイルをインポートする ansible influxdb PostgreSQL Grafana 負荷がかかるサーバ

94. #jjug_ccc InfluxdbにJMeterの結果をインポートする方法 • JMeterのbackend listenerを利用する ◦ JMeterで負荷テスト中にリアルタイムで連携する方法 ◦ 3種類の方法がある ▪

    (公式)InfluxDBBackendListenerClient ▪ (非公式)JMeter InfluxDB v2.0 listener plugin • JMeterのJTLファイルを利用する 94

95. #jjug_ccc パフォーマンステストの自動化 95 統計情報をインポートする ansible influxdb PostgreSQL Grafana 負荷がかかるサーバ

96. #jjug_ccc 統計情報 $ cat statistics.json | jq . { "GET

    /index.html" : { "transaction" : "GET /index.html", "sampleCount" : 1, "errorCount" : 0, "errorPct" : 0.0, "meanResTime" : 9.933357142857153, "medianResTime" : 3.0, "minResTime" : 0.0, "maxResTime" : 1557.0, "pct1ResTime" : 21.0, "pct2ResTime" : 34.0, "pct3ResTime" : 105.0, "throughput" : 23.258672993025723, "receivedKBytesPerSec" : 14.445816429262068, "sentKBytesPerSec" : 6.859491449115007 } } 96

97. #jjug_ccc パフォーマンステストの自動化 97 統計情報をインポートする ansible influxdb PostgreSQL Grafana 負荷がかかるサーバ

98. #jjug_ccc パフォーマンステストの自動化 98 統計情報をインポートする ansible influxdb PostgreSQL Grafana 負荷がかかるサーバ JTLファイルをインポートする

99. #jjug_ccc パフォーマンステストの自動化 99 ansible influxdb PostgreSQL Grafana 負荷がかかるサーバ

100. 100 https://grafana.com/grafana/dashboards/1152

101. #jjug_ccc パフォーマンステストを自動化される前は 101 1. 負荷がかかるサーバを構築する 2. 負荷をかけるサーバを構築する 3. パフォーマンステストを実行する 4.

     テストをもとにSpreadsheetのグラフに落としこむ 5. すべてのパフォーマンステストのシナリオに対して上記の作業を繰り返す

102. #jjug_ccc パフォーマンステストを自動化される前は 102 1. 負荷がかかるサーバを構築する 2. 負荷をかけるサーバを構築する 3. パフォーマンステストを実行する 4.

     テストをもとにSpreadsheetのグラフに落としこむ 5. すべてのパフォーマンステストのシナリオに対して上記の作業を繰り返す

103. #jjug_ccc パフォーマンステストの自動化 103 ansible influxdb PostgreSQL Grafana 負荷がかかるサーバ

104. #jjug_ccc パフォーマンステストを自動化される前の問題 1. 1つのJMeterシナリオをテストするのに時間がかかる 2. 手作業が多いので作業ミスが発生する 3. テスト結果を確認するためのグラフを作るのに大変 104

105. #jjug_ccc パフォーマンステストを自動化される前の問題 1. 1つのJMeterシナリオをテストするのに時間がかかる → 自動化されたので夜間に実施できる 1. 手作業が多いので作業ミスが発生する 2. テスト結果を確認するためのグラフを作るのに大変

     105

106. #jjug_ccc パフォーマンステストを自動化される前の問題 1. 1つのJMeterシナリオをテストするのに時間がかかる → 自動化されたので夜間に実施できる 1. 手作業が多いので作業ミスが発生する → Ansibleを実行するのみで発生しにくくなった

     1. テスト結果を確認するためのグラフを作るのに大変 106

107. #jjug_ccc パフォーマンステストを自動化される前の問題 1. 1つのJMeterシナリオをテストするのに時間がかかる → 自動化されたので夜間に実施できる 1. 手作業が多いので作業ミスが発生する → Ansibleを実行するのみで発生しにくくなった

     1. テスト結果を確認するためのグラフを作るのに大変 → Grafanaが自動的に作成してくれる 107

108. #jjug_ccc まとめ • Gitlab CI上にテストの組み込み • パフォーマンステストの自動化 ↓ 継続的にテストをすることができる環境 を構築することができました。

     108

109. 109 ご清聴ありがとうございました。