Upgrade to Pro — share decks privately, control downloads, hide ads and more …

E2EテストのCIで可観測性の改善を考える

 E2EテストのCIで可観測性の改善を考える

SHIFT_EVOLVE

July 26, 2021
Tweet

More Decks by SHIFT_EVOLVE

Other Decks in Business

Transcript

  1. E2EテストのCIで

    可観測性の改善を考える
    株式会社SHIFT) 森川知雄
    E2EテストのCIで可観測性の改善を考える
    2021.07.21 SHIFT EVOLVE Vol.2 1

    View Slide

  2. 森川知雄(株式会社SHIFT )
    自動テストアーキテクト
    E2Eテストのツール開発や

    調査・教育を担当している人
    以前はSIでSeleniumのツール
    をゴリゴリ書いてました
    E2EテストのCIで可観測性の改善を考える 2

    View Slide

  3. 本日はE2Eテスト屋から見た

    クラウドネイティブな

    アプローチについてお話します
    ※ E2Eテスト ∋ RT
    E2EテストのCIで可観測性の改善を考える 3

    View Slide

  4. E2Eテストもクラウドネイティブに
    スケーラブルで堅牢な自動化
    コンテナ × リモートGridでスケール
    クラウドCIでクリーンなテスト環境
    テストコードはサーバレスでスケーラブルに
    レポートもクラウドにスタック
    E2EテストのCIで可観測性の改善を考える 4

    View Slide

  5. レガシーな構成
    E2EテストのCIで可観測性の改善を考える 5

    View Slide

  6. クラウドネイティブな構成
    E2EテストのCIで可観測性の改善を考える 6

    View Slide

  7. だがしかし
    E2EテストのCIで可観測性の改善を考える 7

    View Slide

  8. E2Eテストは壊れやすい
    「モダンでスケーラブルな構成で自動化」
    をしてもE2Eテストは不安定で壊れがち
    だってE2Eだもの...
    E2EテストのCIで可観測性の改善を考える 8

    View Slide

  9. 壊れたらどうしてる?
    現状
    調査してテストコード修正して再実行
    時間がかかるし、マンパワー必要
    工数に含まれないことも
    E2EテストのCIで可観測性の改善を考える 9

    View Slide

  10. 壊れたらどうしてる?
    現状
    調査してテストコード修正して再実行
    時間がかかるし、マンパワー必要
    工数に含まれないことも
    理想
    誰かやってくれ...
    自立的に直ってほしい or 調査してほしい
    E2EテストのCIで可観測性の改善を考える 10

    View Slide

  11. ただでさえ
    E2EテストはQAエンジニアの

    時間を奪いがち
    E2EテストのCIで可観測性の改善を考える 11

    View Slide

  12. 『E2Eテストの構成はクラウドネイテ
    ィブになったけど…』
    『不安定なテストは相変わらずマンパ
    ワーでやっつけてるやん』
    E2EテストのCIで可観測性の改善を考える 12

    View Slide

  13. まてよ?
    CIはビルド毎にレポート&ログを吐く
    DOMとかHARとか溜めておけば

    調査の下準備ぐらいできるんじゃないのか?
    っていうかやってくれ!
    E2EテストのCIで可観測性の改善を考える 13

    View Slide

  14. こんな感じ
    テストに失敗したら過去データと比較
    プロダクトの変更を検知したり
    テストコードの修正を提案
    過去数回分と比較して毎回検出される差分
    はノイズとして除外
    E2EテストのCIで可観測性の改善を考える 14

    View Slide

  15. オルタナティブな可観測性
    一般的な「可観測性」は今起こっていること
    つまり時系列方向のロギングやトレース
    本アイディアでは
    過去から現在へのベクトルの可観測性
    E2EテストのCIで可観測性の改善を考える 15

    View Slide

  16. ビルド履歴を使って
    可観測性を持たせる
    名付けて
    「Time Machined Analytics」
    E2EテストのCIで可観測性の改善を考える 16

    View Slide

  17. Time Machined Analytics
    どうかな?
    E2EテストのCIで可観測性の改善を考える 17

    View Slide

  18. Time Machined Analytics
    ※ これはイメージです
    E2EテストのCIで可観測性の改善を考える 18

    View Slide

  19. クラウドCIの機能として
    こんなのがサービス化されたらいいなぁ
    あのつらいE2Eテストの保守から
    開放されたら嬉しいなぁ~
    というお話でした
    E2EテストのCIで可観測性の改善を考える 19

    View Slide

  20. 宣伝(LTなのに)
    弊社の自動テストツールRacineでは
    本日説明したような機能を開発中です
    ご興味ある方はアフタートークでお声がけくださ

    E2EテストのCIで可観測性の改善を考える 20

    View Slide

  21. ご清聴ありがとうございました
    E2EテストのCIで可観測性の改善を考える 21

    View Slide

  22. E2EテストのCIで可観測性の改善を考える 22

    View Slide