MagicPod５周年記念イベント登壇資料

2022年8月9日に開催されたMagicPod５周年記念イベントの登壇資料です。

Transcript

1. GLOBIS MagicPod導入事例 1
2. 1. 会社・自己紹介 2. 舞台となるプロダクト紹介 3. 自動テストを入れるまでの体制 4. 自動テスト導入運用による難所にどう対処したか？ 5. テスト自動化の成果って結局出たのか？ © GLOBIS All rights reserved. 2 目次
3. 自己紹介 名前：矢島航海 仕事：QAエンジニア 趣味：楽器の演奏、修理 キャリア： 　->第三者検証会社（3年） 　->メルカリ（2年） 　->グロービス（2年） テスト業界は7年目 3
4. グロービスってどんな会社？ グロービスは、経営に関する 「ヒト」・「カネ」・「チエ」の生態系を創り 社会の創造と変革を行う会社です。 4 「創造に挑み、変革を導く」
5. グロービス・デジタル・プラットフォームとは？ 5 グロービスのデジタル開発部門であるグロービスデジタルプラットフォームでは、 ４つの学びに貢献するサービスを提供しています。
6. 今回の舞台となるプロダクト 今年５月ローンチしたばかり Growth Phase序盤のプロダクト 開発チームは９人のメンバーで構成され、 アジャイル開発を行っています。 開発チーム構成： - プロダクトオーナー：1名、 - 専任SM：1名 - デザイナー：1名 - バックエンドエンジニア：3名 - フロントエンドエンジニア：3名 6
7. 自動テストを入れるまでの体制・テストチーム © GLOBIS All rights reserved. 7 - テストチームは４人体制。 - テストリーダー - マニュアルテスト担当２名 - 自動テスト担当は矢島
8. 自動テストを入れるまでの体制・開発フロー １週間スプリントと２日間のテスト期間 8 限られた時間の中で、効果的なテストを行いたい 月 火 水 木 金 月 火 水 木 金 開発 テスト 開発 月 火 水 木 金 開発 Sprint1 Sprint2 Sprint3 リリース リリース テスト
9. その中で、なぜテスト自動化なのか？ 限られた時間のテストの割合はどんどん変化していく 9 リグレッションテストのサイズは増え続ける
10. その中で、なぜテスト自動化なのか？ 効果的なテストを行うために必要な 限られた時間がどんどん圧迫される 10 時間を生み出すために 人がやらなくても良いテストは自動化しよう！
11. 自動テスト導入運用による課題に どう対処したか？ 11
12. ３つの難所 12 1. 難所１・どうやってテストを自動化するか？ 2. 難所２・どうやって実装や修理を軽くするか？ 3. 難所３・どうやってマルチブラウザ化するか？
13. 難所１・どうやってテストを自動化する？ どうやってテストを自動化する？ 13 技術的難易度 拡張性 コスト メンテナンスコスト Seleniumで作る 高い ◎ 自分で書けば0円！ 高い ノーコードで作る 低い × 4万円〜 低い ノーコードで自動化しよう！ 当時のQAは完全にリソース不足 自分で書けば安いが、自分がいなくなったら回せなくなってしまう
14. 難所１・どうやってテストを自動化する？ 比較検討した結果 コストが安く、実行スピードも早かったMagicPodが導入された！ 14
15. 質問の回答： 平均１５分以内！ 導入はとてもスムーズに進んだ 15 難所１・どうやってテストを自動化する？ おまけ
16. 難所２・どうやって実装や修理を軽くするか？ １ケースあたりの実装や修理に、時間がかかってしまう。 16 作り方は難しくないが、 想定したよりもサクサク作れない 実装や修理になぜ時間が かかるのか調べよう！
17. 難所２・どうやって実装や修理を軽くするか？ なぜ時間がかかってしまっているのか調べてみた 17 Layer4 Layer3 Layer2 Layer1 3 3 3 3 3 3 3 画面遷移に必要なステップのまとまり 作成コストは平均３時間 画面遷移 Layer４に到達するまでに １２時間かかる。 赤丸の部分はほぼ一緒の流れ 共通ステップ化しよう！
18. Layer4 Layer3 Layer2 Layer1 難所２・どうやって実装や修理を軽くするか？ 共通ステップを使って実装してみた。 18 共通化した後の実装コストは 45%作業時間を削減できることになった。
19. Layer4 Layer3 Layer2 Layer1 難所２・どうやって実装や修理を軽くするか？ 作業時間は圧縮できたけど、もっと実装速度をあげたい。 19 こういうところは時間かかる割に 少ないケース数しか組めない。 総作業時間は多いが、分岐が多いため、１ケースあたりの 時間的コストが安 いことに気がついた 共通ステップの利用が見込まれるところか ら実装し始めた。
20. 難所２・どうやって実装や修理を軽くするか？ 総実装時間を圧縮しつつも、実装ケース数を速い段階で増やし、メンテナンスコストを下げるこ とができるようになった。 20 ※実績値ベース ※理論値ベース
21. 難所２・どうやって実装や修理を軽くするか？ 共通ステップ化と順番を意識したことで定性的メリットもあった 21 ※実績値ベース • 共通化がしやすいテストはその分重要度の高いテストが多く、組む べきテストから組んでいたことがわかった • 共通化しにくいテストは共通化しなくていいぶんシンプルで、人に 教えるにはちょうどいい題材になった。 • 早く組めると、モチベーションが維持しやすく楽しく実装を進めるこ とができた。
22. 難所３・どうやってマルチブラウザ化するか？ テストがある程度増えた段階で、 マルチブラウザでテストしたいとこ ろが増えてきました。 MagicPodのクラウドは Chromeしかカバーしていない 22 MagicPodが連携できる外部サー ビスを検討してみることにした。
23. 難所３・どうやってマルチブラウザ化するか？ 解決方法： ブラウザテスティングツールを１ヶ月間比較してみた。 23 月額料金 （1並列あたり） 対応ブラウザ 実行時間 テスト環境へ のアクセス テスト失敗率 サポート B社 $163 Chrome:◯ Safari:◯ Edge:◯ Firefox:◯ 300% ・専用アプリ ・固定IP 3%~5% 英語のみ S社 $199 Chrome:◯ Safari:◯ Edge:◯ Firefox:◯ 200% ・専用アプリ ・固定IP 3%~5% 英語のみ 実行時間は一番短いケースでChromeにて３回測定 MagicPod：20秒 S社：40秒 B社：60秒
24. 難所３・どうやってマルチブラウザ化するか？ 24 結果として、B社を選んだ 速度はMagicPodの３倍遅い、 全部B社で動かすとテスト実行が遅くなってしまう。 工夫しよう！
25. 難所３・どうやってマルチブラウザ化するか？ 25 MagicPod B社 実行時間：1h 並列数：10端末 ケース数：46ケース 最終的にこうなった 必ずマルチブラウザで 見たいものだけ投げる どのブラウザでもいいも のはこちら
26. テスト自動化の成果って結局出たのか？ • プロダクトのパフォーマンス的な課題を発見 • チケットには存在しない善意の修正に気づき、CSと連携 • リグレッションテストのうち半分が自動化 a. コスト削減にはならなかった b. ２日間のテスト期間に余裕が生まれた 26
27. おわり © GLOBIS All rights reserved. ご清聴ありがとうございました！ 27
28. 【後日資料】Special　Thanks © GLOBIS All rights reserved. VPoE Masaya Suenaga QA team Ray Ishida Yusuke Ohira Mariko Iwasaki GLOPLA LMS team Takuya Matsuo Megumi Hamamoto Tech PR team Fumiko Muto 株式会社MagicPod Junko Tagami 28
29. 【後日資料】Appendix © GLOBIS All rights reserved. MagicPodで作るE2Eテストのメンテナンス性を上げるために気を付けていること。 29