MagicPodで始めるがんばらない回帰試験の自動化​/Automated Regression Testing Journey with MagicPod​

【有料プランユーザー様限定×オフライン】MagicPodユーザーLT会
https://trident-qa.connpass.com/event/283709/

Transcript

1. MagicPodで始める がんばらない回帰試験の⾃動化 MagicPodユーザーLT会 2023/07/14(⾦) サイボウズOfficeモバイルチーム ⽟⽊ 岳爾 Automated Regression Testing Journey with MagicPod
2. 自己紹介 2 § ۄ໦ַ࣐ / Gakuji Tamaki § αΠϘ΢ζגࣜձࣾ QAΤϯδχΞ § αΠϘ΢ζ Office ϞόΠϧͷQAۀ຿ § MagicPodを使ったE2E自動テストの設計と運用 § Twitter: @gkzvoice § झຯ: ଍Λ͖ͭͳ͕Β ࣗసंͰࢁΛొΔ͜ͱ
3. チームワークあふれる 社会を創る サイボウズの理念は「チームワークあふれる社会を創る」こと。 私たちはその理念に沿ってチームワークを⽀えるソフトウェアを 開発し続けてきました。 サイボウズについて
4. 開発の知識がなくても 業務に合わせたシステムを かんたんに作成できる クラウドサービス 主⼒製品 参考: https://cybozu.co.jp/logotypes
5. 主⼒製品 スケジュール共有 ワークフローなど 中⼩企業の情報共有を ⽀援するサービス 参考: https://cybozu.co.jp/logotypes
6. § 1.前提 § 2.MagicPodの導⼊経緯 § 3.MagicPodをこんなふうに使っています § 4.MagicPodで回帰試験の⾃動化をやってみてよかったこと § 5.MagicPodで回帰試験の⾃動化の失敗談と学び § 6.MagicPodではじめるがんばらない回帰試験の⾃動化の⼀例 § 7.MagicPodで回帰試験の⾃動化、その先に⾒据えること § 8.このLTで⼀番お伝えしたいこと 6 ⽬次
7. § 1.前提 § 2.MagicPodの導⼊経緯 § 3.MagicPodをこんなふうに使っています § 4.MagicPodで回帰試験の自動化をやってみてよかったこと § 5.MagicPodで回帰試験の⾃動化の失敗談と学び § 6.MagicPodではじめるがんばらない回帰試験の⾃動化の⼀例 § 7.MagicPodで回帰試験の⾃動化、その先に⾒据えること § 8.このLTで⼀番お伝えしたいこと 7 ⽬次
8. 8 1.前提 § MagicPod導⼊からクラウド端末と実機端末が軌道にのるまでは専任 § 軌道にのるまでは専任じゃないとしんどい § MagicPodで自動試験したいアプリケーションは「サイボウズ Office」の 公式モバイル版アプリ § iOS/Android それぞれ提供している § 開発プロセスとQAの業務（次のスライド）
9. 9 開発プロセスとQAの業務 1.前提
10. § 1.前提 § 2.MagicPodの導入経緯 § 3.MagicPodをこんなふうに使っています § 4.MagicPodで回帰試験の自動化をやってみてよかったこと § 5.MagicPodで回帰試験の⾃動化の失敗談と学び § 6.MagicPodではじめるがんばらない回帰試験の自動化の一例 § 7.MagicPodで回帰試験の自動化、その先に見据えること § 8.このLTで一番お伝えしたいこと 10 目次
11. 11 2.MagicPod の導入経緯 § 2-1.なぜ⾃動テストを導⼊したのか？ § 2-2.なぜ⾃動テストの導⼊のための⼿段として、 MagicPodを採⽤したのか？
12. 12 2.MagicPod の導入経緯 § 2-1.なぜ⾃動テストを導⼊したのか？ § 2-2.なぜ⾃動テストの導⼊のための⼿段として、 MagicPodを採⽤したのか？
13. ？？？「リリースを早くしたいんだ。 さあ、馬車馬のように働けー。」 13 ※これはフィクションです。 参考: https://www.irasutoya.com/2014/10/blog-post_89.html
14. 早くリリースしたいサイ ボウズOfficeモバイル チームの前に立ちは だかる高いハード ル！！ 14 参考: https://www.irasutoya.com/2019/01/blog-post_52.html
15. サイボウズOfficeモバイルチームの 前に立ちはだかるハードル。 その正体の手がかりは開発プロセス とQAの業務フローにあります。 もういちど見てみましょう。 15 参考: https://www.irasutoya.com/2019/01/blog-post_52.html
16. 16 開発プロセスとQAの業務（再掲） 2-1.なぜ自動テストを導入したのか？ ？？？
17. 17 開発プロセスとQAの業務（再掲） 2-1.なぜ自動テストを導入したのか？
18. 早くリリースしたい、サイ ボウズOfficeモバイル チームの前に立ちはだ かる高いハードル！ それは試験だった！！ 18 参考: https://www.irasutoya.com/2019/01/blog-post_52.html
19. 19 2-1.なぜ自動テストを導入したのか？ 機能A 機能B 機能C 機能A 機能B 機能A 参考: https://icooon-mono.com/11324-サラリーマン/ , https://www.browserstack.com/guide/regression-testing を参考に筆者作成 スプリント 試験のボリューム/スプリント スプリントを重ねるごとに 試験は増えるばかり。
20. 20 2-1.なぜ自動テストを導入したのか？ 機能A 機能B 機能C 機能A 機能B 機能A 参考: https://icooon-mono.com/11324-サラリーマン/ , https://www.browserstack.com/guide/regression-testing を参考に筆者作成 スプリント 試験のボリューム/スプリント スプリントを重ねるごとに試験は 増えるばかり。 一方でQAの人手は増えません、、。
21. 21 2-1.なぜ自動テストを導入したのか？ 機能A 機能B 機能C 機能A 機能B 機能A 参考: https://icooon-mono.com/11324-サラリーマン/ , https://www.browserstack.com/guide/regression-testing を参考に筆者作成 スプリント 試験のボリューム/スプリント ところで、 増え続ける試験には ある特徴がありました、、！
22. 22 2-1.なぜ自動テストを導入したのか？ 機能A 機能B 機能C 機能A 機能B 機能A 参考: https://icooon-mono.com/11324-サラリーマン/ , https://www.browserstack.com/guide/regression-testing を参考に筆者作成 スプリント 試験のボリューム/スプリント 増え続けるのは 回帰試験だけ！ 新機能分の試験は毎回同じくらい
23. 23 2-1.なぜ自動テストを導入したのか？ 機能A 機能B 機能C 機能A 機能B 機能A 参考: https://icooon-mono.com/11324-サラリーマン/ , https://icooon-mono.com/16067-ロボットアイコン1/ https://www.browserstack.com/guide/regression-testing を参考に筆者作成 スプリント 試験のボリューム/スプリント 増え続ける 回帰試験を 自動化しよう！
24. 24 2.MagicPod の導入経緯 §2-1.なぜ⾃動テストを導⼊したのか？ §2-2.なぜ⾃動テストの導⼊のための⼿段として、 MagicPodを採⽤したのか？
25. 自動試験と手動試験 のある勘違い 25 参考: https://www.irasutoya.com/2016/11/blog-post_652.html
26. 26 2-2.なぜ自動テストの導入のための手段として、 MagicPodを採用したのか？ ※上記のグラフはあくまで筆者のイメージです。 手動試験 スプリント 自動試験 ⾃動試験のコストを⼿動試験と⽐較 するときによくみるこのグラフ。 実際は、、？ 試験実施の手間/スプリント
27. 27 2-2.なぜ自動テストの導入のための手段として、 MagicPodを採用したのか？ スプリント 自動試験 ⾃動試験のコストを⼿動試験と⽐較 するときによくみるこのグラフ。 実際は、導⼊コスト分 が⾒積もられていない のでは？ ※上記のグラフはあくまで筆者のイメージです。 試験実施の手間/スプリント
28. 28 2-2.なぜ自動テストの導入のための手段として、 MagicPodを採用したのか？ MagicPod スプリント 試験実施の手間/スプリント 自動試験 ⾃動試験の⼿間、特に 導⼊コストを抑えたい ※上記のグラフはあくまで筆者のイメージです。
29. 29 2-2.なぜ自動テストの導入のための手段として、 MagicPodを採用したのか？ 他にも理由があります！ § 誰でも自動テストが書ける。 § モバイルの自動テストのツールのなかで 安定していそう。（導入検討時） 参考: https://www.irasutoya.com/2020/03/blog-post_74.html
30. 30 2.MagicPod の導入経緯（まとめ？） リリースを早くしたい。 そのために、 増え続ける回帰試験を自動化したい。
31. リリースを早くしたいか ら、試験はテキトーでい いなんてことはない！ 31 参考: https://www.irasutoya.com/2014/10/blog-post_35.html
32. 32 Ø チーム全体でのアプローチとは、チームメンバー全員が プロダクトの品質に責任を持つことを意味します。 Ø その責任の一端には、テスト以外の開発タスクと並行し て、テストタスクを完了させることも含まれています。 Ø 速く提供することよりも、可能な限り最高の品質 を提供 することが目標である場合、チームはプラクティスの強 固な基盤を構築します。 参考: Janet Gregory, Lisa Crispin,『Agile Testing Condensed Japanese Edition』, 2019, p7 "Agile Testing Condensed Japanese Edition"
33. 33 参考: Janet Gregory, Lisa Crispin,『Agile Testing Condensed Japanese Edition』, 2019, p7 "Agile Testing Condensed Japanese Edition" 私の理解 § リリースを早くする ≠ 品質を蔑ろにす る § 「最後にテストするのでははく、ずっと テストする」ようにチーム一丸で、かつ 常に品質保証と向き合うべき
34. 34 2.MagicPod の導入経緯（まとめ） 品質を意識した上で、 リリースを早くしたい。 そのために、 増え続ける回帰試験を自動化したい。
35. § 1.前提 § 2.MagicPodの導入経緯 § 3.MagicPodをこんなふうに使っています § 4.MagicPodで回帰試験の自動化をやってみてよかったこと § 5.MagicPodで回帰試験の自動化の失敗談と学び § 6.MagicPodではじめるがんばらない回帰試験の自動化の一例 § 7.MagicPodで回帰試験の自動化、その先に見据えること § 8.このLTで一番お伝えしたいこと 35 目次
36. 36 ☆ アーカイブ NO.(^1) - iOS/Android ☆ GitHub Actions - GitHub Hosted Runner - Self Hosted Runner on Macbook @弊社オフィス ☆ iOS/Android 端末の試験環境 - MagicPod クラウド端末 - 弊社オフィスに置いてある実機端末 Schedule? ^1: アーカイブとは、それぞれ以下を指す。 試験環境が iOSシミュレータの場合は Appファイル、iOS 実機端末の場合は ipaファイル、Androidエミュレータ/実機端末の場合は apkファイル。 参考: https://support.magic-pod.com/hc/ja/articles/4408836787609 , https://github.com/logos , https://github.com/actions , https://magicpod.com/resources/brand ☆ MagicPodの定期実行の結果の記録 - 弊社のサービスのKintone 3.MagicPod をこんなふうに使っています
37. § 1.前提 § 2.MagicPodの導入経緯 § 3.MagicPodをこんなふうに使っています § 4.MagicPodで回帰試験の自動化をやってみてよかったこと § 5.MagicPodで回帰試験の自動化の失敗談と学び § 6.MagicPodではじめるがんばらない回帰試験の自動化の一例 § 7.MagicPodで回帰試験の自動化、その先に見据えること § 8.このLTで一番お伝えしたいこと 37 目次
38. 38 4.MagicPodで回帰試験の自動化をやってみてよ かったこと § みなさんがおっしゃるとおり使いやすく、すんなり導入できた ◎ § Se◯enium の初期セットアップが大変だった記憶があるので余計にすごく感じる § サポート力が尋常じゃない ◎ § 謎エラーに対するアドバイスには幾度なく助けられました § MagicPodのデグレが起きることがない ◎ § ツールとしての信頼性が高い
39. § 1.前提 § 2.MagicPodの導入経緯 § 3.MagicPodをこんなふうに使っています § 4.MagicPodで回帰試験の自動化をやってみてよかったこと § 5.MagicPodで回帰試験の自動化の失敗談と学び § 6.MagicPodではじめるがんばらない回帰試験の自動化の一例 § 7.MagicPodで回帰試験の自動化、その先に見据えること § 8.このLTで一番お伝えしたいこと 39 目次
40. 40 5.MagicPodで回帰試験の自動化の失敗談と学び 参考: https://magicpod.com/resources/brand もっとはやく、 MagicPodさんのベス トプラクティスに 乗っかればよかった
41. 41 MagicPodさんの ベストプラクティス！！！
42. 42 “毎日テストを実行する”ことから始める 参考: https://support.magic-pod.com/hc/ja/articles/7515195778457
43. 毎日テストを実行する テストのメンテをする テストを増やす 43 “毎日テストを実行する”ことから始める。 できることを少しずつ増やしていく。 https://support.magic-pod.com/hc/ja/articles/7515195778457 を参考に筆者作成
44. 44 5.MagicPodで回帰試験の自動化の失敗談と学び 実機端末を自動テストの試験 環境にしようとがんばってし まった、、。
45. 45 実機端末で自動テストする3つの難しさ 参考: https://support.magic-pod.com/hc/ja/articles/6468420020633 ←このような設定 ファイルを用意し さえすればい い、、？
46. 46 実機端末で自動テストする3つの難しさ n 実機端末の自動テスト環境の構築そのもの n 1台のMacbookと1台の実機端末の直列は用意できた n 並列複数台はドキュメントが乏しく茨の道 n 例）実機端末ごとにユニークなポートを割り当てても同じ端末でテストが走ってしまう問題 n 実機端末の自動テスト環境のメンテ n 実機端末/Macbook/MagicPodDesktop/Xcodeなどのアップデート n Macbookと実機端末をつなぐケーブルの不調 n実機端末を使ったクリーンな試験環境を維持すること n 直前のテストケースが落ちたことを、後続のテストケースは知る術がない。テストケースの冒頭で落ちた場合のケアをすると実行時間が長く なるので避けたい。。。 n MagicPodDesktopのプロセスがゾンビ化することを防ぐ、、。
47. § 1.前提 § 2.MagicPodの導入経緯 § 3.MagicPodをこんなふうに使っています § 4.MagicPodで回帰試験の自動化をやってみてよかったこと § 5.MagicPodで回帰試験の自動化の失敗談と学び § 6.MagicPodではじめるがんばらない回帰試験の自動化の一例 § 7.MagicPodで回帰試験の自動化、その先に見据えること § 8.このLTで一番お伝えしたいこと 47 目次
48. 6-1.実機端末はできるだけ使わない。 6-2.MagicPodの定期実行の結果はKintoneで管理 48 6.MagicPodではじめるがんばらない回帰試験の 自動化の一例
49. 6-1.実機端末はできるだけ使わない 6-2.MagicPodの定期実行の結果はKintoneで管理 49 6.MagicPodではじめるがんばらない回帰試験の 自動化の一例
50. 50 6-1.実機端末はできるだけ使わない 参考: https://magicpod.com/resources/brand 実機端末を使わざるを得ないテ ストケースは、試験内容を MagicPodでできる試験内容に変 えることも検討！
51. 51 6-1.実機端末はできるだけ使わない 参考: https://github.com/Magic-Pod/japanese-issue-and-doc/issues/516 issue/要望を書こう！ issue/要望は通ることもある！
52. 52 "クラウドにアップロードしたファイルを選択でき る"と何がうれしいのか？ 参考: https://github.com/Magic-Pod/japanese-issue-and-doc/issues/516 予めPCに配置したアーカイブで MagicPodDesktopと端末などを起動 テストケース開始直後にバージョン アップ前のアーカイブをインストール テストケース中にリリース予定の アーカイブをインストール これまではクラウド端末上でテストケース 中にアーカイブをインストールする手段が なかった。 そのため、バージョンアップ試験は実機端 末とTestFlight/Firebase App Testerを使って バージョンアップ後のアーカイブをインス トールすることで自動化していた。
53. 53 "クラウドにアップロードしたファイルを選択でき る"と何がうれしいのか？ 参考: https://github.com/Magic-Pod/japanese-issue-and-doc/issues/516 ところが、"クラウドにアップロードしたファ イルを選択できる"機能があることで、テス トケース中に「リリース予定のアーカイ ブ」(^1)をインストールすることができるよ うになった。 そのため、バージョンアップ試験の試験環 境は実機端末からMagicPodのクラウド端末 へ移行することができた。 ^1:「リリース予定のアーカイブ」は「MagicPodに最後にアップロードされたアーカイブ」 と いう制約はある。 バージョンアップ前の アーカイブでMagicPod のクラウド端末を起動 テストケース中にリ リース予定のアーカイ ブをインストール
54. 6-1.実機端末はできるだけ使わない 6-2.MagicPodの定期実行の結果はKintoneで管理 54 6.MagicPodではじめるがんばらない回帰試験の 自動化の一例
55. 55 ☆ アーカイブ NO.(^1) - iOS/Android ☆ GitHub Actions - GitHub Hosted Runner - Self Hosted Runner on Macbook @弊社オフィス ☆ iOS/Android 端末の試験環境 - MagicPod クラウド端末 - 弊社オフィスに置いてある実機端末 Schedule? ^1: アーカイブとは、それぞれ以下を指す。 試験環境が iOSシミュレータの場合は Appファイル、iOS 実機端末の場合は ipaファイル、Androidエミュレータ/実機端末の場合は apkファイル。 参考: https://support.magic-pod.com/hc/ja/articles/4408836787609 , https://github.com/logos , https://github.com/actions , https://magicpod.com/resources/brand ☆ MagicPodの定期実行の結果の記録 - 弊社のサービスのKintone MagicPod をこんなふうに使っています（再掲）
56. 56 6-2.MagicPodの定期実行の結果はKintoneで管理 参考: https://jp.cybozu.help/k/ja/user/app_settings/report.html 実行結果を日次で追ったり。(^1) ^1: デモ用に作成したグラフです。実際のものとは異なります。
57. 57 6-2.MagicPodの定期実行の結果はKintoneで管理 参考: https://jp.cybozu.help/k/ja/user/app_settings/report.html, https://support.magic-pod.com/hc/ja/articles/20127503942425 実行時間の推移を追うこともでき る。(^1) ^1: デモ用に作成したグラフです。実際のものとは異なります。
58. 58 6-2.MagicPodの定期実行の結果はKintoneで管理 参考: https://jp.cybozu.help/k/ja/user/app_settings/report.html, 落ちた原因でチームメンバーに共有したほうがいいものはメンションをつけて共有している。 (^1) ^1: デモ用に作成した画面です。実際のものとは異なります。
59. § 1.前提 § 2.MagicPodの導入経緯 § 3.MagicPodをこんなふうに使っています § 4.MagicPodで回帰試験の自動化をやってみてよかったこと § 5.MagicPodで回帰試験の自動化の失敗談と学び § 6.MagicPodではじめるがんばらない回帰試験の自動化の一例 § 7.MagicPodで回帰試験の自動化、その先に見据えること § 8.このLTで一番お伝えしたいこと 59 目次
60. 60 7.MagicPodで回帰試験の⾃動化、その先に⾒据 えること § 実行時間の短縮 § ⾃動化できていない回帰試験の⾃動化
61. § 1.前提 § 2.MagicPodの導入経緯 § 3.MagicPodをこんなふうに使っています § 4.MagicPodで回帰試験の自動化をやってみてよかったこと § 5.MagicPodで回帰試験の自動化の失敗談と学び § 6.MagicPodではじめるがんばらない回帰試験の自動化の一例 § 7.MagicPodで回帰試験の自動化、その先に見据えること § 8.このLTで一番お伝えしたいこと 61 目次
62. 62 8.このLTで⼀番お伝えしたいこと MagicPodは目的地に コスパよく向かうため の相乗りタクシー 参考: https://www.irasutoya.com/2018/02/blog-post_209.html
63. 63 MagicPodは目的地にコスパよく向かうための相乗 りタクシー MagicPod スプリント 試験実施の手間/スプリント 自動試験 ⾃動試験の⼿間、特に 導⼊コストを抑えるた めに何ができるか？ 考えよう！ ※上記のグラフはあくまで筆者のイメージです。
64. 64 MagicPodは目的地にコスパよく向かうための相 乗りタクシー 自動化そのものを頑張らないという割り切り § 自動化の内製化ではなく、ありもののSaaSの導入に踏み切っ た決め手はなにか？ § 自動化の内製化を妥協する代わりに、優先したかったことは なにか？
65. 相乗りタクシーであることはわかった けれども、それでも目的地まで行ける なら行きたい 、、。 65
66. 66 MagicPodという相乗りタクシーで目的地まで 向かうための思考フレームワーク(案) MagicPodの既存の機能の 延⻑でできそう 無理難題な感 少数のユーザーが抱えているニーズ 多くのユーザーが抱えているニーズ 参考: https://www.irasutoya.com/2018/02/blog-post_209.html
67. もし、MagicPodのユーザーさんや 機能がどんどん増えていくとしたら、、？ 67
68. 68 MagicPodという相乗りタクシーは より大きく、より快適になるのでは？笑 MagicPodの既存の機能の 延⻑でできそう 無理難題な感 少数のユーザーが抱えているニーズ 多くのユーザーが抱えているニーズ 参考: https://www.irasutoya.com/2018/02/blog-post_209.html
69. MagicPodのユーザーコミュニティーを もっともっと盛り上げましょう！！ 69
70. 70 参考資料 n Regression Testing : Definition, How it works | BrowserStack, https://www.browserstack.com/guide/regression-testing , 2023/07/14 n Appファイルの作成方法 – MagicPodヘルプセンター, https://support.magic- pod.com/hc/ja/articles/4408836787609 , 2023/07/14 n スタートガイド：5.テスト自動化の習慣を最速で定着させる(モバイルアプリ) – MagicPodヘルプセン ター, https://support.magic-pod.com/hc/ja/articles/7515195778457 , 2023/07/14 n 一括テスト実行・コマンドラインテスト実行（ローカルPCテスト） – MagicPodヘルプセン ター, https://support.magic-pod.com/hc/ja/articles/6468420020633 , 2023/07/14 n クラウドアップロードした任意のAppファイル(アーカイブ)をMagicPodのクラウド環境下でインストールできるよ うにする · Issue #516 · Magic-Pod/japanese-issue-and-doc, https://github.com/Magic-Pod/japanese-issue-and- doc/issues/516 , 2023/07/14 n iOSの実行時間がAndroidよりも遅い – MagicPodヘルプセンター, https://support.magic- pod.com/hc/ja/articles/20127503942425 , 2023/07/14 n グラフ機能の概要 | kintone ヘルプ, https://jp.cybozu.help/k/ja/user/app_settings/report.html , 2023/07/14
71. MagicPodで始める がんばらない回帰試験の⾃動化 ご清聴ありがとうございました！ Automated Regression Testing Journey with MagicPod