MagicPodを使い倒すメドレーの活用術 / How to utilize of MagicPod

2025年9月5日 (金) に開催されたMagicPodユーザ ミートアップ ( https://magicpod.com/events/user-meetup-2025/ )での発表資料です。
発表者情報：医療プラットフォーム本部　QAエンジニア　米山允章

Transcript

1. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 1 総実⾏回数 15万回越え！ MagicPodを使い倒すメドレーの活⽤術 2025/9/5 MagicPodミートアップ
2. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 2 今⽇⼀番伝えたいこと MagicPodを⺠主化しよう はじめに
3. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 3 メドレー ✖ MagicPod プロダクト群
4. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 4 メドレー ✖ MagicPod MagicPodの導⼊状況 ※トライアル中のプロダクトを含む
5. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 5 医療PFの開発体制 メドレー ✖ MagicPod Web iOS Android PM QA 基盤 Web 基盤 PM QA デザイナー アプリ インフラ PM デザイナー アプリ インフラ PM デザイナー 医療機関向け 患者向け 薬局向け ⻭科向け QA ↑QAエンジニアが不在のチームもある
6. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 6 メドレー ✖ MagicPod メドレー × MagicPodのこれまで 2020年10⽉: E2Eテスト⾃動化の検討を開始、複数のツールをトライアル  11⽉: モバイル版の利⽤を開始 2021年1⽉ : ブラウザ版の利⽤を開始。導⼊経緯をテックブログで紹介  11⽉: Dentisプロジェクトが開始 2022年1⽉ : 第2回ユーザーミートアップで@yoneyama 登壇  4⽉ : ユーザー事例紹介として取り上げて頂く 2024年5⽉ : Laluneプロジェクトが開始  7⽉ : ヘルススコアNightで@daishuが登壇 -> Blog Award受賞🎉 2025年3⽉ : ⼈材PFでのプロジェクトが開始
7. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 7 メドレー ✖ MagicPod テストケース総実行回数 プロジェクト バッチ実行回数 テストケース実行回数 medical_platform 6,253回 93,795回 clinics-android 1,575回 31,500回 clinics-ios 1,415回 20,659回 dentis 1,140回 19,950回 lalune-ios 491回 4,910回 lalune-android 483回 4,589回 JinzaiPF 143回 429回 テストケース総実行回数 : 175,832回
8. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 8 メドレー ✖ MagicPod テストの成功率 プロジェクト テストケース成功率 バッチ成功率 JinzaiPF 95.0% 81.0% lalune-android 92.2% 78.0% dentis 91.7% 74.0% clinics-android 91.0% 71.0% medical_platform 90.5% 77.0% lalune-ios 90.0% 68.0% clinics-ios 87.7% 59.0%
9. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 9 テストケース数とステップ数平均、実⾏時間 プロジェクト テストケース数 平均ステップ数 / ケース 平均実行時間 / バッチ medical_platform 80ケース ~200ステップ 180分 clinics-android 22ケース ~150ステップ 64分 clinics-ios 23ケース ~160ステップ 130分 dentis 29ケース ~180ステップ 158分 JinzaiPF 5ケース ~120ステップ 19分 lalune-ios 11ケース ~35ステップ 40分 lalune-android 15ケース ~30ステップ 25分 メドレー ✖ MagicPod
10. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 10 データからの所感 • 実⾏時間 ◦ シンプルにステップ数 × シナリオ数に比例 ◦ 日中に実行する場合は2時間を超えると長い ◦ iOSとAndroidで実⾏時間を⽐較すると iOS は Androidの約2倍 • テストでの不具合検出率もステップ数 × シナリオ数 に⽐例する印象 • テストケースの成功率は90%以上が理想 ◦ 一括実行の成功率が80%を超えるとメンテは週一程度に収まる • AIを使うとこの辺りのデータもすぐ出せて便利 メドレー ✖ MagicPod
11. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 11 各プロダクトでの活⽤術
12. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 12 プロダクト概要 対象PF : Webブラウザ 利⽤ユーザ: 患者、 医師 (基本はto C) 概要 : 856名の医師とともに医療事典を作成するサービス フェーズ : サステナンス (安定運⽤を重視） QA体制 : 専任のアサインなし 医療事典MEDLEY
13. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 13 運用面での工夫 ① リリース⼿順の中にMagicPod実⾏が含まれている ② 本番環境でもテストを回している ③ テストが落ちた場合のみQAエンジニア/開発担当者が確認 医療事典MEDLEY
14. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 14 運用面での学び (1/3) • 仕様変更が発⽣しないプロダクトに対するアプローチ ◦ 仕様変更が発生しないプロダクトに対しては、ライブラリアップデートにお けるデグレを検知することがテストの主な役割 ◦ E2Eテストを一度整備できれば運用コストもほぼかからない ◦ 自動テストがないと、このようなサービスに対してもリリース毎に手動テス トが必要になる • 結論: E2Eテストを整備して流しておくことは⾮常にコスパが良い 医療事典MEDLEY
15. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 15 運用面での学び (2/3) • 本番環境でE2Eテストを流すことについて ◦ 認証等のブロッカーがなければ、本番環境でもE2Eテストを流すことができる ◦ ポイントとしては本番環境のみ起こりえる不具合にどんなケースがあるか • 運⽤してみた所感 ◦ 本番でも実行していることで問題の切り分けは容易になる ◦ 一定の安心感も持てる ◦ 本番のみ発生する不具合は非常に稀だが、これまでに2件の障害を検知し ており、それだけでも回す価値はある ▪ devと本番の差異の例としては広告のバナー画像など 医療事典MEDLEY
16. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 16 運用面での学び (3/3) • QAのアサインがないチームでの運⽤について ◦ 運用をいかにQAエンジニアに依存せずに回せるかがポイント • 運⽤してみた所感 ◦ 手順を定常的な運用マニュアルにも載せることで誰でも使える状 況を作れば良し ◦ CI連携した上でMagicPodの実行をワークフローに入れ込むとなお 良し ◦ 実行結果は開発側も確認できる場所に通知する 医療事典MEDLEY
17. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 17 よくあるフロー 医療事典MEDLEY ビルドの準備ができました！ テストをお願いできますか？ 了解です！ MagicPod流しますね 実⾏結果はhogeでした！ ありがとうございます！
18. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 18 医療事典のフロー 医療事典MEDLEY 準備できたから リリースフローをポチッと.. OK、リリースします 今⽇はxxやるぞ〜
19. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 19 プロダクト概要 概要   : Web予約‧Web問診‧オンライン診療‧電⼦カルテ‧レセコン‧経営 分析という独⽴したシステムをすべて内包したサービス 対象PF   : Webブラウザ 利⽤ユーザ : 医療機関 フェーズ   : グロース QA体制   : 3名
20. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 20 運用面で工夫していること • 機能数が多い中で、E2Eテストでも90%程の機能をカバー • QAエンジニアも複数名いるためテストケースのレビューも⾏っている • ⽇々のテスト結果確認もチームで回している • 決済のテストではStripeのAPIレスポンスまで確認 • 25上期実績として10件以上のhotfixを未然に防いでいる
21. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 21 テストカバレッジの可視化 機能を⼀覧化し、E2Eテストの実装状況を可視化 • 何が⾃動化され、⾃動化タスクとして何が残っているのか可視化できるため、新し く加わったメンバも含めて⽬線合わせができる • チームや個⼈の⽬標作成にも役⽴つ • 機能の粒度は多少バラツキも出てしまうが、AIに出してもらうことも可能
22. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 22 テストのレビュー テストケースにコメントを⼊れる形でレビューを実施 • 属⼈化防⽌やテストの質向上の観点でレビューは⾏なった⽅が良い • (レビュー機能が欲しいです!!)
23. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 23 決済のテスト Web APIコールからStripeのAPIを叩いてレスポンスを確認 • UI上は問題なくても決済サービス上は期待通りの処理がされていないケースが ある • StripeのUIでの確認も可能だが、APIコールの⽅が圧倒的に早く安定する • テスト⽤のAPIが提供されている場合はE2Eテストでも有効活⽤する
24. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 24 CLINICS (患者アプリ) 概要 : オンライン診療‧服薬指導からお薬の受取までの”オンライン医療体験”を  このアプリ⼀つで実現することができる 対象PF : Webブラウザ/iOS/Android (to C) 利⽤ユーザ : 患者 フェーズ : グロース QA体制 : 1名 ※採⽤募集中です！！
25. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 25 安定運⽤ ヘルススコアは基本100をキープ
26. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 26 CI連携 • AndroidはGitHub Actions、iOSはBitrise経由でMagicPodの実⾏が可能 • 任意のブランチでマージ前にE2Eテストを実⾏することができる
27. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 27 開発側でMagicPodを修正するフロー • 開発側でMagicPodのテストを改修することもある • 影響範囲の特定ではMagicPodのMCPが便利
28. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 28 プロダクト概要 概要   ：AIで⽣理‧排卵を⾼精度予測 ⽣理管理‧妊活アプリ 対象PF  : iOS/Android 利⽤ユーザ : 患者 フェーズ  : グロース/運⽤
29. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 29 E2Eテストの高速化 • パラレル実⾏を⾏っており、実⾏時間は 直列 : 平均約27分 パラレル : 平均約18分 • 各テストケースでParallel1または2をラベル • 実⾏パターンを2つ作り、⽚⽅は1のみ もう⽚⽅は2のみと振り分ける • 各テストケースは単独で実⾏可能になるよう⼯夫
30. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 30 その他 • 全⾓⽂字が必要な箇所で、 半⾓数字を全⾓数字変換するAWS Lambdaのスクリプトを ⽤意しAPIコールで実⾏ • 全てのスクリーンショットに名前をつけセクションで管理 アプリのバージョンアップ時にはスクショを上書きする ◦ 上書きすると対応していない別のステップは⚠がつく => 影響範囲だとわかる
31. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 31 プロダクト概要 対象PF : Webブラウザ 利⽤ユーザ : 患者/薬局 フェーズ : サステナンス QA体制 : 専任のアサインなし
32. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 32 週1時間の自動化タイム • 他チームを担当しているQAエンジニア2名で毎週1時間⾃動化を推進 • 約半年間強をかけて⾃動化可能な所はほぼ⾃動化完了 • ⾃動テストのメンテナンスも⼆⼈体制
33. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 33 プロダクト概要 概要   ：患者とつながるクラウド⻭科業務⽀援システム 対象PF  : Web 利⽤ユーザ : ⻭科診療所/患者 フェーズ  : グロース
34. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 34 E2Eテスト実⾏⽤の環境を新設     当初実⾏していた環境はやや不安定で、テストも落ちていた    ⽇中はデプロイされないE2Eテスト⽤の環境を⽤意した
35. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 35 まとめ ⾃動運転レベルの定義
36. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 36 まとめ ⾃動テストに置き換えた運⽤レベル (平成) 運用レベル 運用体制 運用イメージ レベル1 SETのみで運用 SETが自動テストの運用を完全に担う レベル2 SETとQAチーム QAEとSETチームが協働し、知識やノウハウの共 有が進む レベル3 QAチームで運用 QAチームが運用を引き継ぎ、SETは必要に応じて 助言やサポートを行う レベル4 QAチームで運用 QAチームが完全に自立して運用を行う最終段階
37. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 37 まとめ ⾃動テストに置き換えた運⽤レベル (現在) 運用レベル 運用体制 運用イメージ レベル1 QAEのみで運用 QAEが運用を完全に担う レベル2 QAEと開発チーム QAEと開発チームが協働し、知識やノウハウの共 有が進む レベル3 開発チームで運用 開発チームが運用を引き継ぎ、 QAEは必要に応じ て助言やサポートを行う レベル4 開発チームで運用 開発チームが完全に自立して運用を行う最終段階 プロダクトのフェーズに合わせて⾃動テストの運⽤⽅法は変わる
38. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 38 まとめ ⺠主化とは > 従来専⾨家しか扱えなかったものを、組織内のあらゆる⼈が活⽤で きる状態にし、迅速な意思決定や業務効率の向上を図ること E2Eテスト領域でQAエンジニアしか扱ってなかったものは？ -> テストのメンテナンス / 実⾏ / 結果確認 / 知識 etc -> ほぼ全て -> これらは本当にQAEしかできないか？ -> No -> これらを展開しつつ、誰でも出来るようにしていく (⺠主化)
39. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 39 まとめ さいごに MagicPodを⺠主化しよう