mablのエムスリーでの運用方法と日本で使う上で困っている点

mabl Meetup with Izzy！で行ったLTの資料です

Transcript

1. mablのエムスリーでの運用方法と
 日本で使う上で困っている点 2023/03/01　mabl Meetup with Izzy！
 エムスリー株式会社　城本　由希
 1
2. 自己紹介 • 城本　由希　@yuki_shiro_823 • エムスリー株式会社で組織横断のチームであるQAチームに所属 • 担当はリサーチの部門であるBIRで、アンケートの作成や配信などのシステ ムのQAを実施 • QAエンジニアのスキル向上を目指してQAチーム内の勉強会を開いたり、 外部の勉強会に参加するのが好き • 広島出身のカープファン 2
3. 今日話すこと 3 1. エムスリーでの運用 a. クラウドとローカルの使い分け b. 喜ばれていること 2. 日本での使用で困ること a. 言語 b. 時刻
4. エムスリーの紹介 4 “インターネットを活用し、 健康で楽しく長生きする人を一 人でも増やし、 不必要な医療コストを一円でも 減らすこと” →　テクノロジーで支援する
5. エムスリーでの運用 今回は、mablの導入やテストケース作成の話はスキップします。 導入や作成の話に興味がありましたら、以下のブログ等をご覧ください。 • mablの導入と開発・QA間の協力体制 • ローコードツールを用いてチーム全員で自動テスト導入 • https://www.m3tech.blog/archive/category/QA 5
6. エムスリーでの運用 ＜前提＞ mablでのテスト実行環境には大きくローカルとクラウドがあり、次のような特徴 がある 6 CLIで実行（ローカル環境） クラウド実行（クラウド環境） 想定する利用目的 完成したテストを通しで実行したいときや、 CI/CD連携 する場合など ローカルで成功したテストの最終確認や定期実行用 実行タイミング テストの動作確認や開発途中の確認など デプロイ時やリリース前の確認など メリット • ヘッドレスブラウザ指定で動作が高速 • ローカルのCIに組み込めばいくらでも定期実行 可能 • クロスブラウザ、自動修復 (オートヒール)、スク リーンショットなどのデータ保存が可能 • 定期実行された場合、パフォーマンスログ等も すべて保存される デメリット クラウドで可能なクロスブラウザ、自動修復 (オート ヒール)等が動かない • コンテナ起動などで動作が遅い • 実行回数がカウントされる mablヘルプページの mablの実行方法と実行環境の違いはなんですか より抜粋
7. エムスリーでの運用　環境の使い分け 7 ローカル実行 • 定期実行（チームごとにタイミ ングは異なる） • 開発中など気軽に実行したい とき • 失敗したテストの再実行や修 正確認 クラウド実行 • リリース前 • 証跡を残しておきたいシステ ム
8. エムスリーでの使い方　喜ばれている点 Renovate(ライブラリの定期アップデートツール)との相性がとてもよい • 現在四半期に一度RenovateによるPull Requestの取り込みを実施 • テストの依頼がありしだいテスト実行の実働は0.5h程度(＋失敗したケース の確認と再実行)でリリース可能 ※手動でリグレッションテストをしていた時代はテスト実行の実働に2日程度か かっていた 8 嬉しかったフィードバック 「全体的にリグレッションしてほしい」という要望のハードルが下がった
9. 日本での使用で困ること　言語編 • ローカルではパスしたテストがクラウドで失敗した • メッセージのAssertionで失敗している • なぜ？ 9 問題
10. 日本での使用で困ること　言語編 10 • テスト対象のシステムはブラウザの言語によって表示を分 けていた • クラウド実行だとUS/Englishだと判定される 原因 • 言語原因で失敗するものはローカル環境で実行する • IF文を挟んで日英両方で通るようにしておく 回避
11. 日本での使用で困ること　言語編 • 「support-browser-locale」のリクエストをぜひ実現してほ しい 11 要望
12. 日本での使用で困ること　時刻編 • ローカルではパスしたテストがクラウドで失敗した • 設定した/想定した日付・時刻で動かず落ちている • なぜ？ 12 問題
13. 日本での使用で困ること　時刻編 13 • テスト対象のシステムは国内でしか動かない想定 • 一部のシステムはサーバ側で操作の時刻を取得し日時判 定に使っている • クラウド実行だと時差により想定した時刻で動かない 原因 • 画面から日時を入力する場合はSnipetを作成して回避 （getTimezoneOffsetを利用） • 日付だけは一緒になるようクラウド実行のタイミングを調整 回避
14. 日本での使用で困ること　時刻編 • クラウド実行時にTimezoneを選べるようにして ほしいです！！ 14 要望
15. まとめ • エムスリーではローカル環境とクラウド環境を目的ごとに使い分けている • 特にRenovateとの相性がよく、全体的にリグレッションテストを実施する ハードルが下がっている • クラウドで使う上では、言語と時刻の問題が解決されるとより助かるので期 待！ 15
16. 16 ご清聴ありがとうございました！ よろしければ エムスリーテックブログもご覧ください。 自動化の取り組みなども紹介しています！ https://www.m3tech.blog/