Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
mablのエムスリーでの運用方法と日本で使う上で困っている点
Search
yuki-shiromoto
March 01, 2023
Technology
0
210
mablのエムスリーでの運用方法と日本で使う上で困っている点
mabl Meetup with Izzy!で行ったLTの資料です
yuki-shiromoto
March 01, 2023
Tweet
Share
More Decks by yuki-shiromoto
See All by yuki-shiromoto
ミスから学ぶ ~再発防止策をチームで考えるアプローチ
shiromoto
0
220
複数チームでmablを活用する際の課題と対応
shiromoto
1
1.7k
ローコード自動化ツールmablの導入と うまく利用するためのルールの策定
shiromoto
1
690
積んでいる勉強会のアーカイブみんなで見れば怖くないの~
shiromoto
0
120
エムスリーの QA チームでの取り組みについて
shiromoto
0
830
mablの導入と開発・QA間の協力体制
shiromoto
1
6.3k
DevOps組織でQAが加速のために取り組んでみたこと
shiromoto
2
1.3k
Other Decks in Technology
See All in Technology
Building a RAG-poweredAI chat appwith Python and VS Code
pamelafox
0
160
個人のAWSアカウントをマルチ運用してみた
miura55
2
130
今日からできる!簡単 .NET 高速化 Tips -2024 edition-
xin9le
7
4.1k
Documentação de Produtos: Artefatos essenciais na prática
rigolon
1
160
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
5
37k
[新卒向け研修資料] テスト文字列に「うんこ」と入れるな(2024年版)
infiniteloop_inc
5
18k
VSCodeの拡張機能を作っている話
ebarakazuhiro
1
810
Gitlab本から学んだこと - そーだいなるプレイバック / gitlab-book
soudai
7
1.3k
ワールドカフェI /チューターを改良する / World Café I and Improving the Tutors
ks91
PRO
0
150
How to do well in consulting–Balkan Ruby 2024
irinanazarova
0
150
.NET Profiler in 2024.
kkamegawa
2
1.7k
いいたいことちゃんという
tkengo
0
240
Featured
See All Featured
The Brand Is Dead. Long Live the Brand.
mthomps
49
29k
What’s in a name? Adding method to the madness
productmarketing
PRO
17
2.7k
10 Git Anti Patterns You Should be Aware of
lemiorhan
649
58k
Automating Front-end Workflow
addyosmani
1357
200k
Unsuck your backbone
ammeep
663
57k
Design by the Numbers
sachag
274
18k
What's new in Ruby 2.0
geeforr
337
31k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
275
13k
A Modern Web Designer's Workflow
chriscoyier
689
190k
Building Effective Engineering Teams - LeadDev
addyosmani
32
1.9k
Principles of Awesome APIs and How to Build Them.
keavy
121
16k
Art, The Web, and Tiny UX
lynnandtonic
290
19k
Transcript
mablのエムスリーでの運用方法と 日本で使う上で困っている点 2023/03/01 mabl Meetup with Izzy! エムスリー株式会社 城本 由希 1
自己紹介 • 城本 由希 @yuki_shiro_823 • エムスリー株式会社で組織横断のチームであるQAチームに所属 • 担当はリサーチの部門であるBIRで、アンケートの作成や配信などのシステ ムのQAを実施 • QAエンジニアのスキル向上を目指してQAチーム内の勉強会を開いたり、
外部の勉強会に参加するのが好き • 広島出身のカープファン 2
今日話すこと 3 1. エムスリーでの運用 a. クラウドとローカルの使い分け b. 喜ばれていること 2. 日本での使用で困ること
a. 言語 b. 時刻
エムスリーの紹介 4 “インターネットを活用し、 健康で楽しく長生きする人を一 人でも増やし、 不必要な医療コストを一円でも 減らすこと” → テクノロジーで支援する
エムスリーでの運用 今回は、mablの導入やテストケース作成の話はスキップします。 導入や作成の話に興味がありましたら、以下のブログ等をご覧ください。 • mablの導入と開発・QA間の協力体制 • ローコードツールを用いてチーム全員で自動テスト導入 • https://www.m3tech.blog/archive/category/QA 5
エムスリーでの運用 <前提> mablでのテスト実行環境には大きくローカルとクラウドがあり、次のような特徴 がある 6 CLIで実行(ローカル環境) クラウド実行(クラウド環境) 想定する利用目的 完成したテストを通しで実行したいときや、 CI/CD連携
する場合など ローカルで成功したテストの最終確認や定期実行用 実行タイミング テストの動作確認や開発途中の確認など デプロイ時やリリース前の確認など メリット • ヘッドレスブラウザ指定で動作が高速 • ローカルのCIに組み込めばいくらでも定期実行 可能 • クロスブラウザ、自動修復 (オートヒール)、スク リーンショットなどのデータ保存が可能 • 定期実行された場合、パフォーマンスログ等も すべて保存される デメリット クラウドで可能なクロスブラウザ、自動修復 (オート ヒール)等が動かない • コンテナ起動などで動作が遅い • 実行回数がカウントされる mablヘルプページの mablの実行方法と実行環境の違いはなんですか より抜粋
エムスリーでの運用 環境の使い分け 7 ローカル実行 • 定期実行(チームごとにタイミ ングは異なる) • 開発中など気軽に実行したい とき •
失敗したテストの再実行や修 正確認 クラウド実行 • リリース前 • 証跡を残しておきたいシステ ム
エムスリーでの使い方 喜ばれている点 Renovate(ライブラリの定期アップデートツール)との相性がとてもよい • 現在四半期に一度RenovateによるPull Requestの取り込みを実施 • テストの依頼がありしだいテスト実行の実働は0.5h程度(+失敗したケース の確認と再実行)でリリース可能 ※手動でリグレッションテストをしていた時代はテスト実行の実働に2日程度か かっていた
8 嬉しかったフィードバック 「全体的にリグレッションしてほしい」という要望のハードルが下がった
日本での使用で困ること 言語編 • ローカルではパスしたテストがクラウドで失敗した • メッセージのAssertionで失敗している • なぜ? 9 問題
日本での使用で困ること 言語編 10 • テスト対象のシステムはブラウザの言語によって表示を分 けていた • クラウド実行だとUS/Englishだと判定される 原因 • 言語原因で失敗するものはローカル環境で実行する
• IF文を挟んで日英両方で通るようにしておく 回避
日本での使用で困ること 言語編 • 「support-browser-locale」のリクエストをぜひ実現してほ しい 11 要望
日本での使用で困ること 時刻編 • ローカルではパスしたテストがクラウドで失敗した • 設定した/想定した日付・時刻で動かず落ちている • なぜ? 12 問題
日本での使用で困ること 時刻編 13 • テスト対象のシステムは国内でしか動かない想定 • 一部のシステムはサーバ側で操作の時刻を取得し日時判 定に使っている • クラウド実行だと時差により想定した時刻で動かない 原因
• 画面から日時を入力する場合はSnipetを作成して回避 (getTimezoneOffsetを利用) • 日付だけは一緒になるようクラウド実行のタイミングを調整 回避
日本での使用で困ること 時刻編 • クラウド実行時にTimezoneを選べるようにして ほしいです!! 14 要望
まとめ • エムスリーではローカル環境とクラウド環境を目的ごとに使い分けている • 特にRenovateとの相性がよく、全体的にリグレッションテストを実施する ハードルが下がっている • クラウドで使う上では、言語と時刻の問題が解決されるとより助かるので期 待! 15
16 ご清聴ありがとうございました! よろしければ エムスリーテックブログもご覧ください。 自動化の取り組みなども紹介しています! https://www.m3tech.blog/