Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
mablのエムスリーでの運用方法と日本で使う上で困っている点
Search
yuki-shiromoto
March 01, 2023
Technology
0
230
mablのエムスリーでの運用方法と日本で使う上で困っている点
mabl Meetup with Izzy!で行ったLTの資料です
yuki-shiromoto
March 01, 2023
Tweet
Share
More Decks by yuki-shiromoto
See All by yuki-shiromoto
ミスから学ぶ ~再発防止策をチームで考えるアプローチ
shiromoto
0
270
複数チームでmablを活用する際の課題と対応
shiromoto
1
1.8k
ローコード自動化ツールmablの導入と うまく利用するためのルールの策定
shiromoto
1
810
積んでいる勉強会のアーカイブみんなで見れば怖くないの~
shiromoto
0
130
エムスリーの QA チームでの取り組みについて
shiromoto
0
930
mablの導入と開発・QA間の協力体制
shiromoto
1
6.8k
DevOps組織でQAが加速のために取り組んでみたこと
shiromoto
2
1.5k
Other Decks in Technology
See All in Technology
「 SharePoint 難しい」ってよく聞くけど、そんなに言うなら8歳の息子に試してもらった
taichinakamura
1
590
AWSコンテナ本出版から3年経った今、もし改めて執筆し直すなら / If I revise our container book
iselegant
15
3.9k
ExaDB-D dbaascli で出来ること
oracle4engineer
PRO
0
3.6k
一休.comレストランにおけるRustの活用
kymmt90
3
580
Commitment vs Harrisonism - Keynote for Scrum Niseko 2024
miholovesq
6
1k
「最高のチューニング」をしないために / hack@delta 24.10
fujiwara3
21
3.4k
グローバル展開を見据えたサービスにおける機械翻訳プラクティス / dp-ai-translating
cyberagentdevelopers
PRO
1
150
大規模データ基盤チームのオンプレTiDB運用への挑戦 / dpu-tidb
cyberagentdevelopers
PRO
1
110
2024-10-30-reInventStandby_StudyGroup_Intro
shinichirokawano
1
610
APIテスト自動化の勘所
yokawasa
7
4.1k
分布で見る効果検証入門 / ai-distributional-effect
cyberagentdevelopers
PRO
4
690
Emacs x Nostr
hakkadaikon
1
150
Featured
See All Featured
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
32
1.8k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
107
49k
A designer walks into a library…
pauljervisheath
202
24k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
504
140k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
250
21k
Designing on Purpose - Digital PM Summit 2013
jponch
115
6.9k
How to Think Like a Performance Engineer
csswizardry
19
1.1k
A better future with KSS
kneath
238
17k
For a Future-Friendly Web
brad_frost
175
9.4k
Building a Modern Day E-commerce SEO Strategy
aleyda
38
6.9k
Build your cross-platform service in a week with App Engine
jlugia
229
18k
GitHub's CSS Performance
jonrohan
1030
460k
Transcript
mablのエムスリーでの運用方法と 日本で使う上で困っている点 2023/03/01 mabl Meetup with Izzy! エムスリー株式会社 城本 由希 1
自己紹介 • 城本 由希 @yuki_shiro_823 • エムスリー株式会社で組織横断のチームであるQAチームに所属 • 担当はリサーチの部門であるBIRで、アンケートの作成や配信などのシステ ムのQAを実施 • QAエンジニアのスキル向上を目指してQAチーム内の勉強会を開いたり、
外部の勉強会に参加するのが好き • 広島出身のカープファン 2
今日話すこと 3 1. エムスリーでの運用 a. クラウドとローカルの使い分け b. 喜ばれていること 2. 日本での使用で困ること
a. 言語 b. 時刻
エムスリーの紹介 4 “インターネットを活用し、 健康で楽しく長生きする人を一 人でも増やし、 不必要な医療コストを一円でも 減らすこと” → テクノロジーで支援する
エムスリーでの運用 今回は、mablの導入やテストケース作成の話はスキップします。 導入や作成の話に興味がありましたら、以下のブログ等をご覧ください。 • mablの導入と開発・QA間の協力体制 • ローコードツールを用いてチーム全員で自動テスト導入 • https://www.m3tech.blog/archive/category/QA 5
エムスリーでの運用 <前提> mablでのテスト実行環境には大きくローカルとクラウドがあり、次のような特徴 がある 6 CLIで実行(ローカル環境) クラウド実行(クラウド環境) 想定する利用目的 完成したテストを通しで実行したいときや、 CI/CD連携
する場合など ローカルで成功したテストの最終確認や定期実行用 実行タイミング テストの動作確認や開発途中の確認など デプロイ時やリリース前の確認など メリット • ヘッドレスブラウザ指定で動作が高速 • ローカルのCIに組み込めばいくらでも定期実行 可能 • クロスブラウザ、自動修復 (オートヒール)、スク リーンショットなどのデータ保存が可能 • 定期実行された場合、パフォーマンスログ等も すべて保存される デメリット クラウドで可能なクロスブラウザ、自動修復 (オート ヒール)等が動かない • コンテナ起動などで動作が遅い • 実行回数がカウントされる mablヘルプページの mablの実行方法と実行環境の違いはなんですか より抜粋
エムスリーでの運用 環境の使い分け 7 ローカル実行 • 定期実行(チームごとにタイミ ングは異なる) • 開発中など気軽に実行したい とき •
失敗したテストの再実行や修 正確認 クラウド実行 • リリース前 • 証跡を残しておきたいシステ ム
エムスリーでの使い方 喜ばれている点 Renovate(ライブラリの定期アップデートツール)との相性がとてもよい • 現在四半期に一度RenovateによるPull Requestの取り込みを実施 • テストの依頼がありしだいテスト実行の実働は0.5h程度(+失敗したケース の確認と再実行)でリリース可能 ※手動でリグレッションテストをしていた時代はテスト実行の実働に2日程度か かっていた
8 嬉しかったフィードバック 「全体的にリグレッションしてほしい」という要望のハードルが下がった
日本での使用で困ること 言語編 • ローカルではパスしたテストがクラウドで失敗した • メッセージのAssertionで失敗している • なぜ? 9 問題
日本での使用で困ること 言語編 10 • テスト対象のシステムはブラウザの言語によって表示を分 けていた • クラウド実行だとUS/Englishだと判定される 原因 • 言語原因で失敗するものはローカル環境で実行する
• IF文を挟んで日英両方で通るようにしておく 回避
日本での使用で困ること 言語編 • 「support-browser-locale」のリクエストをぜひ実現してほ しい 11 要望
日本での使用で困ること 時刻編 • ローカルではパスしたテストがクラウドで失敗した • 設定した/想定した日付・時刻で動かず落ちている • なぜ? 12 問題
日本での使用で困ること 時刻編 13 • テスト対象のシステムは国内でしか動かない想定 • 一部のシステムはサーバ側で操作の時刻を取得し日時判 定に使っている • クラウド実行だと時差により想定した時刻で動かない 原因
• 画面から日時を入力する場合はSnipetを作成して回避 (getTimezoneOffsetを利用) • 日付だけは一緒になるようクラウド実行のタイミングを調整 回避
日本での使用で困ること 時刻編 • クラウド実行時にTimezoneを選べるようにして ほしいです!! 14 要望
まとめ • エムスリーではローカル環境とクラウド環境を目的ごとに使い分けている • 特にRenovateとの相性がよく、全体的にリグレッションテストを実施する ハードルが下がっている • クラウドで使う上では、言語と時刻の問題が解決されるとより助かるので期 待! 15
16 ご清聴ありがとうございました! よろしければ エムスリーテックブログもご覧ください。 自動化の取り組みなども紹介しています! https://www.m3tech.blog/