Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
mablのエムスリーでの運用方法と日本で使う上で困っている点
Search
yuki-shiromoto
March 01, 2023
Technology
0
230
mablのエムスリーでの運用方法と日本で使う上で困っている点
mabl Meetup with Izzy!で行ったLTの資料です
yuki-shiromoto
March 01, 2023
Tweet
Share
More Decks by yuki-shiromoto
See All by yuki-shiromoto
ミスから学ぶ ~再発防止策をチームで考えるアプローチ
shiromoto
0
280
複数チームでmablを活用する際の課題と対応
shiromoto
1
1.9k
ローコード自動化ツールmablの導入と うまく利用するためのルールの策定
shiromoto
1
820
積んでいる勉強会のアーカイブみんなで見れば怖くないの~
shiromoto
0
130
エムスリーの QA チームでの取り組みについて
shiromoto
0
930
mablの導入と開発・QA間の協力体制
shiromoto
1
6.8k
DevOps組織でQAが加速のために取り組んでみたこと
shiromoto
2
1.5k
Other Decks in Technology
See All in Technology
SSMRunbook作成の勘所_20241120
koichiotomo
2
150
OCI Security サービス 概要
oracle4engineer
PRO
0
6.5k
New Relicを活用したSREの最初のステップ / NRUG OKINAWA VOL.3
isaoshimizu
2
610
サイバーセキュリティと認知バイアス:対策の隙を埋める心理学的アプローチ
shumei_ito
0
390
Adopting Jetpack Compose in Your Existing Project - GDG DevFest Bangkok 2024
akexorcist
0
110
開発生産性を上げながらビジネスも30倍成長させてきたチームの姿
kamina_zzz
2
1.7k
個人でもIAM Identity Centerを使おう!(アクセス管理編)
ryder472
3
220
Amazon CloudWatch Network Monitor のススメ
yuki_ink
1
210
DynamoDB でスロットリングが発生したとき/when_throttling_occurs_in_dynamodb_short
emiki
0
130
なぜ今 AI Agent なのか _近藤憲児
kenjikondobai
4
1.4k
オープンソースAIとは何か? --「オープンソースAIの定義 v1.0」詳細解説
shujisado
9
1k
Lambda10周年!Lambdaは何をもたらしたか
smt7174
2
110
Featured
See All Featured
Building a Modern Day E-commerce SEO Strategy
aleyda
38
6.9k
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.1k
Fantastic passwords and where to find them - at NoRuKo
philnash
50
2.9k
YesSQL, Process and Tooling at Scale
rocio
169
14k
Agile that works and the tools we love
rasmusluckow
327
21k
Practical Orchestrator
shlominoach
186
10k
Rebuilding a faster, lazier Slack
samanthasiow
79
8.7k
Gamification - CAS2011
davidbonilla
80
5k
Making the Leap to Tech Lead
cromwellryan
133
8.9k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
229
52k
How GitHub (no longer) Works
holman
310
140k
Art, The Web, and Tiny UX
lynnandtonic
297
20k
Transcript
mablのエムスリーでの運用方法と 日本で使う上で困っている点 2023/03/01 mabl Meetup with Izzy! エムスリー株式会社 城本 由希 1
自己紹介 • 城本 由希 @yuki_shiro_823 • エムスリー株式会社で組織横断のチームであるQAチームに所属 • 担当はリサーチの部門であるBIRで、アンケートの作成や配信などのシステ ムのQAを実施 • QAエンジニアのスキル向上を目指してQAチーム内の勉強会を開いたり、
外部の勉強会に参加するのが好き • 広島出身のカープファン 2
今日話すこと 3 1. エムスリーでの運用 a. クラウドとローカルの使い分け b. 喜ばれていること 2. 日本での使用で困ること
a. 言語 b. 時刻
エムスリーの紹介 4 “インターネットを活用し、 健康で楽しく長生きする人を一 人でも増やし、 不必要な医療コストを一円でも 減らすこと” → テクノロジーで支援する
エムスリーでの運用 今回は、mablの導入やテストケース作成の話はスキップします。 導入や作成の話に興味がありましたら、以下のブログ等をご覧ください。 • mablの導入と開発・QA間の協力体制 • ローコードツールを用いてチーム全員で自動テスト導入 • https://www.m3tech.blog/archive/category/QA 5
エムスリーでの運用 <前提> mablでのテスト実行環境には大きくローカルとクラウドがあり、次のような特徴 がある 6 CLIで実行(ローカル環境) クラウド実行(クラウド環境) 想定する利用目的 完成したテストを通しで実行したいときや、 CI/CD連携
する場合など ローカルで成功したテストの最終確認や定期実行用 実行タイミング テストの動作確認や開発途中の確認など デプロイ時やリリース前の確認など メリット • ヘッドレスブラウザ指定で動作が高速 • ローカルのCIに組み込めばいくらでも定期実行 可能 • クロスブラウザ、自動修復 (オートヒール)、スク リーンショットなどのデータ保存が可能 • 定期実行された場合、パフォーマンスログ等も すべて保存される デメリット クラウドで可能なクロスブラウザ、自動修復 (オート ヒール)等が動かない • コンテナ起動などで動作が遅い • 実行回数がカウントされる mablヘルプページの mablの実行方法と実行環境の違いはなんですか より抜粋
エムスリーでの運用 環境の使い分け 7 ローカル実行 • 定期実行(チームごとにタイミ ングは異なる) • 開発中など気軽に実行したい とき •
失敗したテストの再実行や修 正確認 クラウド実行 • リリース前 • 証跡を残しておきたいシステ ム
エムスリーでの使い方 喜ばれている点 Renovate(ライブラリの定期アップデートツール)との相性がとてもよい • 現在四半期に一度RenovateによるPull Requestの取り込みを実施 • テストの依頼がありしだいテスト実行の実働は0.5h程度(+失敗したケース の確認と再実行)でリリース可能 ※手動でリグレッションテストをしていた時代はテスト実行の実働に2日程度か かっていた
8 嬉しかったフィードバック 「全体的にリグレッションしてほしい」という要望のハードルが下がった
日本での使用で困ること 言語編 • ローカルではパスしたテストがクラウドで失敗した • メッセージのAssertionで失敗している • なぜ? 9 問題
日本での使用で困ること 言語編 10 • テスト対象のシステムはブラウザの言語によって表示を分 けていた • クラウド実行だとUS/Englishだと判定される 原因 • 言語原因で失敗するものはローカル環境で実行する
• IF文を挟んで日英両方で通るようにしておく 回避
日本での使用で困ること 言語編 • 「support-browser-locale」のリクエストをぜひ実現してほ しい 11 要望
日本での使用で困ること 時刻編 • ローカルではパスしたテストがクラウドで失敗した • 設定した/想定した日付・時刻で動かず落ちている • なぜ? 12 問題
日本での使用で困ること 時刻編 13 • テスト対象のシステムは国内でしか動かない想定 • 一部のシステムはサーバ側で操作の時刻を取得し日時判 定に使っている • クラウド実行だと時差により想定した時刻で動かない 原因
• 画面から日時を入力する場合はSnipetを作成して回避 (getTimezoneOffsetを利用) • 日付だけは一緒になるようクラウド実行のタイミングを調整 回避
日本での使用で困ること 時刻編 • クラウド実行時にTimezoneを選べるようにして ほしいです!! 14 要望
まとめ • エムスリーではローカル環境とクラウド環境を目的ごとに使い分けている • 特にRenovateとの相性がよく、全体的にリグレッションテストを実施する ハードルが下がっている • クラウドで使う上では、言語と時刻の問題が解決されるとより助かるので期 待! 15
16 ご清聴ありがとうございました! よろしければ エムスリーテックブログもご覧ください。 自動化の取り組みなども紹介しています! https://www.m3tech.blog/