【Developers Summit 2024】自動テスト歴0年でもできる！～1年目で得られた成果と展望～

自動テスト歴0年でもできる！～1年目で得られた成果と展望～ 2024/2/15-16 Developers Summit 2024

Speaker Proﬁle odasho (Shohei Oda) Quality Advocate / Product Marketing,
mabl Japan 国内SIerにてインフラやPaaS App開発まで幅広く経験。その後コミュニティ活動をきっかけにMicrosoftに入社。EvangelistとしてAudience Marketingに従事。2022年10月にmablにJoin、 TestingやQAの啓蒙活動に取り組む。現在もDevRel Meetup in Tokyoを中心に複数のコミュニティを運営/支援。 iPhone絶対並んで買うおじさん(2011 - 2023) Most DevRel Committer 2020、名城大学情報工学部非常勤講師 Roku Mikami 2018年からテストエンジニアとして活動を始め、4年ほどシステムテスト・アドホックテストを中心としたテスト実行業務に従事する。 2022年11月にBitkeyにJoinし、テスト分析・テスト設計・テスト実装のテスト活動を経験。現在は自動テストエンジニアとしてmablを利用したシステムテスト自動化の方針作成およびテスト自動化作業に取り組んでいる。 Product Quality Testing / Automation Engineer in System Test, Bitkey odashoDotCom odasho odasho0618

What's mabl? • 「めいぶる」と読みます • Stackdriver（現Google Cloud Operations）の創業者IzzyとDanが2017年ボストンで創業 •
グローバルの社員数100人+ • GV、CRV、Amplify、Vista Equity Partner、 Presidioより 7,700万ドル (90億円) を調達 • 2021年度の売上、前年対比300％+増 • Fortune Globalの35社含む300社+が採用 • 2021年8月に日本法人設立

DevOpsに対応したテスト自動化プラットフォームノーコード/ローコード UI / API & Mobileテストデータ/インサイト結果データを自動取得単一プラットフォーム
E2E、API、A11y、Perf 顧客体験を広くカバー　 Email送信/PDFアサート開発ツール連携 GitHub、Slack、Jira等テストメンテナンス削減テストの自動修復

ローコードテスト自動化 mablのスコープ単体テスト API/結合テスト UI/E2Eテスト探索的テスト

ローコードで「意図」と「実装」を分ける

自動修復でメンテナンス作業を削減

GCP上で並列テストを無制限に実行 Show screenshot of a plan

テストカバレッジレポート

パフォーマンス評価

10倍早くテスト実行より良い品質のソフトウェアをより早く提供 ROI data based on customer case studies
compared to Selenium frameworks and other commercial tools 3倍早くテストを構築速く作る効率改善コスト削減高速化 70% メンテナンス時間を削減 80% Seleniumより低コスト

アクティブユーザー数 48% 2% 13% 2% 2% 12% 21%

品質指標を使用した継続的な改善非機能的品質の検証シフトレフト: 自動化されたテストを開発に組み込む機能テスト自動化のカバレッジ拡大開発後に手動でテスト品質エンジニアリング (QE) ジャーニー QEの成熟度

◾本セッションについて(1) 株式会社ビットキーでは以前よりテスト設計やテスト実装などの活動はテストエンジニアを中心に取り組んでおり、さらに2023年1月からはmablを使った ”E2Eテストの自動化”にチャレンジしています。

◾本セッションについて(2) 本セッションではテストエンジニアが扱うテストが“手動”から “自動”に切り替わった際の変化をビットキー社での導入事例を交えてご紹介いたします。

◾本セッションのゴール(1) セッションを通じて、以下の知見が得られます。 ①1200を越えるテストケースの自動化を通じて得た知見から、その効果が理解できる

◾本セッションのゴール(2) セッションを通じて、以下の知見が得られます。 ②自社ガイドラインの作成など、テスト自動化までの具体的な道のりを追体験して、ツールの導⼊判断から活用方法まで知ることができる。

◾本セッションのゴール(3) セッションを通じて、以下の知見が得られます。 ③テストエンジニアの今後のキャリア形成の参考にできる

22 Copyright © 2023 Bitkey Inc. All right reserved. ◾所属
株式会社ビットキー | テスト自動化エンジニア自己紹介 ◾経歴 [2018~] ・テストエンジニアとして活動を開始・システムテスト、アドホックテストを中心と　したテスト実行業務に従事 [2022~] ・2022年11月にBitkeyにJoin ・テスト分析・テスト設計・テスト実装の　テスト活動を経験・現在はテスト自動化エンジニアとして活躍中三上鹿 Mikami Roku ▶[Speaker Deck] : r0ku

24 Copyright © 2023 Bitkey Inc. All right reserved. 目次
1.テスト自動化エンジニアになってから1年でやったこと 2.mablを使った動かしやすい、作りやすい、読みやすい　テスト自動化方法 3.テスト自動化エンジニアになってからの1年をふりかえって

1.テスト自動化エンジニアになってから1年でやったこと ①ビットキーのプロダクトとQA体制について ②この1年でのテスト自動化の実績

27 Copyright © 2023 Bitkey Inc. All right reserved. 何をテストしているの？
1.テスト自動化エンジニアになってから1年でやったこと

スマートロックを中心としたサービスのテストをしています！

30 Copyright © 2023 Bitkey Inc. All right reserved. Third
Place  Space Support  Mobile/Tablet  Office  Mobile/Tablet  QA  Conference  Mobile App  Crew  Admin  Webアプリ  Mobile/Tablet  Webアプリ  QA  QA  QA  1.テスト自動化エンジニアになってから1年でやったこと ◾ビットキーのプロダクトとQA体制

Place  Space Support  Mobile App  Office  Mobile/Tablet  QA  Conference  Mobile App  Crew  Admin  Webアプリ  Mobile/Tablet  Webアプリ  QA  QA  QA  ・ウェブアプリ4つ・モバイルアプリ4つ 1.テスト自動化エンジニアになってから1年でやったこと ◾ビットキーのプロダクトとQA体制

Place  Space Support  Mobile App  Office  Mobile/Tablet  QA  Conference  Mobile App  Crew  Admin  Webアプリ  Mobile/Tablet  Webアプリ  QA  QA  QA  ・ウェブアプリ4つ・モバイルアプリ4つ・ウェブアプリ：QAチーム2つ・モバイルアプリ：QAチーム2つ 1.テスト自動化エンジニアになってから1年でやったこと ◾ビットキーのプロダクトとQA体制

Place  Office  QA  Conference  Admin  Webアプリ  Webアプリ  QA  1.テスト自動化エンジニアになってから1年でやったこと ◾ビットキーのプロダクトとQA体制

Place  Office  QA  Conference  Admin  Webアプリ  Webアプリ  QA  この1年ではBtoB向けサービスのテスト自動化に注力！ 1.テスト自動化エンジニアになってから1年でやったこと ◾ビットキーのプロダクトとQA体制

36 Copyright © 2023 Bitkey Inc. All right reserved. ◾テスト自動化に至った背景
・テスト対象のプロダクトの機能の拡充に伴い　リグレッションテストの項目数が比例して増加していた 1.テスト自動化エンジニアになってから1年でやったこと

・テスト対象のプロダクトの機能の拡充に伴い　リグレッションテストの項目数が比例して増加していた・加えて新機能テスト、修正確認テストの工数を　圧迫しはじめるようになっていたのでテスト工数の　省力化を行う必要があった 1.テスト自動化エンジニアになってから1年でやったこと

・テスト対象のプロダクトの機能の拡充に伴い　リグレッションテストの項目数が比例して増加していた・加えて新機能テスト、修正確認テストの工数を　圧迫しはじめるようになっていたのでテスト工数の　省力化を行う必要があった 1.テスト自動化エンジニアになってから1年でやったことテスト自動化、やってみよう！

40 Copyright © 2023 Bitkey Inc. All right reserved. ◾mablを選んだ理由
・ノーコード・ローコードで自動テストを作成・ブラウザテストの作成・スケジュールを設定して実行可能 ★レスポンスが早く、動作が快適だった ★カスタマーサポートの対応が迅速かつ柔軟 1.テスト自動化エンジニアになってから1年でやったこと

・ノーコード・ローコードで自動テストを作成・ブラウザテストの作成・スケジュールを設定して実行可能 ★レスポンスが早く、動作が快適だった ★カスタマーサポートの対応が迅速かつ柔軟 1.テスト自動化エンジニアになってから1年でやったことキミに決めた！

1.テスト自動化エンジニアになってから1年でやったこと ①ビットキーのプロダクトとQA体制について ②この1年でのテスト自動化の実績

48 Copyright © 2023 Bitkey Inc. All right reserved. ◾Webアプリのリグレッションテスト実行の概要
・テスト実施工数・項目数： 165.8h ： 4122項目 1.テスト自動化エンジニアになってから1年でやったこと

・テスト実施工数・項目数 ◾この１年で自動化したテスト・テスト実施工数・項目数： 165.8h ： 4122項目： 46.95h ： 1141項目 1.テスト自動化エンジニアになってから1年でやったこと

・テスト実施工数・項目数 ◾この１年で自動化したテスト・テスト実施工数・項目数： 165.8h ： 4122項目： 46.95h ： 1141項目約25%を自動化！ 1.テスト自動化エンジニアになってから1年でやったこと

51 Copyright © 2023 Bitkey Inc. All right reserved. ◾Webアプリのテスト実行の概要
・テスト実施工数・項目数 ◾この１年で自動化したテスト・テスト実施工数・項目数： 165.8h ： 4122項目： 46.95h ： 1141項目約25%を自動化！ 1.テスト自動化エンジニアになってから1年でやったこと月一回実施しているため、 2024年は [46.95h x 12 = 563.4h]分を自動テストで担保予定！

52 Copyright © 2023 Bitkey Inc. All right reserved. ◾Webアプリのリグレッションテスト実行の概
要・テスト実施工数・項目数 ◾この１年で自動化したテスト・テスト実施工数・項目数： 165.8h ： 4122項目： 46.95h ： 1141項目 1.テスト自動化エンジニアになってから1年でやったこと作るのにかかった時間は？

・テスト実施工数・項目数 ◾この１年で自動化したテスト・テスト実施工数・項目数・作成工数： 165.8h ： 4122項目： 46.95h ： 1141項目： 970h 1.テスト自動化エンジニアになってから1年でやったこと

・テスト実施工数・項目数 ◾この１年で自動化したテスト・テスト実施工数・項目数・作成工数： 165.8h ： 4122項目： 46.95h ： 1141項目： 970h 平均： 1hあたり1.1項目自動化 1.テスト自動化エンジニアになってから1年でやったこと

56 Copyright © 2023 Bitkey Inc. All right reserved. ◾テスト自動化に関するナレッジベースの作成
・知識の共有、自動化に関する相談をメンバー間で行いやすく！ 1.テスト自動化エンジニアになってから1年でやったこと

57 Copyright © 2023 Bitkey Inc. All right reserved. ◾テスト自動化ガイドラインの作成
・メンバー間で使い方、フォーマットの認識を合わせて属人化を回避！ 1.テスト自動化エンジニアになってから1年でやったこと

58 Copyright © 2023 Bitkey Inc. All right reserved. ◾自社用オンボーディングコンテンツの作成
・自社プロダクトを利用することで自動化の際のイメージを行いやすく！ 1.テスト自動化エンジニアになってから1年でやったこと

59 Copyright © 2023 Bitkey Inc. All right reserved. ◾mablのコミュニティイベントに登壇！
・mablの導入事例、触ってみての感想をコミュニティに共有しました！ https://mablersjp.connpass.com/event/293408/ https://www.youtube.com/watch?v=hFCpiOWcIaI 1.テスト自動化エンジニアになってから1年でやったこと

61 Copyright © 2023 Bitkey Inc. All right reserved. ◾自動テスト歴0年のテストエンジニアがやったこと
・リグレッションテストの46.9h分を自動化！・テスト自動化に関するナレッジベースを作成！・コミュニティイベントで導入事例を紹介！ 1.テスト自動化エンジニアになってから1年でやったこと

・リグレッションテストの46.9h分を自動化！・テスト自動化に関するナレッジベースを作成！・コミュニティイベントで導入事例を紹介！ 1.テスト自動化エンジニアになってから1年でやったこと 1.完

2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法 ①動かしやすい：シナリオ単位でテストを整理する ②作りやすい：Flowを活用したテストステップのReuse ③読みやすい：テストステップ名を誰でも読める文章に

68 Copyright © 2023 Bitkey Inc. All right reserved. シナリオ単位でテストを格納
2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法

テスト種別ごとにラベルを付与 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法

テスト種別ごとにラベルを付与任意のテスト種別のシナリオを一括実行しやすく 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法

72 Copyright © 2023 Bitkey Inc. All right reserved. ひとつにまとめることも
できますが・・・ 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法

できますが・・・ 45分頃のテストが失敗してるからそこまで見に行かないと・・・となった時が大変 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法

できますが・・・メンテナンスのしやすさを考慮し実行時間が15分前後になるようテストを分割！ 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法 45分頃のテストが失敗してるからそこまで見に行かないと・・・となった時が大変

2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法 ①動かしやすい：シナリオ単位でテストを整理する ②作りやすい：Flowを活用したテストステップのReuse ③読みやすい：テストステップ名を誰でも読める文章に

76 Copyright © 2023 Bitkey Inc. All right reserved. ②作りやすい：Flowを活用したテストステップのReuse
・mablでは「Flow」という機能により一度作成したテスト操作を保存することができます 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法

・mablでは「Flow」という機能により一度作成したテスト操作を保存することができます・保存した「Flow」は他の自動テストを作成する際に呼び出して再利用することができます 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法

・mablでは「Flow」という機能により一度作成したテスト操作を保存することができます・保存した「Flow」は他の自動テストを作成する際に呼び出して再利用することができます・「Flow」によって「手順」「期待値」などに必要な操作を保存できるため、拡充させることで自動テストの作成に必要な時間を大幅に短縮することができます 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法

79 Copyright © 2023 Bitkey Inc. All right reserved. 例えば・・・
workhubにログインできてることを確認したいな〜 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法

ログインする workhubにアクセスするテキスト検索するログアウトするマイページに遷移する名前とメールアドレスの表示を確認する

81 Copyright © 2023 Bitkey Inc. All right reserved. ログインする
workhubにアクセスするテキスト検索するログアウトするマイページに遷移する名前とメールアドレスの表示を確認する 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法データベースに保存されたFlow

workhubにアクセスするテキスト検索するログアウトするマイページに遷移する名前とメールアドレスの表示を確認する 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法データベースに保存されたFlow それぞれの目的に沿ったテストステップ、アサーションが格納されている

workhubにアクセスするテキスト検索するログアウトするマイページに遷移する名前とメールアドレスの表示を確認する 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法データベースに保存されたFlow それぞれの目的に沿ったテストステップ、アサーションが格納されているテストに必要なものを呼び出す

workhubにアクセスするテキスト検索するログアウトするマイページに遷移する名前とメールアドレスの表示を確認する 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法 workhubにアクセスする

workhubにアクセスするテキスト検索するログアウトするマイページに遷移する名前とメールアドレスの表示を確認する workhubにアクセスするログインする 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法

workhubにアクセスするテキスト検索するログアウトするマイページに遷移する名前とメールアドレスの表示を確認する 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法 workhubにアクセスするログインするマイページに遷移する

87 Copyright © 2023 Bitkey Inc. All right reserved. workhubに
アクセスするログインするマイページに遷移する名前とメールアドレスの表示を確認するログインする workhubにアクセスするテキスト検索するログアウトするマイページに遷移する名前とメールアドレスの表示を確認する 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法

アクセスするログインするマイページに遷移する名前とメールアドレスの表示を確認するログインする workhubにアクセスするテキスト検索するログアウトするマイページに遷移する名前とメールアドレスの表示を確認する Flowを呼び出すだけでテストが作れる！ 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法

アクセスするログインするマイページに遷移する名前とメールアドレスの表示を確認するログインする workhubにアクセスするテキスト検索するログアウトするマイページに遷移する名前とメールアドレスの表示を確認する Flowを呼び出すだけでテストが作れる！作成時間の短縮 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法

アクセスするログインするマイページに遷移する名前とメールアドレスの表示を確認するログインする workhubにアクセスするテキスト検索するログアウトするマイページに遷移する名前とメールアドレスの表示を確認する Flowを呼び出すだけでテストが作れる！作成時間の短縮検証内容の標準化 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法

①動かしやすい：シナリオ単位でテストを整理する ②作りやすい：Flowを活用したテストステップのReuse ③読みやすい：テストステップ名を誰でも読める文章に 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法

・実際のテスト一見してわかりづらい... 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法

・実際のテスト一見してわかりづらい... 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法テスト品質を担保するには第三者にレビューしてもらいたい・・・

・実際のテスト一見してわかりづらい... 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法テスト品質を担保するには第三者にレビューしてもらいたい・・・テストステップ名は変更できます！

・実際のテスト 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法

・実際のテスト誰でも読める文章に！ 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法

・実際のテスト誰でも読める文章に！さらに工夫を入れると... 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法

・シナリオ単位でテストをまとめることでテストを実行しやすく整理・テストに必要な操作をFlowに保存して次のテスト作成時に再利用・テストステップ名をわかりやすくしてレビュワーに優しいテストに 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法

・シナリオ単位でテストをまとめることでテストを実行しやすく整理・テストに必要な操作をFlowに保存して次のテスト作成時に再利用・テストステップ名をわかりやすくしてレビュワーに優しいテストに 2.完 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法

・テストエンジニアとしての知見を広げるために興味のある分野だったので触る機会に恵まれたのは本当にありがたかった・ローコード、ノーコードを謳っているだけありmablはコーディングに関する知識がなくても操作は3ヶ月弱で十分に覚えることができたので自信を持ってテスト自動化業務に取り組むことができた 3.テスト自動化エンジニアになってからの1年をふりかえって

・テストエンジニアとしての知見を広げるために興味のある分野だったので触る機会に恵まれたのは本当にありがたかった・ローコード、ノーコードを謳っているだけありmablはコーディングに関する知識がなくても操作は3ヶ月弱で十分に覚えることができたので自信を持ってテスト自動化業務に取り組むことができた・mablでJavaScriptスニペットやxPath検索といったコーディングに関する知識を活用することができるので、テストエンジニアの業務に紐付けながらコーディングについて学ぶ機会があって嬉しい 3.テスト自動化エンジニアになってからの1年をふりかえって

・テストエンジニアとしての知見を広げるために興味のある分野だったので触る機会に恵まれたのは本当にありがたかった・ローコード、ノーコードを謳っているだけありmablはコーディングに関する知識がなくても操作は3ヶ月弱で十分に覚えることができたので自信を持ってテスト自動化業務に取り組むことができた・mablでJavaScriptスニペットやxPath検索といったコーディングに関する知識を活用することができるので、テストエンジニアの業務に紐付けながらコーディングについて学ぶ機会があって嬉しい最高な1年でした！ 3.テスト自動化エンジニアになってからの1年をふりかえって 3.テスト自動化エンジニアになってからの1年をふりかえって

For your information

114 Copyright © 2023 Bitkey Inc. All right reserved. 本日16:10からDトラックで弊社所属の佐藤
拓人が登壇します！ • 数年前は無法地帯だった荒野をDDD、クリーンアーキテクチャやマイクロサービスなどを踏まえて、少しずつ整えていきました。 • 実際にやってみて良かったこと / よくなかったこと、それらを踏まえて改善したこと今考えている最適解をお話します。【“持続可能な”開発を実現するためにスタートアップで実践したこと】

116 Copyright © 2023 Bitkey Inc. All right reserved. ビットキーでは各方面のエンジニアさんを募集中です！
• QAやSETをはじめ、各方面のエンジニアさんをお待ちしております！ • または、 ◦ どのようなポジションがマッチしそうか分からない方 ◦ 転職活動中の方 ◦ まずは話を聞いてみたい方など、ビットキーに興味がある方はどなたでもWelcomeです！

You can try it now! • 今すぐできる2週間の無料トライアル！ mabl Uのお供にどうぞ！ •
デモリクエストも大歓迎！ https://www.mabl.com/ja

About the mabl University How-to Videos (English only) How-to Lessons
(Japanese only) On-Demand Training (English & Japanese) mabl Skills Certiﬁcations (English & Japanese) • 33 ビデオ (各3 - 8 分程度) • 英語字幕あり、日本語字幕なし • 26 レッスン • Step by stepで学習可能 • 4 ラーニングパス • 設定、基礎、高度、統合でそれぞれ30 - 90 分の学習パス • 学習目標に応じたパスを提供 • 3 つの資格 • Foundations と Advanced • NonFunctional ←NEW • LinkedIn に掲載可能

mabl user community! mabl の User Community『mablers_jp』 • ユーザーによるユーザーのためのコミュニティ
• ユーザーによる忖度のない生の声を聞く絶好のチャンス。是非ご参加ください！ https://mablersjp.connpass.com/

Join our Meetup! 2/22 mabl Meetup with Dan！ • 生成AIを活用したmablの新機能を来日中の
Co-FounderであるDanより徹底解説！ • 日本語通訳 & 懇親会あり

Join our webinar! 3/1 ローコードで実践！アプリ　　ケーション開発とテスト自動化 • CTC かたじゅんさんによるOutSystemsを
用いたローコードアプリ開発 × mablを用いた E2Eテスト自動化ハンズオンデモ！！

Join conference! 3/14-15 JaSST'24 Tokyo • 3/15 14:30 - 15:30
『AIを駆使した自動テストは統合プラットフォームの時代へ』 • 会場ブースやミニセッションにも是非お立ち寄りください！

Questions? odashoDotCom odasho0618 odasho odasho0618 Roku Mikami Product Quality Testing
/ Automation Engineer in System Test, Bitkey odasho (Shohei Oda) Quality Advocate / Product Marketing, mabl Japan

【Developers Summit 2024】自動テスト歴0年でもできる！ ～1年目で得ら...

【Developers Summit 2024】自動テスト歴0年でもできる！ ～1年目で得られた成果と展望～

More Decks by Roku Mikami

Other Decks in Technology

Featured

Transcript

【Developers Summit 2024】自動テスト歴0年でもできる！～1年目で得ら...

【Developers Summit 2024】自動テスト歴0年でもできる！～1年目で得られた成果と展望～