【Developers Summit 2024】自動テスト歴0年でもできる！～1年目で得られた成果と展望～

by Roku Mikami

Slide 1

Slide 1 text

自動テスト歴0年でもできる！～1年目で得られた成果と展望～ 2024/2/15-16 Developers Summit 2024

Slide 2

Slide 2 text

Speaker Proﬁle odasho (Shohei Oda) Quality Advocate / Product Marketing, mabl Japan 国内SIerにてインフラやPaaS App開発まで幅広く経験。その後コミュニティ活動をきっかけにMicrosoftに入社。EvangelistとしてAudience Marketingに従事。2022年10月にmablにJoin、 TestingやQAの啓蒙活動に取り組む。現在もDevRel Meetup in Tokyoを中心に複数のコミュニティを運営/支援。 iPhone絶対並んで買うおじさん(2011 - 2023) Most DevRel Committer 2020、名城大学情報工学部非常勤講師 Roku Mikami 2018年からテストエンジニアとして活動を始め、4年ほどシステムテスト・アドホックテストを中心としたテスト実行業務に従事する。 2022年11月にBitkeyにJoinし、テスト分析・テスト設計・テスト実装のテスト活動を経験。現在は自動テストエンジニアとしてmablを利用したシステムテスト自動化の方針作成およびテスト自動化作業に取り組んでいる。 Product Quality Testing / Automation Engineer in System Test, Bitkey odashoDotCom odasho odasho0618

Slide 3

Slide 3 text

What's mabl? ● 「めいぶる」と読みます ● Stackdriver（現Google Cloud Operations）の創業者IzzyとDanが2017年ボストンで創業 ● グローバルの社員数100人+ ● GV、CRV、Amplify、Vista Equity Partner、 Presidioより 7,700万ドル (90億円) を調達 ● 2021年度の売上、前年対比300％+増 ● Fortune Globalの35社含む300社+が採用 ● 2021年8月に日本法人設立

Slide 4

Slide 4 text

DevOpsに対応したテスト自動化プラットフォームノーコード/ローコード UI / API & Mobileテストデータ/インサイト結果データを自動取得単一プラットフォーム E2E、API、A11y、Perf 顧客体験を広くカバー　 Email送信/PDFアサート開発ツール連携 GitHub、Slack、Jira等テストメンテナンス削減テストの自動修復

Slide 5

Slide 5 text

ローコードテスト自動化 mablのスコープ単体テスト API/結合テスト UI/E2Eテスト探索的テスト

Slide 6

Slide 6 text

ローコードで「意図」と「実装」を分ける

Slide 7

Slide 7 text

自動修復でメンテナンス作業を削減

Slide 8

Slide 8 text

GCP上で並列テストを無制限に実行 Show screenshot of a plan

Slide 9

Slide 9 text

テストカバレッジレポート

Slide 10

Slide 10 text

パフォーマンス評価

Slide 11

Slide 11 text

10倍早くテスト実行より良い品質のソフトウェアをより早く提供 ROI data based on customer case studies compared to Selenium frameworks and other commercial tools 3倍早くテストを構築速く作る効率改善コスト削減高速化 70% メンテナンス時間を削減 80% Seleniumより低コスト

Slide 12

Slide 12 text

アクティブユーザー数 48% 2% 13% 2% 2% 12% 21%

Slide 13

Slide 13 text

品質指標を使用した継続的な改善非機能的品質の検証シフトレフト: 自動化されたテストを開発に組み込む機能テスト自動化のカバレッジ拡大開発後に手動でテスト品質エンジニアリング (QE) ジャーニー QEの成熟度

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

22 Copyright © 2023 Bitkey Inc. All right reserved. ◾所属株式会社ビットキー | テスト自動化エンジニア自己紹介 ◾経歴 [2018~] ・テストエンジニアとして活動を開始・システムテスト、アドホックテストを中心と　したテスト実行業務に従事 [2022~] ・2022年11月にBitkeyにJoin ・テスト分析・テスト設計・テスト実装の　テスト活動を経験・現在はテスト自動化エンジニアとして活躍中三上鹿 Mikami Roku ▶[Speaker Deck] : r0ku

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

30 Copyright © 2023 Bitkey Inc. All right reserved. Third Place  Space Support  Mobile/Tablet  Office  Mobile/Tablet  QA  Conference  Mobile App  Crew  Admin  Webアプリ  Mobile/Tablet  Webアプリ  QA  QA  QA  1.テスト自動化エンジニアになってから1年でやったこと ◾ビットキーのプロダクトとQA体制

Slide 31

Slide 31 text

31 Copyright © 2023 Bitkey Inc. All right reserved. Third Place  Space Support  Mobile App  Office  Mobile/Tablet  QA  Conference  Mobile App  Crew  Admin  Webアプリ  Mobile/Tablet  Webアプリ  QA  QA  QA  ・ウェブアプリ4つ・モバイルアプリ4つ 1.テスト自動化エンジニアになってから1年でやったこと ◾ビットキーのプロダクトとQA体制

Slide 32

Slide 32 text

32 Copyright © 2023 Bitkey Inc. All right reserved. Third Place  Space Support  Mobile App  Office  Mobile/Tablet  QA  Conference  Mobile App  Crew  Admin  Webアプリ  Mobile/Tablet  Webアプリ  QA  QA  QA  ・ウェブアプリ4つ・モバイルアプリ4つ・ウェブアプリ：QAチーム2つ・モバイルアプリ：QAチーム2つ 1.テスト自動化エンジニアになってから1年でやったこと ◾ビットキーのプロダクトとQA体制

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

38 Copyright © 2023 Bitkey Inc. All right reserved. ◾テスト自動化に至った背景・テスト対象のプロダクトの機能の拡充に伴い　リグレッションテストの項目数が比例して増加していた・加えて新機能テスト、修正確認テストの工数を　圧迫しはじめるようになっていたのでテスト工数の　省力化を行う必要があった 1.テスト自動化エンジニアになってから1年でやったことテスト自動化、やってみよう！

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Slide 51

Slide 51 text

51 Copyright © 2023 Bitkey Inc. All right reserved. ◾Webアプリのテスト実行の概要・テスト実施工数・項目数 ◾この１年で自動化したテスト・テスト実施工数・項目数： 165.8h ： 4122項目： 46.95h ： 1141項目約25%を自動化！ 1.テスト自動化エンジニアになってから1年でやったこと月一回実施しているため、 2024年は [46.95h x 12 = 563.4h]分を自動テストで担保予定！

Slide 52

Slide 52 text

Slide 53

Slide 53 text

Slide 54

Slide 54 text

54 Copyright © 2023 Bitkey Inc. All right reserved. ◾Webアプリのリグレッションテスト実行の概要・テスト実施工数・項目数 ◾この１年で自動化したテスト・テスト実施工数・項目数・作成工数： 165.8h ： 4122項目： 46.95h ： 1141項目： 970h 平均： 1hあたり1.1項目自動化 1.テスト自動化エンジニアになってから1年でやったこと

Slide 55

Slide 55 text

Slide 56

Slide 56 text

Slide 57

Slide 57 text

Slide 58

Slide 58 text

Slide 59

Slide 59 text

59 Copyright © 2023 Bitkey Inc. All right reserved. ◾mablのコミュニティイベントに登壇！・mablの導入事例、触ってみての感想をコミュニティに共有しました！ https://mablersjp.connpass.com/event/293408/ https://www.youtube.com/watch?v=hFCpiOWcIaI 1.テスト自動化エンジニアになってから1年でやったこと

Slide 60

Slide 60 text

Slide 61

Slide 61 text

Slide 62

Slide 62 text

Slide 63

Slide 63 text

Slide 64

Slide 64 text

Slide 65

Slide 65 text

Slide 66

Slide 66 text

66 Copyright © 2023 Bitkey Inc. All right reserved. 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法 ①動かしやすい：シナリオ単位でテストを整理する ②作りやすい：Flowを活用したテストステップのReuse ③読みやすい：テストステップ名を誰でも読める文章に

Slide 67

Slide 67 text

Slide 68

Slide 68 text

Slide 69

Slide 69 text

Slide 70

Slide 70 text

Slide 71

Slide 71 text

Slide 72

Slide 72 text

Slide 73

Slide 73 text

Slide 74

Slide 74 text

Slide 75

Slide 75 text

75 Copyright © 2023 Bitkey Inc. All right reserved. 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法 ①動かしやすい：シナリオ単位でテストを整理する ②作りやすい：Flowを活用したテストステップのReuse ③読みやすい：テストステップ名を誰でも読める文章に

Slide 76

Slide 76 text

Slide 77

Slide 77 text

77 Copyright © 2023 Bitkey Inc. All right reserved. ②作りやすい：Flowを活用したテストステップのReuse ・mablでは「Flow」という機能により一度作成したテスト操作を保存することができます・保存した「Flow」は他の自動テストを作成する際に呼び出して再利用することができます 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法

Slide 78

Slide 78 text

78 Copyright © 2023 Bitkey Inc. All right reserved. ②作りやすい：Flowを活用したテストステップのReuse ・mablでは「Flow」という機能により一度作成したテスト操作を保存することができます・保存した「Flow」は他の自動テストを作成する際に呼び出して再利用することができます・「Flow」によって「手順」「期待値」などに必要な操作を保存できるため、拡充させることで自動テストの作成に必要な時間を大幅に短縮することができます 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法

Slide 79

Slide 79 text

Slide 80

Slide 80 text

Slide 81

Slide 81 text

Slide 82

Slide 82 text

82 Copyright © 2023 Bitkey Inc. All right reserved. ログインする workhubにアクセスするテキスト検索するログアウトするマイページに遷移する名前とメールアドレスの表示を確認する 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法データベースに保存されたFlow それぞれの目的に沿ったテストステップ、アサーションが格納されている

Slide 83

Slide 83 text

83 Copyright © 2023 Bitkey Inc. All right reserved. ログインする workhubにアクセスするテキスト検索するログアウトするマイページに遷移する名前とメールアドレスの表示を確認する 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法データベースに保存されたFlow それぞれの目的に沿ったテストステップ、アサーションが格納されているテストに必要なものを呼び出す

Slide 84

Slide 84 text

Slide 85

Slide 85 text

Slide 86

Slide 86 text

Slide 87

Slide 87 text

87 Copyright © 2023 Bitkey Inc. All right reserved. workhubにアクセスするログインするマイページに遷移する名前とメールアドレスの表示を確認するログインする workhubにアクセスするテキスト検索するログアウトするマイページに遷移する名前とメールアドレスの表示を確認する 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法

Slide 88

Slide 88 text

88 Copyright © 2023 Bitkey Inc. All right reserved. workhubにアクセスするログインするマイページに遷移する名前とメールアドレスの表示を確認するログインする workhubにアクセスするテキスト検索するログアウトするマイページに遷移する名前とメールアドレスの表示を確認する Flowを呼び出すだけでテストが作れる！ 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法

Slide 89

Slide 89 text

89 Copyright © 2023 Bitkey Inc. All right reserved. workhubにアクセスするログインするマイページに遷移する名前とメールアドレスの表示を確認するログインする workhubにアクセスするテキスト検索するログアウトするマイページに遷移する名前とメールアドレスの表示を確認する Flowを呼び出すだけでテストが作れる！作成時間の短縮 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法

Slide 90

Slide 90 text

90 Copyright © 2023 Bitkey Inc. All right reserved. workhubにアクセスするログインするマイページに遷移する名前とメールアドレスの表示を確認するログインする workhubにアクセスするテキスト検索するログアウトするマイページに遷移する名前とメールアドレスの表示を確認する Flowを呼び出すだけでテストが作れる！作成時間の短縮検証内容の標準化 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法

Slide 91

Slide 91 text

91 Copyright © 2023 Bitkey Inc. All right reserved. 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法 ①動かしやすい：シナリオ単位でテストを整理する ②作りやすい：Flowを活用したテストステップのReuse ③読みやすい：テストステップ名を誰でも読める文章に 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法

Slide 92

Slide 92 text

Slide 93

Slide 93 text

Slide 94

Slide 94 text

Slide 95

Slide 95 text

Slide 96

Slide 96 text

Slide 97

Slide 97 text

Slide 98

Slide 98 text

Slide 99

Slide 99 text

Slide 100

Slide 100 text

Slide 101

Slide 101 text

Slide 102

Slide 102 text

102 Copyright © 2023 Bitkey Inc. All right reserved. 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法・シナリオ単位でテストをまとめることでテストを実行しやすく整理・テストに必要な操作をFlowに保存して次のテスト作成時に再利用・テストステップ名をわかりやすくしてレビュワーに優しいテストに 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法

Slide 103

Slide 103 text

103 Copyright © 2023 Bitkey Inc. All right reserved. 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法・シナリオ単位でテストをまとめることでテストを実行しやすく整理・テストに必要な操作をFlowに保存して次のテスト作成時に再利用・テストステップ名をわかりやすくしてレビュワーに優しいテストに 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法

Slide 104

Slide 104 text

104 Copyright © 2023 Bitkey Inc. All right reserved. 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法・シナリオ単位でテストをまとめることでテストを実行しやすく整理・テストに必要な操作をFlowに保存して次のテスト作成時に再利用・テストステップ名をわかりやすくしてレビュワーに優しいテストに 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法

Slide 105

Slide 105 text

105 Copyright © 2023 Bitkey Inc. All right reserved. 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法・シナリオ単位でテストをまとめることでテストを実行しやすく整理・テストに必要な操作をFlowに保存して次のテスト作成時に再利用・テストステップ名をわかりやすくしてレビュワーに優しいテストに 2.完 2.mablを使った動かしやすい、作りやすい、読みやすいテスト自動化方法

Slide 106

Slide 106 text

Slide 107

Slide 107 text

Slide 108

Slide 108 text

108 Copyright © 2023 Bitkey Inc. All right reserved. 3.自動テストエンジニアになってからの1年をふりかえって・テストエンジニアとしての知見を広げるために興味のある分野だったので触る機会に恵まれたのは本当にありがたかった・ローコード、ノーコードを謳っているだけありmablはコーディングに関する知識がなくても操作は3ヶ月弱で十分に覚えることができたので自信を持ってテスト自動化業務に取り組むことができた 3.テスト自動化エンジニアになってからの1年をふりかえって

Slide 109

Slide 109 text

109 Copyright © 2023 Bitkey Inc. All right reserved. 3.自動テストエンジニアになってからの1年をふりかえって・テストエンジニアとしての知見を広げるために興味のある分野だったので触る機会に恵まれたのは本当にありがたかった・ローコード、ノーコードを謳っているだけありmablはコーディングに関する知識がなくても操作は3ヶ月弱で十分に覚えることができたので自信を持ってテスト自動化業務に取り組むことができた・mablでJavaScriptスニペットやxPath検索といったコーディングに関する知識を活用することができるので、テストエンジニアの業務に紐付けながらコーディングについて学ぶ機会があって嬉しい 3.テスト自動化エンジニアになってからの1年をふりかえって

Slide 110

Slide 110 text

110 Copyright © 2023 Bitkey Inc. All right reserved. 3.自動テストエンジニアになってからの1年をふりかえって・テストエンジニアとしての知見を広げるために興味のある分野だったので触る機会に恵まれたのは本当にありがたかった・ローコード、ノーコードを謳っているだけありmablはコーディングに関する知識がなくても操作は3ヶ月弱で十分に覚えることができたので自信を持ってテスト自動化業務に取り組むことができた・mablでJavaScriptスニペットやxPath検索といったコーディングに関する知識を活用することができるので、テストエンジニアの業務に紐付けながらコーディングについて学ぶ機会があって嬉しい最高な1年でした！ 3.テスト自動化エンジニアになってからの1年をふりかえって 3.テスト自動化エンジニアになってからの1年をふりかえって

Slide 111

Slide 111 text

Slide 112

Slide 112 text

Slide 113

Slide 113 text

For your information

Slide 114

Slide 114 text

114 Copyright © 2023 Bitkey Inc. All right reserved. 本日16:10からDトラックで弊社所属の佐藤拓人が登壇します！ ● 数年前は無法地帯だった荒野をDDD、クリーンアーキテクチャやマイクロサービスなどを踏まえて、少しずつ整えていきました。 ● 実際にやってみて良かったこと / よくなかったこと、それらを踏まえて改善したこと今考えている最適解をお話します。【“持続可能な”開発を実現するためにスタートアップで実践したこと】

Slide 115

Slide 115 text

Slide 116

Slide 116 text

116 Copyright © 2023 Bitkey Inc. All right reserved. ビットキーでは各方面のエンジニアさんを募集中です！ ● QAやSETをはじめ、各方面のエンジニアさんをお待ちしております！ ● または、 ○ どのようなポジションがマッチしそうか分からない方 ○ 転職活動中の方 ○ まずは話を聞いてみたい方など、ビットキーに興味がある方はどなたでもWelcomeです！

Slide 117

Slide 117 text

You can try it now! ● 今すぐできる2週間の無料トライアル！ mabl Uのお供にどうぞ！ ● デモリクエストも大歓迎！ https://www.mabl.com/ja

Slide 118

Slide 118 text

About the mabl University How-to Videos (English only) How-to Lessons (Japanese only) On-Demand Training (English & Japanese) mabl Skills Certiﬁcations (English & Japanese) ● 33 ビデオ (各3 - 8 分程度) ● 英語字幕あり、日本語字幕なし ● 26 レッスン ● Step by stepで学習可能 ● 4 ラーニングパス ● 設定、基礎、高度、統合でそれぞれ30 - 90 分の学習パス ● 学習目標に応じたパスを提供 ● 3 つの資格 ● Foundations と Advanced ● NonFunctional ←NEW ● LinkedIn に掲載可能

Slide 119

Slide 119 text

mabl user community! mabl の User Community『mablers_jp』 ● ユーザーによるユーザーのためのコミュニティ ● ユーザーによる忖度のない生の声を聞く絶好のチャンス。是非ご参加ください！ https://mablersjp.connpass.com/

Slide 120

Slide 120 text

Join our Meetup! 2/22 mabl Meetup with Dan！ ● 生成AIを活用したmablの新機能を来日中の Co-FounderであるDanより徹底解説！ ● 日本語通訳 & 懇親会あり

Slide 121

Slide 121 text

Join our webinar! 3/1 ローコードで実践！アプリ　　ケーション開発とテスト自動化 ● CTC かたじゅんさんによるOutSystemsを用いたローコードアプリ開発 × mablを用いた E2Eテスト自動化ハンズオンデモ！！

Slide 122

Slide 122 text

Join conference! 3/14-15 JaSST'24 Tokyo ● 3/15 14:30 - 15:30 『AIを駆使した自動テストは統合プラットフォームの時代へ』 ● 会場ブースやミニセッションにも是非お立ち寄りください！

Slide 123

Slide 123 text

Questions? odashoDotCom odasho0618 odasho odasho0618 Roku Mikami Product Quality Testing / Automation Engineer in System Test, Bitkey odasho (Shohei Oda) Quality Advocate / Product Marketing, mabl Japan