属人化したE2E自動テストをひも解く

by honamin

Slide 1

Slide 1 text

属人化したE2E自動テストをひも解く 2024/12

Slide 2

Slide 2 text

©OPENLOGI Inc. 自己紹介 honamin 株式会社オープンロジ技術開発部QAチーム QAエンジニアテスト自動化に取り組んでいます🎶

Slide 3

Slide 3 text

©OPENLOGI Inc. 3 会社概要・沿革会社名株式会社オープンロジ設立 2013年12月25日代表者代表取締役社長 CEO　伊藤秀嗣資本金 1億円住所東京都豊島区東池袋1-34-5 いちご東池袋ビル9階事業内容物流フルフィルメント・プラットフォーム「OPENLOGI」の開発、提供取引銀行みずほ銀行、りそな銀行、日本政策金融公庫、商工中金、あおぞら企業投資等社員数 194名（2024年10月1日時点） 2013 12月株式会社オープンロジ　設立 2014 10月「OPENLOGI」リリース 2015 6月 0.6億円の資金調達 7月海外発送開始 10月ネクストエンジンとAPI連携 2016 5月 2.1億円の資金調達 2017 7月 7.3億円の資金調達 2018 5月 STORES.jpとAPI連携　　　 6月 Yahoo!ショッピングとAPI連携　　　 7月 ShopifyとAPI連携 2019 8月週刊東洋経済「すごいベンチャー100」に選出 2020 10月 17.5億円の資本調達　　　 2月 DHLとの輸送契約を締結 2021 3月 JVA「中小機構理事長賞」を受賞　　　 11月日本M&Aセンタースタートアップピッチ最優秀賞 2022 10月 FedExと輸送契約を締結　　　 11月ギフティとの業務提携 2023 2月 Global-eとの業務提携（日本の物流企業初） 2024　 2月 37.5億円の資金調達　　　　 ecforceとAPI連携

Slide 4

Slide 4 text

©OPENLOGI Inc. 沿革 / 各種推移資金調達 15年3月 16年5月 17年7月 20年10月 24年2月 0.6億円シード 2.1億円シリーズA 7.3億円シリーズB 17.5億円シリーズC 35.5億円シリーズD 2014年10月サービスローンチ導入アカウント数の推移 13,000+ 14/10 15/3 15/9 16/3 16/9 17/3 17/9 18/3 18/9 19/3 19/9 20/3 20/9 21/3 21/9 22/3 22/9 23/3 23/9 24/3 24/9 4 従業員数 194 エンジニア組織の人数 58

Slide 5

Slide 5 text

©OPENLOGI Inc. 物流パートナーをネットワーク化することで、ノンアセット型のフルフィルメントサービスを提供倉庫や配送といったフィジカルなリソースを AWSのようなインフラに変革し、サービスから得られるデータを分析/活用することで、社会課題である物流業界の非効率を解消します荷主と物流パートナーを結ぶプラットフォーム倉庫会社マテハン配送会社資材会社物流パートナー 5社 3社荷主 6,100社 Eコマースを含むアパレル/雑貨/IPグッズ/ インフルエンサー/マットレス/越境など様々データ分析/活用・需給予測・リスク評価・マッチング・最適化ネットワーク化提携70社（※準提携170社） 12社（国内・海外）サービス提供ソリューション稼働率向上庫内DX化物流課題の解決（コスト削減/効率化・自動化/最適拠点配置等） 5

Slide 6

Slide 6 text

©OPENLOGI Inc. 物流の未来を、動かす Mission テクノロジーを使い、サイロ化された物流をネットワーク化しデータを起点にモノの流れを革新する Vision １．悩まない物流荷主や倉庫が物流について悩まなくても良い状態を作る２．無駄のない物流荷主-倉庫-配送が連携しムダの少ない効率的な物流網を構築する３．物流から商流へ物流データを起点とした新しい商流網を構築する物流はこれから、テクノロジーがより浸透しダイナミックに変化するこれまでアナログだった物の流れがデジタルになり高効率化された未来が到達する物をつくる人とそれを欲しい人その間の物流や配送が全てネットワーク化され需要と供給が最適化される物流の進化から、経済が新たに活性化する次世代のインフラを作り、この時代の変革を物流に関わる多くの情熱たちと共に成し遂げる 6

Slide 7

Slide 7 text

©OPENLOGI Inc. オープンロジプラットフォーム「物流版クラウドサービス」をコンセプトとしたオープンロジプラットフォームには以下のような機能があり、物流の始まりから終わりまで、サプライチェーン全体を最適化するソリューションを提供します荷主向けシステム倉庫向けシステム受注連携システム請求清算システム分析ツール荷主が操作する入出庫管理システム・商品登録・入庫処理・出庫処理他倉庫作業者が操作する倉庫管理システム・入庫検品・出庫検品・ロケーション登録他 Shopifyなどの ECモールと連携商品の受注と連動しシームレスな商品管理を可能に荷主・倉庫双方の請求情報を管理するシステム・各種料金管理・集計処理・決済処理他荷主向けの分析ツール特定期間における様々なデータを把握することが可能経営的な判断をサポートオープンロジプラットフォーム 7

Slide 8

Slide 8 text

©OPENLOGI Inc. ©OPENLOGI Inc. 今日話すこと

Slide 9

Slide 9 text

©OPENLOGI Inc. 今日話すこと、話さないこと話すこと ● 課題が複雑化したE2E自動テストにどう向き合ったか ● 今何に取り組んでいるか話さないこと ● E2Eテストの実装の詳細 ● 属人化させないためのプラクティス ● 取り組みの具体 9

Slide 10

Slide 10 text

©OPENLOGI Inc. E2E自動テストの道のり

Slide 11

Slide 11 text

©OPENLOGI Inc. 11 会社概要・沿革会社名株式会社オープンロジ設立 2013年12月25日代表者代表取締役社長 CEO　伊藤秀嗣資本金 1億円住所東京都豊島区東池袋1-34-5 いちご東池袋ビル9階事業内容物流フルフィルメント・プラットフォーム「OPENLOGI」の開発、提供取引銀行みずほ銀行、りそな銀行、日本政策金融公庫、商工中金、あおぞら企業投資等社員数 194名（2024年10月1日時点） 2013 12月株式会社オープンロジ　設立 2014 10月「OPENLOGI」リリース 2015 6月 0.6億円の資金調達 7月海外発送開始 10月ネクストエンジンとAPI連携 2016 5月 2.1億円の資金調達 2017 7月 7.3億円の資金調達 2018 5月 STORES.jpとAPI連携　　　 6月 Yahoo!ショッピングとAPI連携　　　 7月 ShopifyとAPI連携 2019 8月週刊東洋経済「すごいベンチャー100」に選出 2020 10月 17.5億円の資本調達　　　 2月 DHLとの輸送契約を締結 2021 3月 JVA「中小機構理事長賞」を受賞　　　 11月日本M&Aセンタースタートアップピッチ最優秀賞 2022 10月 FedExと輸送契約を締結　　　 11月ギフティとの業務提携 2023 2月 Global-eとの業務提携（日本の物流企業初） 2024　 2月 37.5億円の資金調達　　　　 ecforceとAPI連携 E2E自動テストツールの再選定→ Ghost Inspector（ノーコード）初代E2E自動テストの導入→ CodeceptJS x Puppeteer（コードベース）

Slide 12

Slide 12 text

©OPENLOGI Inc. 元々あった課題と目指した姿 12 コードベースのE2Eテスト ● コーディング知識がある人がQA チーム内に限られていた ● メンテナンスコストがかかり、あまり整備されなくなってしまったノーコードツールを利用したE2Eテスト ● メンテナンスコストの増加を防ぎたい ● 機能に対するテストのカバレッジをあげたい ● QAチーム全体でメンテナンスを行いたい

Slide 13

Slide 13 text

©OPENLOGI Inc. ノーコードツールに変えて何が改善したか 13 ● メンテナンスコストの増加を防ぎたい ○ ◯ コードベースよりも実装に対する理解が進んだため、共通パーツが作りやすくなった ● 機能に対するテストのカバレッジをあげたい ○ △ 新しい機能に対してのテストが増やしやすくなった一方、リグレッションテスト全体に対しての自動化率は40％強で手動テストの割合がまだ多い ● QAチーム全体でメンテナンスを行いたい ○ × メンテナンスできる人が限られている

Slide 14

Slide 14 text

©OPENLOGI Inc. 現状を理解する

Slide 15

Slide 15 text

©OPENLOGI Inc. オープンロジ入社時 15 「E2E自動テストがなんだかやばい」らしい ※やばい＝あまりうまくいっていない状態と理解

Slide 16

Slide 16 text

©OPENLOGI Inc. オープンロジ入社時 16 「なんだかやばい」を判定しようやばくないやばい

Slide 17

Slide 17 text

©OPENLOGI Inc. なんだかやばいマップ 17 「なんだかやばい」実行回数？運用体制？実行時間？カバレッジ率？ E2Eテストツール？テストの実装方法？メンテナンスコスト？価値のあるテスト？効果測定？オンボーディング？

Slide 18

Slide 18 text

©OPENLOGI Inc. 18 「なんだかやばい」実行回数？運用体制？実行時間？カバレッジ率？ E2Eテストツール？テストの実装方法？メンテナンスコスト？価値のあるテスト？効果測定？オンボーディング？なんだかやばいマップ

Slide 19

Slide 19 text

©OPENLOGI Inc. 実行回数 19 やばくない Ghost Inspectorでの1ヶ月のテスト実行回数平均やばい 4,000~5,000回/10,000回

Slide 20

Slide 20 text

©OPENLOGI Inc. 20 実行回数？運用体制？実行時間？カバレッジ率？ E2Eテストツール？テストの実装方法？メンテナンスコスト？価値のあるテスト？効果測定？オンボーディング？なんだかやばいマップ「なんだかやばい」

Slide 21

Slide 21 text

©OPENLOGI Inc. 実行時間 21 やばくない最長のテストシナリオの実行時間 ※全体ではなく１シナリオやばい 3:01:59

Slide 22

Slide 22 text

©OPENLOGI Inc. 22 実行回数？運用体制？実行時間？カバレッジ率？ E2Eテストツール？テストの実装方法？メンテナンスコスト？価値のあるテスト？効果測定？オンボーディング？なんだかやばいマップ「なんだかやばい」

Slide 23

Slide 23 text

©OPENLOGI Inc. カバレッジ率 23 やばくないリグレッションテストに対するカバレッジ率やばい 42.77% ※2024/11月時点

Slide 24

Slide 24 text

©OPENLOGI Inc. 24 実行回数？運用体制？実行時間？カバレッジ率？ E2Eテストツール？テストの実装方法？メンテナンスコスト？価値のあるテスト？効果測定？オンボーディング？なんだかやばいマップ「なんだかやばい」

Slide 25

Slide 25 text

©OPENLOGI Inc. 運用体制 25 やばくない QAチーム9名に対してテストメンテができる人ちょっとやばい 2人 ※2024/12月時点

Slide 26

Slide 26 text

©OPENLOGI Inc. 26 実行回数？運用体制？実行時間？カバレッジ率？ E2Eテストツール？テストの実装方法？メンテナンスコスト？価値のあるテスト？効果測定？オンボーディング？なんだかやばいマップ「なんだかやばい」

Slide 27

Slide 27 text

©OPENLOGI Inc. オンボーディング 27 やばくない E2E自動テストに対するオンボーディングフローちょっとやばいがすぐには困らないなし ※2024/4月時点

Slide 28

Slide 28 text

©OPENLOGI Inc. 28 実行回数？運用体制？実行時間？カバレッジ率？ E2Eテストツール？テストの実装方法？メンテナンスコスト？価値のあるテスト？効果測定？オンボーディング？なんだかやばいマップ「なんだかやばい」

Slide 29

Slide 29 text

©OPENLOGI Inc. 効果測定 29 やばくない E2E自動テストに対して効果測定できているかもったいないできていない ※2024/4月時点

Slide 30

Slide 30 text

©OPENLOGI Inc. 30 実行回数？運用体制？実行時間？カバレッジ率？ E2Eテストツール？テストの実装方法？メンテナンスコスト？価値のあるテスト？効果測定？オンボーディング？なんだかやばいマップ「なんだかやばい」

Slide 31

Slide 31 text

©OPENLOGI Inc. 価値のあるテスト 31 やばくない E2E自動テストで不具合検出できているかできている ※実行時にリグレッション観点の不具合が結構見つかるやばい

Slide 32

Slide 32 text

©OPENLOGI Inc. 32 実行回数？運用体制？実行時間？カバレッジ率？ E2Eテストツール？テストの実装方法？メンテナンスコスト？価値のあるテスト？効果測定？オンボーディング？なんだかやばいマップ「なんだかやばい」

Slide 33

Slide 33 text

©OPENLOGI Inc. メンテナンスコスト 33 やばくない１リグレッションテストあたりの修正時間平均 4~5h やばい ※1日あれば1人で見終わるくらい。0の時もある

Slide 34

Slide 34 text

©OPENLOGI Inc. なんだかやばいマップ 34 実行回数？運用体制？実行時間？カバレッジ率？ E2Eテストツール？実装方法？メンテナンスコスト？価値のあるテスト？効果測定？オンボーディング？「なんだかやばい」

Slide 35

Slide 35 text

©OPENLOGI Inc. 実装方法 35 やばくないメンテナンスしやすい実装がされているかやばいところはやばい xpath=//*[@id="hoge"]/div/div/div[1]/header/section[2]/div/dl/dd

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

©OPENLOGI Inc. 今まさに取り組んでいること 40 ● E2Eテストツールの再選定 ○ いつサービス終了するかわからない ○ 契約更新が迫っている ○ XPath必須かつ英語サポートのみのツールは現行のQAチームでは普及しなかった

Slide 41

Slide 41 text

©OPENLOGI Inc. これから取り組むこと 41 ● 運用体制の構築 ○ QAチーム全体でE2E自動テストができていないのはツールのせいではない ○ QA活動の１プロセスとして組み込むことが大事 ○ 将来的には開発チームにもE2E自動テストを気軽に使ってもらえるような体制にしていく

Slide 42

Slide 42 text

©OPENLOGI Inc. これから取り組むこと 42 ● 自動テスト戦略の策定と普及 ○ E2EやAPIだけにフォーカスしていても自動テスト全体のバランスは取れない ○ オープンロジの自動テスト（テストプロセス全体も）をどのような棲み分けで進めるか、開発チームとも相談の上で戦略を練る

Slide 43

Slide 43 text

Slide 44

Slide 44 text

©OPENLOGI Inc. まとめ 44 ● 今ある課題を一つ一つ見える化しよう ○ 分解することで、今何をすべきかが見えてくる ● 将来の拡張を見据えておこう ○ 早く前に進むためには属人化は必要不可欠だが、サービスがスケールするならQA活動もスケールする。その時に何が必要か考えておく