Share
Embed
なぜテストを自動化するのか
自動テストは単に仕組みやツールを導入しただけでは思ったような効果が得られないと考えています。そこで、自動テストの理解を深めてその恩恵を得られるように、テストを自動化するモチベーションを言語化してみました。
Atsushi Okui
September 24, 2026
Transcript
46 slides
-
現代の開発におけるテストのあり方3 ~DevOpsと継続的テスト~ DevOpsは開発(Development)と運用 (Operations)を組み合わせて命名されたソフト ウェア開発手法。技術的な側面だけでなく、運用 部門、品質保証部門も重要な構成要素とする考 え方。 継続的テスト /ホリスティックテスト プロダクト開発サイクルの全ての段階で、プロダク
トを間断なくテストする。 継続的テスト(continuous testing)とシフトレフトな活動をアジャイルにどう取り入れるか? https://agilejourney.uzabase.com/entry/2024/06/25/103000 -
自動テストとは? 自動化されたテスト活動を指す言葉で、次のような実行を自動化したものを指すのが一 般的。 • • • テストの事前条件の実現 テストの実行 実行結果と期待結果の比較 ※
上記に限らない、各種活動の自動化を指す場合もある。 -
テストの2つの側面:確認と探索 • • 確認(Checking) ◦ 「ある条件で実行したとき、結果が◯◯になる」のような、 期待値との一致 を確認する ◦ 事前に用意したシナリオに沿って実行する必要があるため、
機械が得意な領域 探索(Exploring) ◦ 知識や経験をもとに、不具合がないか探索する ◦ 創造的な活動なので、 人間が得意な領域 -
自動テストのレベル – ユニットテスト • プログラムの部品(モジュール)レベルを動かすテスト • 開発者が機能の実装と並行して作成する • 実行速度と正確性に優れる •
自動テスト全体の多数を構成する • 一般的に既存のテストフレームワーク(xUnit等)を使う -
自動テストのレベル – 統合テスト • 複数のプログラムの部品(モジュール)を組み合わせて動かすテスト • プロダクトのアーキテクチャ構成などによってバリエーションがある • Webサービスでは、よくHTTPリクエスト/レスポンスが対象になる •
主に開発者が作成する • より広い範囲を検証できるが、それよりは遅く、不安定になる -
自動テストのレベル – システムテスト • すべての機能が揃った状態で実施されるテスト • 自動化はプロダクトの種類に応じて変わる • 定番のツールがある場合はそれが用いられる(ない場合は自作する) ◦
Webシステムだとブラウザを操作するツールが定番 • 開発者が作成することもあるが、選任のメンバーが作成することもある • システム全体を検証できるが、さらに遅く、不安定な部分も多くなる ※ 文献によっては、UIテストやEnd to End(E2E)テストを扱っている場合もある -
CI/CDと自動テスト 継続的インテグレーション(Continuous Integration)とは、 ”チェックインの際に各変更を検証した上で、コードの変更を高い 頻度で結合してくプロセスのことです。” そして、継続的デリバリー(Continuous Delivery)とは、 ”動作するソフトウェアを、プロジェクトにとって意味のある限り迅 速に、いつでも安全にユーザーにリリース可能な状態にしておく ソフトウェア開発手法”のことです。
自動テストは、このCI/CDプロセスにおける主要なタスクとして、 コードが意図したとおりに動作するかを検証します。 入門 継続的デリバリー https://www.oreilly.co.jp/books/9784814400690/ -
まとめ • 自動テストとは、テストの準備や実行、結果の検証などを自動化したテスト活動の こと • 自動テストの構成は主にユニットテスト、統合テスト、システムテストといったテスト レベルで構成される • 自動テストはテストの専門家だけでなく、プログラミングにおいて品質やスピードを 改善する目的でも活用される
• 自動テストは、ソフトウェアを迅速かつ安全にリリースするためのCI/CDにおける主 要なタスクになっている -
質とスピードの関係 パフォーマンス レベル 変更の リードタイム デプロイの頻度 変更時の 障害率 復旧までの 時間
回答者の 割合 Elite 1日未満 オンデマンド 5% 1 時間未満 19% High 1日~1週間 1日1回~週1回 20% 1 日未満 22% Medium 1週間~1か月 週1回~月1回 10% 1 日未満 35% Low 1か月~6か月 月1回~6ヶ月に1回 40% 1 週間~1 か月 25% DORA Research: 2024 https://dora.dev/research/2024/ -
質とスピードの関係 パフォーマンス レベル 変更の リードタイム デプロイの頻度 変更時の 障害率 復旧までの 時間
回答者の 割合 Elite 1日未満 オンデマンド 5% 1 時間未満 19% High 22% 127倍 182倍 8倍 2,293倍 Medium Low 35% 1か月~6か月 DORA Research: 2024 https://dora.dev/research/2024/ 月1回~6ヶ月に1回 40% 1 週間~1 か月 25% -
テスト自動化と組織のパフォーマンス Westrum推奨の 組織文化 職務満足度 テストの自動化 デプロイの自動化 継続的インテグレーション バージョン管理 ・・・ 継続的な
デリバリ ソフトウェア デリバリの パフォーマンス 組織全体の パフォーマンス 帰属意識 修正作業 の減少 デプロイ関連 の負荷の軽減 LeanとDevOpsの科学 ”図A.1 本研究の全体の構成”(p.242)から抜粋 https://book.impress.co.jp/books/1118101029 バーンアウト の軽減 -
テスト自動化のコスト • 学習コスト ◦ ◦ ◦ ◦ • • •
ソフトウェアの品質やテストに関するスキル テスト自動化やソフトウェアエンジニアリングに関するスキル 自動化のためのツールやプラットフォームに関するスキル 製品の設計(テストの容易さ)に関するスキル 自動テストの作成と保守 適切な投資のための分析や計画 組織文化の醸成 自動化されたテストがその効果を発揮するには、単に自動化のツールを導入するだけ ではなく、効果的な運用のためのスキルや、継続するための取り組みが必要となる。 -
朗報:パフォーマンスは業界と関係しない ”DORA の調査において、業界がソフトウェアデリバリー パフォー マンスの予測因子となることはほとんどありません。高いパフォー マンスを発揮するチームは、あらゆる業種で確認されています。 これは、さまざまな業界に固有の課題がないことを示しているわ けではありませんが、ソフトウェア デリバリー パフォーマンスに関
しては、どの業界にも、特有の障害または強みがあるようには見 えません。” ※ この分析は数年の研究で一貫して変わっていない DORA Research: 2024 https://dora.dev/research/2024/ -
まとめ • ソフトウェアデリバリーのスピードと品質が相関する • 組織のソフトウェアデリバリー能力は収益性、市場占有率、生産性といった競争優 位性をもたらす • 継続的なデリバリーのプラクティスであるテスト自動化は、組織全体のパフォーマン スを支えるプラクティスの1つ •
自動化された信頼できるテストによって、高品質へのアプローチが後押しされる • テスト自動化は、それを実現するためのスキルや、持続性への投資によって、素早 く変化していくための力になる -
• • • • • • • 不確実性の高い時代において、テストは単に「仕様通り」を確認する工程ではなく、 価値の向上を目指すための活動と捉えられている 自動化されたテストは、CI/CDプロセスなどのプラクティスとともに、製品を素早く安
全に提供するための構成要素になる 高いパフォーマンスを実現する組織は、スピードと品質が両立している 製品デリバリーの能力は、企業の業績(収益性、市場占有率、生産性)と関連が示 されている 開発者が主体となって、信頼できる自動テストを構成することが、製品デリバリーの パフォーマンスの予測材料となる テスト自動化はコストの削減ではなく、素早く変化を続ける力を得るための投資 たんにツールや仕組みを導入するのではなく、選択肢として適切に活用することが 重要 -
自己紹介 Atsushi Okui (@blue32a_jp) ソフトウェアエンジニア / Webアプリケーション エンジニア / PHPer
関心:設計、コード品質、リファクタリング、テス ト、モデリング