テストを学び成長する/Study_Software_Testing_and_Grow

テストを学び成長する
～テストの全体観を持ち、テストに強みをもった技術者になるための学びと育成について～
2022年度版
2022年10月14日（金）
於 JaSST ’22 Shikoku
Copyright © 2017-2022 Takashi YAMASAKI All right reserved. 1

View Slide

山﨑崇（YAMASAKI Takashi）
（株）ベリサーブソフトウェア品質コンサルティング部兼品質保証部プロジェクト推進課課長
2001年からセキュリティ対策ベンダーにおいて、さまざまなプロジェクトのソフトウェアテスト
活動にQAエンジニアとして従事。その傍ら、さまざまなテストコミュニティに参画し、活動の場を
広げる。2015年にベリサーブに入社。現場への技術支援、教育、コンサルテーションなどを担い、
少しでも現場が幸せになるように日々奮闘中。
主な活動
• JaSST東京実行委員会（’11～）
• テスト設計コンテストU-30審査委員（’16～）
• ASTER テストプロセス改善研究会（’16～）
• JSTQB Foundation Level 認定講師（’12～）
• WACATE(’07～’14）
など
主な著書・訳書
• 実践ソフトウェアエンジニアリング第9版（共訳）
• 開発現場で役立つテスト「超」実践講座第9回（著）
• テスト技術者資格制度Foundation Level
Extensionシラバスアジャイルテスト担当者（共訳）
• システム開発ジャーナル Vol. 10 （共著）
など
主な講演
• JaSST’21北陸基調講演「テストを学び成長する」 🔗
• JaSST’17東北基調講演「テストの極みを目指して」 🔗
• JaSST’15東京チュートリアル「初心者からの脱出」 🔗
• テスト設計コンテストチュートリアル
U-30クラス（’17～’19）ちびこん編（’21 🔗）
• SQiP研究会品質保証の基礎コース第7回
「ソフトウェアテストの概観を識る」
（’17, ’20～） 🔗
• 第14回SPIトワイライトフォーラム
「テストプロセス改善モデルの最新動向」 🔗
など
その他 https://www.linkedin.com/in/yamasaki696/ を参照

View Slide

特技ソフトウェアテスト
趣味ソフトウェアテスト
Yes, I'm loving Software Testing!
@yamasaki696

View Slide


View Slide

本資料の公開先
https://bit.ly/3g0nNRc

View Slide

この講演のお約束
録画・録音
NG
キャプチャ
OK
SNS投稿
OK

View Slide

質問方法
ZoomのQ&Aから、質問を適宜投稿してください
※チャットではないです
※すべての質問に回答できないかもしれませんが、その際は、公演後にテキストベースになりますが、可能な限り回答できればと思います

View Slide

今日のお話
1.テストについて改めて考えてみる
2.テストを俯瞰する3つの軸のお話
3.テストを学ぶこと・育成について

View Slide

今日のお話

View Slide


View Slide

ソフトウェア
論理的集合体
目に見えない
触れられない
物理化学法則に基づ
かないので自由度が
高すぎる
ハードウェア
物質的実体
目に見える
触れられる
物理化学法則に基づ
くので自由度は低い

View Slide

出典: テスト技術者資格制度 Foundation Levelシラバス日本語版Version 2018V3.1.J03 P.17 [1.2.3 エラー、欠陥および故障」より
誘因① 納期のプレッシャー
誘因② 人間の誤りを犯しやすい性質
誘因③ プロジェクト参加者の経験不足または技術不足
誘因④ プロジェクト参加者間の誤ったコミュニケーション
※要件や設計の誤ったコミュニケーションを含む
誘因⑤ 複雑さ
※ コード、設計、アーキテクチャ、解決すべき根本的な問題, そして/または使用する技術の複雑さ
誘因⑥ システム内またはシステム間のインターフェースに対する誤解
※ 特に、関連するシステム数が多い場合
誘因⑦ 新しく不慣れな技術など

View Slide


View Slide

Industry References:3 B. Boehm and V. Basili, "Software Defect Reduction Top 10 List" IEEE Computer Society, Vol. 34, No. 1, Jan 2001
リリース後に見つかった欠陥の修正コストは高い

View Slide


View Slide

”全てのライフサイクルを通じて実施する静的、動的な
プロセスにおいて、成果物が特定の要件を満足するか
を判定し、目的に合致することを実証し、欠陥を見つけ
るため、ソフトウェアプロダクトや関連成果物に対し、
計画、準備、評価をすること。”
ISTQB Glossary V3.5 https://glossary.istqb.org より

View Slide

人によっても違うし成熟度によっても違うし千差万別
テストは行動ではない。大げさなテストをすることなく品質の高いソフト
ウェアを作るための精神的な訓練である。
フェーズ4
テストの目的は、何かを証明することではなく、プログラムが動かない
ことによって発生する危険性をある許容範囲までに減らすことである。
フェーズ3
テストの目的は、ソフトウェアが動かないということを示すことにある。
フェーズ2
テストの目的は、ソフトウェアが動くことを示すことである。
フェーズ1
テストとデバッグには何の差もない。
デバッグ以外にはテストには特別な目的はない。
フェーズ0
出典：ボーリス・バイザー著「ソフトウェアテスト技法」 P.3 「1.4 テスト担当者の精神面による区分」

View Slide

テストの目的も一義的ではない
要件、ユーザーストーリー、設計、およびコードなどの作業成果物を評価することによって欠陥を防ぐ。
明確にしたすべての要件を満たしていることを検証する。
テスト対象が完成したことを確認し、ユーザーやその他ステークホルダーの期待通りの動作内容で
あることの妥当性確認をする。
テスト対象の品質に対する信頼を積み重ねて、所定のレベルにあることを確証する。
欠陥や故障を発見し、ソフトウェアの品質が不適切になるリスクレベルを軽減する。
ステークホルダーが意志決定できる、特にテスト対象の品質レベルについての十分な情報を提供する。
契約上、法律上、または規制上の要件や標準を遵守する、そして/またはテスト対象がそのような要件
や標準に準拠していることを検証する。
出典: テスト技術者資格制度 Foundation Levelシラバス日本語版Version 2018V3.1.J03 P.15「1.1.1 テストに共通する目的」より

View Slide

「品質に関わる新たなための諸活動」
※以下のテストの目的をすべて満たします
欠陥を摘出する
対象ソフトウェアの品質レベルが
十分であることを確認する
意志決定のための情報を示す欠陥の作りこみを防ぐ
上記4つのテストの目的は、テスト技術者資格制度 Foundation Levelシラバス日本語版 Version 2011.J02より引用 (JSTQB FL)
で、結局テストって何んなの？

View Slide

早
いテストから得られる情報のタイミングが早いほど価値が高い
易
いテストから得られる情報の取得コストが安いほど価値が高い
旨
い
テストから得られる情報がニーズに合致
していて正確で分かり易いほど価値が高い
本質的にテストの価値は情報収集・提供

View Slide

テストを通じて得られた情報によって製品やサービスの
品質に対する確信度合いを積み上げていく
逆説的には、テストをしなくて済むのであれば、誰もがそれをしたくないけれども、ソフトウェアの特性や人の特性やソフトウェア開発
の背景などから、テストという手段を用いてその結果を見ないことには、リリースしても大丈夫であるかどうかを判断する術がない

View Slide

そのための手段がテストだが、テストは本質的に完全ではない
テストは欠陥があることは示せるが、欠陥がないことは示せない
原則 1
全数テストは不可能
原則 2
早期テストで時間とコストを節約
原則 3
欠陥の偏在
原則 4
殺虫剤のパラドックスにご用心
原則 5
テストは状況（コンテキスト）次第
原則 6
「バグゼロ」の落とし穴
原則 7
出典:「テスト技術者資格制度 Foundation Levelシラバス日本語版Version 2018V3.1.J03」P.18～19「1.3 テストの7原則」より

View Slide

テストはテストのみでは存在しえない活動（テストのことだけ考えても意味がない）
情報はそれを使うことで意味を持つ

View Slide

テストとは、テストとそれに関係するテスト以外のこと
についても考えに考え抜いてそれらの本質を知ること

View Slide

テストを学び、テストを通じて成長しよう

View Slide

今日のお話

View Slide

理解への第一歩は言葉を知ることから

View Slide

共通言語としてJSTQB Foundation Level 取得のススメ

View Slide


View Slide

ユニットテスト
統合テスト
システムテスト
結合テスト
アルファテスト
ベータテスト
機能テスト
非機能テスト
性能テスト負荷テスト
受け入れテスト
スモークテスト
モンキーテスト
探索的テスト
ペネトレーションテスト
セキュリティテスト
コンパチビリティテスト
パステスト
ステートメントテスト
デシジョンテーブルテスト
テスト設計
テスト計画
テスト分析
テスト実装
テスト実行
テスト管理
テスト報告
テストケース
テストウェア
テストベース
テストデータ
テスト環境
テストツール
テスト条件
テスト戦略
テストアプローチ
テスト技法
ブラックボックステスト
ホワイトボックステスト
グレーボックステスト
テスト手順
ロードテスト
テスト駆動開発
テストフレームワーク
でもテストの領域は「●●テスト」や「テスト●●」だらけ…

View Slide

「分かることは分けられること」
「思考・論理・分析 ―「正しく考え、正しく分かること」の論理と実践―」波頭亮(著)

View Slide

分けるためにも概観できるテストの軸が重要
テストレベル
テストプロセス
テストタイプ
テストの空間のどこに対しての
要素であるかを意識した上で
テスト技術などの要素を考える
※図はイメージです

View Slide

テストレベル
テストタイプ

View Slide

テストレベルとは？
テストレベルは、系統的にまとめ、マネジメント
していくテストの活動のグループである。
“
具体的にインスタンス化したテストプロセス。
“
ISTQB Glossary https://glossary.istqb.org より
「テスト技術者資格制度 Foundation Levelシラバス日本語版Version 2018V3.1.J03」 P.31「2.2 テストレベル」より

View Slide

システムを受け入れる判断に焦点を当てたテストレベル。
システム全体が特定の要件を満たしていることを確認することに焦点を当てたテストレベル。
統合テスト
コンポーネント間、またはシステム間の相互作用に焦点を当てたテストレベル。
コンポーネントテスト
個々のハードウェアまたはソフトウェアコンポーネントに焦点を当てたテストレベル。
テ
ス
ト
対
象
と
し
て
着
目
す
る
詳
細
度
小
大
「小さなことからコツコツ」と品質に関する確信度合いを積み上げていく
各テストレベルの用語定義はISTQB Glossary https://glossary.istqb.orgによる

View Slide

要件定義
外部設計
内部設計
実装
テスト
実装終わったらテストって乱暴すぎよね

View Slide

上流工程の開発と下流工程のテストにおける責務との対応関係
外部設計
内部設計
実装
要件定義
コンポーネント
テスト
統合テスト
対応関係
段
階
的
な
詳
細
化
段
階
的
な
統
合

View Slide

テスト自動化のピラミッド
出典:「実践アジャイルテスト」 P.274「図14-2 テスト自動化のピラミッド」に軸を付け加えた図（図の左側を独自に追加している。
GUIテスト
(APIレイヤー)
ユニットテスト/コンポーネントテスト
手動テスト
高い
低い低い
高い
遅い
速い
費
用
対
効
果
保
守
性
実
行
速
度

View Slide

DevOpsでの継続的テストのループ
出典：Dan AshbyのContinuous Testing in DevOpsを引用した書籍「A Practical Guide to Testing in Dev Ops」に翻訳本 P.xiii
Dev
PLAN
BRANCH
CODE
MERGE
BUILD
Ops
RELEASE
DEPLOY
OPERATE
MONITOR
ここで
テスト
ここで
テスト
ここで
テスト
そして
ここでも
さらに
ここでもテストここでテストしないの？
もちろんできます！
ここでも
テスト
さらに
ここでも
テスト
そして
ここも
もちろん…

View Slide

テストレベルの本質を考えていくと
ソフトウェア開発ライフサイクルに留まらず
ソフトウェアライフサイクル全般における
テストの全体像を考えていくことに繋がる

View Slide

テストレベル
テストタイプ

View Slide

テストタイプとは？
コンポーネントやシステムのある特性に対応したテスト
の目的を基にテスト活動をまとめたもの。
“
テストタイプは、以下に列挙する特定のテストの目的か
ら見たソフトウェアシステム（あるいはシステムの一部
分）の特性をテストするための活動を束ねたものである。
「テスト技術者資格制度 Foundation Levelシラバス日本語版Version 2018V3.1.J03」P.40「2.3 テストタイプ」より
“

View Slide

JSTQBによるテストタイプの分類
テストタイプ
機能テスト
機能の品質特性、例えば完全、正確
および適切であることなどを評価す
る。
非機能テスト
非機能の品質特性、例えば信頼性、
性能効率性、セキュリティ、互換性、
使用性などを評価する。
コンポーネントまたはシステムの、構造
またはアーキテクチャーが正しく完全
で仕様通りであることを評価する。
変更関連のテスト
欠陥が修正されていることを確認するなどの変更による影響を評価し（確認テスト）、
ソフトウェアや環境の変更によって意図しない振る舞いの変化が発生していないかを
探す（リグレッションテスト）。
各テストレベルの用語定義はISTQB Glossary https://glossary.istqb.orgによる

View Slide

“製品品質モデル “ from “JIS X 25010:2013” 図4
システム/ソフトウェア製品品質
機能適合性性能効率性互換性使用性信頼性セキュリティ保守性移植性
• 機能完全性
• 機能正確性
• 機能適切性
• 時間効率性
• 資源効率性
• 容量満足性
• 共存性
• 相互運用性
• 適切度認識性
• 習得性
• 運用操作性
• ユーザエラー
防止性
• ユーザインター
フェース快美性
• アクセシビリ
ティ
• 成熟性
• 可用性
• 障害許容性
(対故障性)
• 回復性
• 機密性
• インテグリティ
• 否認防止性
• 責任追跡性
• 真正性
• モジュール性
• 再利用性
• 解析性
• 修正性
• 試験性
• 適用性
• 設置性
• 置換性
ISO/IEC 25010の製品品質モデル

View Slide

• さまざまなテストを考慮するにあたり、品質モデルの各特性をガイドワードとして利用する
のは良いですが、テストの中にすべて押し込むのは乱暴で、テストでは測りがたい特性もあ
ります（たとえば、保守性とか移植性とか）
• 前提として品質モデルはテストのためのモデルではないですし、各品質の特性は相関関係
があります。そして、すべての品質特性をフル天にすれば良いわけでもありません
• 各特性が「どうあるべきか」は、本来的には品質要求として定める必要があり、テストではそ
の要求を満たしているのかを確認することになります
• 例えば、時間効率性（パフォーマンス）として、何msの応答であれば妥当であるかは品質要求次第

View Slide

図：品質属性間のプラスとマイナスの相関関係
Karl E.著「ソフトウェア要求第3版」 P.333より。
※なお、デザインに手を入れている
可
用
性
効
率
性
導
入
可
能
性
完
全
性
相
互
接
続
性
修
正
可
能
性
性
能
移
植
性
信
頼
性
再
利
用
性
堅
牢
性
安
全
性
拡
張
性
セ
キ
ュ
リ
テ
ィ
ユ
ー
ザ
ビ
リ
テ
ィ
検
証
可
能
性
可用性＋＋
効率性＋－－＋－－＋－
導入可能性＋＋＋
完全性－－－－＋＋－－
相互接続性＋－－－＋＋＋－－
修正可能性＋＋－－＋＋＋＋
性能－－－－－－－
移植性－＋－－＋－－＋
信頼性＋－＋＋－＋＋＋＋＋
再利用性－－＋＋－＋－＋
堅牢性＋－＋＋＋－＋＋＋＋＋
安全性－＋＋－＋＋－－
拡張性＋＋＋＋＋＋＋
セキュリティ＋＋＋－－＋＋＋－－
ユーザビリティ－＋－－＋＋＋－
検証可能性＋＋＋＋＋＋＋＋＋＋
品質特性間の相関関係の例

View Slide

Product Quality
Functional
suitability
Performance
efficiency
Compatibility
Interaction
capability
Reliability Security Maintainability Flexibility Safety
Functional
completeness
Functional
correctness
Functional
appropriateness
Appropriateness
recognizability
Learnability
Operability
User error
protection
User
engagement
User
assistance
Self-
descriptiveness
Time behavior
Resource
utilization
Capacity
Co-existence
Interoperability
Confidentiality
Non-
repudiation
Integrity
Accountability
Authenticity
Resistance
Operational
constraint
Risk
identification
Failsafe
Hazard
warning
Safe
integration
Faultlessness
Availability
Fault
tolerance
Recoverability
Modularity
Reusability
Analyzability
Modifiability
Testability
Adaptability
Scalability
Installability
Replaceability
製品品質のモデルも、時代と共に改訂を重ねてきており、先のISO/IEC25010:2013も現在絶賛改訂作業中です。
また、製品品質以外にも、SQuaREには利用時の品質、データ品質、サービス品質なども規定されていています。
変更新規追加
既存
凡例
図は、現在策定中（まだリリースされていない、ISO/IEC 25010の新しい製品品質モデルの主特性と副特性の案が出典。
策定中の情報についてはオフィシャルに表にでていませんが、この規格を策定するワーキンググループのコンビーナ（議長）である込山さんの資料を参照してください。
https://speakerdeck.com/washizaki/squareguan-lian-falsebiao-zhun-hua-falsequan-ti-dong-xiang-25010-25019gai-yao-ip-shan-jun-bo

View Slide

テストタイプを突き詰めていくと開発している
製品やサービスに求められていること、それら
の存在意義といった根源的なことに繋がる

View Slide

テストレベル
テストタイプ

View Slide

テストプロセスとは？
相互に関連する活動のセット。テスト計画作業、
テストモニタリングとコントロール、テスト分析、
テスト設計、テスト実装、テスト実行、テスト完了
といった活動から構成される。
“

View Slide

テストプロセスの例（JSTQB）
テストプロジェクトのタイムライン
テ
ス
ト
分
析
テ
ス
ト
設
計
テ
ス
ト
実
装
テ
ス
ト
実
行
テストのモニタリングとコントロール
テ
ス
ト
計
画
テ
ス
ト
完
了
t

View Slide

テスト
モデルを
特定する
4つの
テスト
モデル
モデルに
紐づいた
テスト観点
テスト
観点を
詳細化
する
詳細化された
テスト観点
(テストパラメータ)
網羅
基準を
設定する
網羅基準
テストケース
(テスト値)
基準に
基づいて
ケースを
導出する
網羅基準に
紐づいた
テスト
パラメータ
テスト技法
テスト
観点間の
関係性を
見出す
テスト
フレーム
同じような
意味を持つ
テスト観点や
テストフレーム
をまとめる
テスト
コンテナ
テスト
コンテナ間の
関連性を
整理する
テスト
アーキテクチャ
テスト
すべきことを
洗い出す
テストベース
様々な
テスト観点
テスト観点を
構造化する
構造化された
テスト観点
(中間状態)
ドメイン知識/
ガイドなど
リファイン
する
最終的に
構造化された
テスト観点
さまざまなテストレベルやテストタイプを
実現するためのテストプロセスを設計しよう

View Slide

外部設計システムテスト
内部設計
コーディング
統合テスト
要件定義受入れテスト
同上
同上
同上
テスト完了
テスト実行
テスト実装
テスト設計
テスト分析
モニタリングおよびコントロール
テスト
計画
ソフトウェアライフサイクルの中で継続的に行っていく
各テストの特徴を見据えたプロセスを設計する

View Slide

Deploy
Stage
Test
Build
Commit
継続的Delivery（CD）
継続的インテグレーション（CI）
継続的デプロイメント（CD）
ライフサイクルの中にパイプラインも構築していく

View Slide

テストプロセスを突き詰めて考えていくと
テストを実現するためのプロセスだけではなく
ソフトウェア開発ライフサイクルやソフトウェアライ
フサイクルとの融合やパイプライン化に繋がる

View Slide

テストレベル
テストタイプ

View Slide

テストの空間の第1面（テストタイプ×テストレベル）
統合テスト
機
能
テ
ス
ト
セ
キ
ュ
リ
テ
ィ
テ
ス
ト
相
互
運
用
性
テ
ス
ト
使
用
性
テ
ス
ト
・・・
ホ
ワ
イ
ト
ボ
ッ
ク
ス
テ
ス
ト
変
更
関
連
の
テ
ス
ト
非機能テスト

View Slide

テストの空間の第2面（テストプロセス×テストレベル）
統合テスト
テ
ス
ト
計
画
テ
ス
ト
分
析
テ
ス
ト
設
計
テ
ス
ト
実
装
テ
ス
ト
実
行
テ
ス
ト
完
了
テ
ス
ト
の
Ｍ
＆
Ｃ

View Slide

テストの空間の第３面（テストプロセス×テストタイプ）
機能テスト
非
機
能
テ
ス
ト
セキュリティテスト
相互運用性テスト
使用性テスト
･･･
変更関連のテスト
テ
ス
ト
計
画
テ
ス
ト
分
析
テ
ス
ト
設
計
テ
ス
ト
実
装
テ
ス
ト
実
行
テ
ス
ト
完
了
テ
ス
ト
の
Ｍ
＆
Ｃ

View Slide

テスト以外のスキルや知識が必要なだけではなく、
テストとテスト以外を如何にして繋げるかが重要
TEST
SKILLS
DOMAIN
KNOWLEDGE
SOFT
SKILLS
IT
SKILLS
Fig. “Tester Skillspace” by Stuart Reid from JaSST Tokyo’14 Session Material (H8-2-2.pdf)

View Slide

テストに閉じて学ぶのではなく
テストを通じてソフトウェアの
本質に深く深く潜っていこう！

View Slide

今日のお話

View Slide

学びや育成にも銀の弾丸はない

View Slide

興味をもっていない人に働きかけても難しい…

View Slide

必要に迫られて関心を持った時に、近づいてきた時がチャンス！

View Slide

そのためにも普段からテストの楽しさや
面白さなどを醸し出しておこう

View Slide


View Slide

さまざまなフィールドを通じて
知見を広めるともに刺激を得る

View Slide


View Slide

本講を切っ掛けにソフトウェアの深淵を覗く
旅への第 1 歩を踏み出してください
写真素材
ご静聴ありがとうございました！

View Slide

テストを学び成長する/Study_Software_Testing_and_Grow

テストを学び成長する/Study_Software_Testing_and_Grow

YAMASAKI Takashi

More Decks by YAMASAKI Takashi

Other Decks in Technology

Featured

Transcript