みんなに役立つ「テスト」を学んでみよう！（20140105版）

Slide 1

Slide 1 text

1 2014/01公開用みんなに役立つ「テスト」を学んでみよう！みんなに役立つ「テスト」(と、品質の考え方) を学んでみよう！みずのり（水野のりゆき）＠WARAI（関西SWテスト勉強会）

Slide 68

Slide 68 text

68 2014/01公開用みんなに役立つ「テスト」を学んでみよう！テストタイプ：例を見てみましょうとりあえず、例を見てみましょう。・Myersのシステムテストカテゴリ ※注：説明は個人的解釈です。本内容、結構役立ちますよ♪ ※ただ、勝手な解釈で訳してます… 原典も見てね原典はこちら： http://www.testdesigners.com/systemtesting.html Facility Testing Volume Testing ボリュームテスト非常に大きなデータを扱うためのテスト。 Stress Testing ストレステスト非常に大きな負荷、ストレス（瞬間的なデータ量）をかけるテスト。ボリュームテストとは混同すべきではない。 Usability Testing ユーザビリティテスト人間的な要素を取り扱う。学習や人間的要素は計算機のシステム上はまだ確立されていない。 Security Testing セキュリティテストプライバシーの課題に対しての対処を実施する。 Performance Testing 性能/パフォーマンステスト答時間、スループット、とある条件における一定の負荷率などを確認する。 Storage Testing ストレージテスト時折、記録媒体における課題が発生することがある。 Configuration Testing 設定コンフィグレーションテスト様々な設定による問題の発生が存在する。それぞれのHWデバイスに対して、最小、最大設定は確認すべきである。 Compatibility conversion Testing 互換性コンパチビリティテスト殆どのプログラムは新規ではなく派生で開発される。既存のシステムから移行するために特別な確認が必要となる。 Installability Testing インストーラビリティテストいくつかのシステムでは、煩雑なインストール手順が存在する… Reliability Testing 信頼性テストプログラムは信頼性について特別な課題をもつ場合もあるので、特殊な確認が必要となる。 Recovery Testing リカバリーテスト OSやDB管理システム、遠隔で扱うシステムは、復帰の機能を持つ。プログラム異常やHW故障、データのエラーなどに対処する確認が必要となる。 Serviceability Testing サービスアビリティテスト保守もしくは有用性の特徴を持つ。これらの側面もテストされるべきである。 Documentation Testing ドキュメンテーションテストシステムテストはユーザ向けドキュメントの正しさを確認する。 Procedure Testing 手続きテストシステムは、人々によって実施される手順を含めるものである。関係者による手続き、手順を合わせてテストする必要がある。機能テストを意味する（テストレベルのFunction Testと分けている）テストレベルテスト技法テストタイプ

Slide 69

Slide 69 text

69 2014/01公開用みんなに役立つ「テスト」を学んでみよう！テストタイプ：例を見てみましょう個人的なライブラリ：実施したテストや不具合項目を階層的に整理しておくと便利！おまえは今まで設計したテストの種類を覚えているのか？テストレベルテスト技法テストタイプ　仕様書出図後の仕様変更、ユーザ固有の環境、MWとのIF 　メモリがあふれた時、ハード的なエラー　想定外、数値、起動、終了、割り込み、タイミング抜けやすい観点無し、増加、減少、他に、一部、逆、異なる、早い、遅い、前、後詳細参考：HAZOP ﾘﾄﾗｲ（成功）、再接続（成功）、規制、再送、未接続でHHH、未契約でGGG、契約外、無応答リカバリエラー、異常、NG、例外、XX失敗、ﾘﾄﾗｲｵｰﾊﾞｰ、ﾀｲﾑｱｳﾄ、不正、Reject、状態不一致、障害、同期はずれ、想定外／未知異常系信頼性、異常系ガイドワード外側、例外、間、対象、類推そ、れ、あ、た、る狙いどころパステスト構造テスト競合状態カバレッジ構造両立性テスト構成テストデータ互換性テスト拡張性テストストレステストロードテストユーザビリティテスト信頼性テスト回復性テストロバストネステストセキュリティテストシナリオテスト機能組合せテスト機能テスト ※ゆもつよメソッドより移植性保守性効率性使用性信頼性機能性置換製共存力インストールのしやすさ順応性テストのしやすさ安定性変更のしやすさ分析のしやすさ資源の活用度時間挙動魅力操作のしやすさ学習のしやすさ理解のしやすさ復元力フォールトレランス成熟度セキュリティ相互運用性正確性適切さ手続きテストドキュメンテーションテストサービスアビリティテストリカバリーテスト信頼性テストインストーラビリティテスト互換性/コンパチビリティテスト設定/コンフィグレーションテストストレージテスト性能/パフォーマンステストセキュリティテストユーザビリティテストストレステストボリュームテスト機能テストを意味する（テストレベルのFunction Testと分けている） Procedure Testing Documentation Testing Serviceability Testing Recovery Testing Reliability Testing Installability Testing Compatibility/conversion Testing Configuration Testing Storage Testing Performance Testing Security Testing Usability Testing Stress Testing Volume Testing Facility Testing 開発プロセス改善の指標となる（改善、予防）リリース後の品質リスクを見積もる（リスク）要件を満たすことを保証する（保障）欠陥やバグを検出する(検出) 「バグゼロ」の落とし穴テストは条件次第殺虫剤のパラドックス欠陥の偏在初期テスト完全なテストは不可能テストは欠陥があることしか示せない一般的なテストの必要性テストの原則移植性保守性効率性使用性信頼性機能性テストタイプ一覧 Myersのシステムテストカテゴリ品質特性（ISO9126）汎用観点（追加予定）負荷時使用シナリオ（シーン）要求物理特性仕様/機能水温変化の規定起動、アップデート競合状態遷移ロジック仕様適合外観検査特性/精度タイミング変化 H/W ポットのシステムロジック高温層を用いた加速確認シナリオ（シーン）環境ユースケース要求負荷時仕様連続振る舞い水質負荷時性能分かりやすさ H/W 要求シナリオ（シーン）仕様/機能 H/W性能レスポンス状態遷移シナリオ（シーン）ロジック環境（電圧、温度、振動・衝撃）意地悪タイミング変化競合仕様適合（当たり前品質）量産における品質安定性長期使用可能な耐久性ユーザにとっての使用性安全性テスコン'12@東京タイミング、状態信頼性テスト機能、状態、環境組合せ（無側の確認）連続テスト取説・シナリオテストユーザビリティテスト機器性能評価/スペック評価構造テスト/ユーザ提供の状態確認機能テスト安全性テスト参考：テストタイプ一覧ノイズのタイミングへの影響アクティブノイズ割込み操作、タイミング動的分析時系列での検討ワンプレートスタイルで分析シナリオベースメモタイミング、状態信頼性テスト割込み操作ノイズ静的分析（内部構成）アクティブノイズ外部環境使用環境静的分析（外部構成）ワンプレートスタイルで分析システム、構成ベースメモ機能、状態、環境組合せ（無側の確認） CPU メモリ確認項目タイマも使用する沸騰、保温の繰り返し水を補充しながら連続操作連続操作夜沸騰して朝まで保温連続稼動家庭環境コンビニ環境繰り返しで使用される環境を活用想定シーン連続テスト状態網羅テストシナリオタイマロックON時ロックOFF時構造テスト/ユーザ提供の状態確認音声、ブザー通知 LED表示液晶表示表示カルキ抜き節電タイマ機能タイマ機能便利機能エラー検知ロック機能安全機能吐水量容量沸騰機能保温機能基本機能機器性能評価/スペック評価想定ユーザテストエキスパートレビュー方法満足度分かりやすさ操作学習操作認識主観評価、アンケート企業イメージへの配慮ユーザと環境に合せる操作のしやすさ理解のしやすさ見つけやすさ、見易さ評価基準温度異常を知る水位センサ異常を知る水が満水を知る水が空になったことを知る温度を見る水位を確認するタイマ使用を止める時間を計る給湯ロックを解除する給湯ロックを行うカルキ抜きを行う沸騰させるモード切替 60℃ 90℃ 98℃ 保温する給湯する操作ユーザビリティテスト各テストフレーム（システム/ユーザ）競合表に従った状態、ボタン組合せパターン競合表チャタリング想定状態網羅（遷移表ベース、2スイッチ）タイマボタンエラーの割込みパターン想定状態網羅（遷移表ベース、2スイッチ）沸騰行為状態網羅（遷移表ベース、2スイッチ）温度制御状態網羅（遷移表ベース、2スイッチ）水位メータチャタリング想定状態網羅（遷移表ベース、2スイッチ）解除ボタンチャタリング想定状態網羅（遷移表ベース、2スイッチ）保温ボタンチャタリング想定状態網羅（遷移表ベース、2スイッチ）沸騰ボタン状態遷移構造テストモード遷移時間保温制御精度精度範囲サーミスタ水温検出温度推移保温時間保温性能温度制御吐水量の確認給湯量給湯口給湯機器性能評価/スペック評価条件網羅ブザー条件網羅ポンプデバイス：出力条件網羅サーミスタ条件網羅第n水位センサ条件網羅満水センサ条件網羅蓋センサデバイス：入力条件網羅水位メータ条件網羅温度/モード表示窓条件網羅保温ランプ条件網羅沸騰ランプ条件網羅ロックランプ条件網羅タイマ残り時間表示枠操作パネル：出力条件網羅給湯ボタン条件網羅保温設定ボタン条件網羅沸騰ボタン条件網羅解除ボタン条件網羅タイマボタン操作パネル：入力デバイス機能ヒータへの制御出力の妥当性確認ヒータ制御温度判定のロジック確認、パターンによる妥当性検証温度判定水位判定の論理組合せ条件網羅水位判定エラー発生条件の条件網羅エラー判定状態遷移×構造テストで確認状態網羅ボタン入力の論理判定条件網羅保温モード状態遷移×構造テストで確認状態網羅ボタン入力の論理判定条件網羅ロック/解除サブ機能状態遷移×構造テストで確認状態網羅タイマ状態遷移×構造テストで確認状態網羅給湯停止給湯するふるまいが目的に適合していることボタン押下時の有則組合せ給湯状態遷移×構造テストで確認状態網羅ミルク節約高温各モード保温カルキ抜き沸騰アイドルふるまいが目的に適合していることボタン押下時の有則組合せ温度制御メイン機能メイン機能、サブ/サポート機能、デバイス機能の3層で検討仕様->保温モード×機能テスト仕様->ロック/解除×機能テスト仕様->温度制御×機能テスト仕様->給湯×機能テスト仕様->タイマ×機能テスト詳細分割（メモ）機能テスト蓋状態が獲得できない時の起動時処理確認状態×ボタンを押しっぱなしにした場合の振る舞い確認（All Pair）沸騰中に蓋を開けた場合の加熱停止水が無い、少ない場合の沸騰ボタン押下温度が上がらないエラー温度上がりすぎのケースノイズ、環境 HW故障 HWの異常、故障による要因無意識わざと、意地悪人による要因検討方法（メモ）安全性テスト（機器及びユーザ）各テストフレーム（ソフトウェア/機器）テスコン'13 テストタイプベース

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text