納得できるテストをつくるアプローチ

Slide 1

Slide 1 text

1 2017/06/23公開用 JaSST’17 Kansai 納得できるテストをつくるアプローチ（ワーク込み）～妥当な判断をするための問題発見方法と思考フレームワーク紹介～みずのり（水野のりゆき） JaSST北海道実行委員 TOC/TOCfE北海道、TEF道 JaSST’17 Kansai

Slide 2

Slide 2 text

2 2017/06/23公開用 JaSST’17 Kansai 本日のタイトルテスト設計者や開発者本人、ステークホルダ共に「納得できる」テストへのアプローチを紹介。納得できるテストをつくるアプローチ（ワーク込み）

Slide 3

Slide 3 text

3 2017/06/23公開用 JaSST’17 Kansai 本日の構成１．納得できるテストを考えてみよう２．納得できるテストを考えてみよう（全体編）３．妥当性へ向けた問題発見へ

Slide 4

Slide 4 text

4 2017/06/23公開用 JaSST’17 Kansai 本日の構成：その１１．納得できるテストを考えてみよう２．納得できるテストを考えてみよう（全体編）３．妥当性へ向けた問題発見へ 1．納得できるテストを考えてみよう

Slide 5

Slide 5 text

5 2017/06/23公開用 JaSST’17 Kansai 不安不安不安ありそうなシチュエーション例えば、何らかのシステムをリリースするとします。 ※主にBtoBの場合テスト設計開発担当顧客マネージャ期待責任責任リリースか延期の判断コスト記載しているものだけでは当然ありませんが… 不具合テスト工数残業… 大丈夫なの？大丈夫かなぁ？ちゃんとわかる資料つくれ 1．納得できるテストを考えてみよう

Slide 6

Slide 6 text

6 2017/06/23公開用 JaSST’17 Kansai 不安不安不安ありそうなシチュエーション例えば、何らかのシステムをリリースするとします。 ※主にBtoBの場合テスト設計開発担当顧客マネージャ期待責任責任リリースか延期の判断コスト記載しているものだけでは当然ありませんが… 不具合テスト工数残業… 大丈夫なの？ちゃんとわかる資料つくれ 1．納得できるテストを考えてみよう大丈夫かなぁ？「説明できること」（相手の納得）「自信が持てること」（自分の納得）

Slide 7

Slide 7 text

7 2017/06/23公開用 JaSST’17 Kansai ワーク①：テストでの説明を考えてみましょう「自信が持てる」「説明できる」（納得できる）テストは大事そうですが、どうすればよいかを一度、考えてみましょう。＜ワーク内容＞次ページに「お題」のテスト対象があります。１．テストケースをつくってみましょう（５分）２．近くの人に説明してみましょう（５分） ※ひと段落したら誰かに聞いてみようと思います。 1．納得できるテストを考えてみよう

Slide 8

Slide 8 text

8 2017/06/23公開用 JaSST’17 Kansai ワーク①：テスト対象とワーク内容お題：遊園地的な場所への入場システム、券売機です。「購入計算画面」（左側）のテストが対象となります。現在時間：１７:００:１５購入種別（選択式）おとなこども計算料金表おとな（15才以上）1000円こども（14才以下）500円 10:00-17:59入場通常料金 18:00-19:59入場 +300円 ※上記時間以外は購入不可計算結果：時間：１７：００：１６おとな：１枚支払いは１０００円です購入計算画面購入画面・通常料金チケットは18:05まで使用（入場）可能です・計算ボタンを押したタイミングで時間が決定します・購入者の妥当性チェックはシステム上はありません・ユーザビリティは（あえて）考慮してませんのでテストからも外していただいてOKです・妥当性はあまり気にせず＋深読みしなくてよいです 1．納得できるテストを考えてみよう

Slide 9

Slide 9 text

9 2017/06/23公開用 JaSST’17 Kansai ワーク①：完了他の人の説明で納得できましたか？自分で考えた説明は納得のいく内容でしたか？ 1．納得できるテストを考えてみよう

Slide 10

Slide 10 text

10 2017/06/23公開用 JaSST’17 Kansai 不安不安不安ありそうなシチュエーション・リターンズ例えば、何らかのシステムをリリースするとします。 ※主にBtoBの場合テスト設計開発担当顧客マネージャ期待責任責任リリースか延期の判断コスト記載しているものだけでは当然ありませんが… 不具合テスト工数残業… 大丈夫なの？ちゃんとわかる資料つくれ 1．納得できるテストを考えてみよう大丈夫かなぁ？

Slide 11

Slide 11 text

11 2017/06/23公開用 JaSST’17 Kansai ありそうなシチュエーション：実際の説明各ステークホルダとの説明の場があるとして… 1．納得できるテストを考えてみよう不安テスト設計開発担当１０万件やります！テストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケース不安顧客仕様どおり確認してます！全部テストしろよ！テストケース×１０万件テストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケース×１０万件テスト設計開発担当不安マネージャ時間ないので、少なくしてもいいですか？不具合でたら誰が責任とるんだ！

Slide 12

Slide 12 text

12 2017/06/23公開用 JaSST’17 Kansai 1．納得できるテストを考えてみようイマイチな後は… 不安テスト設計開発担当１０万件やります！テストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケース不安顧客仕様どおり確認します！全部テストしろよ！テストケース×１０万件不安マネージャ不具合でたら誰が責任とるんだ！全部はキツイ… その後… 不具合で多方面から怒られて意味不明のテストだらけおわらないテスト＿人人人人人人＿＞突然の死＜￣Y^Y^Y^Y^Y￣

Slide 13

Slide 13 text

13 2017/06/23公開用 JaSST’17 Kansai 納得できるテスト、むずかしい？ 1．納得できるテストを考えてみよう納得できる、説明できるテストは必要そう。だけど、むずかしい、どうすればよいでしょう？

Slide 14

Slide 14 text

14 2017/06/23公開用 JaSST’17 Kansai 納得できる説明とは？説得力のある説明（納得できる説明）とは？・反論の余地が生まれるような抜けや漏れ、見落としが無い・裏付ける根拠が整理して示されている・聞き手が知りたいことにダイレクトに答え、明快納得できる説明を専門の技術から引用します。 ※複数の書籍が同じ表現をしています。 1．納得できるテストを考えてみよう納得できる説明（論理的な説明）：主張が明確、筋道がわかること。 ※MBAクリティカルシンキングなどより引用。章末の書籍を参考のこと。 ※MBAクリティカルシンキングより引用

Slide 15

Slide 15 text

15 2017/06/23公開用 JaSST’17 Kansai 納得できる説明とは？：テクニック 1．納得できるテストを考えてみよう説得力のある説明（納得できる説明）とは？・反論の余地が生まれるような抜けや漏れ、見落としが無い・裏付ける根拠が整理して示されている・聞き手が知りたいことにダイレクトに答え、明快 XX事業から撤退すべきである ※主張ー論拠のツリー構造の例極めて市場の見通しが暗い ※MBAクリティカルシンキングより引用小さい市場規模競合が強く収益率が低くなるわが社の強みを活かせない今後の低成長シビアな顧客競合とコスト差⇒大差別化が困難・・・構造的に考える全体的に考えて抜けがなく見える根拠が明確繋がり（筋道）が明確

Slide 16

Slide 16 text

16 2017/06/23公開用 JaSST’17 Kansai 納得できる説明とは？：構造で考える 1．納得できるテストを考えてみよう構造的に考える根拠が明確繋がり（筋道）が明確全体的に考えて抜けがなく見える（相手に直接伝わる） XX事業から撤退すべきである ※主張ー論拠のツリー構造の例極めて市場の見通しが暗い小さい市場規模競合が強く収益率が低くなるわが社の強みを活かせない今後の低成長シビアな顧客競合とコスト差⇒大差別化が困難・・・構造的（ツリー的）にまずは考えてみましょう。

Slide 17

Slide 17 text

17 2017/06/23公開用 JaSST’17 Kansai 納得できる説明とは？：目的－手段構造構造をツリーで表現する際には、いくつかの形式があります。これは「目的－手段」の構造。 1．納得できるテストを考えてみよう新商品の売上を向上させるターゲットとして XXXに売り込む XXXへのTVCMを実施商品のコンセプトをXXXとする価格帯を XXXに設定する XXXを中心に広告・・・・・・理由・・・・・・販売チャネルとしてXXXと連携する・・・理由手段 / 目的目的手段

Slide 18

Slide 18 text

18 2017/06/23公開用 JaSST’17 Kansai 納得できるテストでの説明：重要な定義構造を考える際に１つ重要な定義をしてみます。それぞれのテストケース（グループ）はなんらかの「目的」を持つテストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケース×１０万件テストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケース目的 ※「テストケース目的」という用語はJSTQBにはありません。現在は仮名称です。テストケース目的テストケース目的 1．納得できるテストを考えてみよう

Slide 19

Slide 19 text

19 2017/06/23公開用 JaSST’17 Kansai 納得できるテストでの説明：重要な定義構造を考える際に１つ重要な定義をしてみます。それぞれのテストケース（グループ）はなんらかの「目的」を持つ JSTQB AL TA シラバスにもテストケースが目的を持つという記述があります。引用：ISTQBテスト技術者資格制度 Advanced Level シラバス日本語版テストアナリスト Version2012.J01 P13 1．納得できるテストを考えてみよう

Slide 20

Slide 20 text

20 2017/06/23公開用 JaSST’17 Kansai 納得できるテストの構造：テスト目的と構造 1．納得できるテストを考えてみようテストケーステストケーステストケーステストケーステストケース目的テストケース目的テストケース目的 Target （仮）・・・・・・テストケースが目的を持つ複数のテストケースで何らかの目的もしくは対象範囲がカバーされる目的－手段と同じような構造で考えてみましょう。

Slide 21

Slide 21 text

21 2017/06/23公開用 JaSST’17 Kansai 納得できるテストの構造：一般的な構造の例一般的には目的－手段の構造として次のような紹介があります。 1．納得できるテストを考えてみよう手段戦略目的戦略目的戦略目的上位目的・・・・・・戦略目的を達成するための「具体的な手段」を考える上位目的を達成するために戦略目的が存在する ※引用：世界一やさしい「思考法」の本手段

Slide 22

Slide 22 text

22 2017/06/23公開用 JaSST’17 Kansai 納得できるテストの構造：使い方（例）ワーク①を例に作り方の流れを紹介してみます。 1．納得できるテストを考えてみようテストケーステストケース目的 Target（仮）「おとな」設定時購入種別パラメータを確認する購入計算機能入場時間パラメータを確認するパラメータの組合せを確認する・・・の時理由テストケーステストケーステストケーステストケース他にもあるかも？理由・・・

Slide 23

Slide 23 text

23 2017/06/23公開用 JaSST’17 Kansai テストベースに記述追加お題：遊園地的な場所への入場システム、券売機です。現在時間：１７:００:１５購入種別おとなこども計算料金表おとな（15才以上）1000円こども（14才以下）500円 10:00-17:59入場通常料金 18:00-19:59入場 +300円 ※上記時間以外は購入不可計算結果：時間：１７：００：１６おとな：１枚支払いは１０００円です購入計算画面購入画面・購入客を計算で待たせないこと・通常料金チケットは18:05まで使用（入場）可能です・計算ボタンを押したタイミングで時間が決定します・購入者の妥当性チェックはシステム上はありません・ユーザビリティは（あえて）考慮してませんのでテストからも外していただいてOKです 1．納得できるテストを考えてみよう追加

Slide 24

Slide 24 text

24 2017/06/23公開用 JaSST’17 Kansai 納得できるテストの構造：使い方（例）ワーク①を例に作り方の流れを紹介してみます。 1．納得できるテストを考えてみようテストケーステストケース目的 Target（仮）「おとな」設定時購入種別パラメータを確認する購入計算機能入場時間パラメータを確認するパラメータの組合せを確認する・・・の時理由テストケーステストケーステストケーステストケース理由１秒以内に計算が完了することを確認理由・0.1秒までなら応答が瞬時に返ってきたという印象を与える。・1秒までならユーザーの思考は途切れなく流れる。・10秒までならユーザーの注意力は続く。・10秒遅延してしまうと、ユーザーが即、サイトから離れてしまうことも多くなる。（Webサイトの応答時間 – U-Site, 2010/06/21）ニールセン氏 https://note.mu/tsukamoto/n/nde7fe5e21216 ・・・

Slide 25

Slide 25 text

25 2017/06/23公開用 JaSST’17 Kansai 納得できるテストの構造：使い方（例）これらの構造を用いて説明する場合。 1．納得できるテストを考えてみようテストケーステストケース目的 Target（仮）「おとな」設定時購入種別パラメータを確認する購入計算機能入場時間パラメータを確認するパラメータの組合せを確認する・・・の時理由テストケーステストケーステストケーステストケース理由１秒以内に計算が完了することを確認理由１０００人連続で計算できること理由・・・・・・

Slide 26

Slide 26 text

26 2017/06/23公開用 JaSST’17 Kansai 納得できるテストの構造：説明（例）これらの構造を用いて説明する場合。 1．納得できるテストを考えてみようテストケーステストケース目的 Target（仮）「おとな」設定時購入種別パラメータを確認する購入計算機能入場時間パラメータを確認するパラメータの組合せを確認する・・・の時理由テストケーステストケーステストケーステストケース理由１秒以内に計算が完了することを確認理由１０００人連続で計算出来ること理由・・・テストケース目的を使用して説明する・・・

Slide 27

Slide 27 text

27 2017/06/23公開用 JaSST’17 Kansai ワーク①：こうなっていた？下記で紹介した例を同じ構造で表してみると…？テストベース？テストケーステストケーステストケーステストケーステストケース何かテストベーステストケーステストケーステストケーステストケーステストケーステストベーステストケーステストケーステストケーステストケーステストケーステスト技法仕様から引用（コピー） 1．納得できるテストを考えてみよう

Slide 28

Slide 28 text

28 2017/06/23公開用 JaSST’17 Kansai ワーク①：こうなっていた？下記で紹介した例を同じ構造で表してみると…？ ※縦横が変わっておりますがご了承ください。 1．納得できるテストを考えてみようテストケーステストケース目的 Target（仮）「全部」確認する？購入計算機能テストケーステストケーステストケーステストケーステスト技法を使う？購入計算機能テストケーステストケーステストケーステストケース仕様どおりであることを確認する？購入計算機能テストケーステストケーステストケーステストケース

Slide 29

Slide 29 text

29 2017/06/23公開用 JaSST’17 Kansai テストの（納得への）構造ここから具体的な「構造」を説明してみます。 1．納得できるテストを考えてみようテストケーステストケーステストケース目的テストケース目的テストケース目的 Target （仮）・・・・・・理由理由理由・・・

Slide 30

Slide 30 text

30 2017/06/23公開用 JaSST’17 Kansai テストの（納得への）構造：各構造説明とある対象範囲（上位目的）に対してテストケース目的で確認を行う。 1．納得できるテストを考えてみよう Target （仮）テストケーステストケーステストケース目的理由テストケース理由・・・理由・・・テストケース目的テストケース目的理由テストケース目的「テストケース目的」はここでは手段。他の呼び方・確認すること、気がかり事項、リスク・テストカテゴリ、テスト方針、テスト観点？目的に対してテストケースが存在する。

Slide 31

Slide 31 text

31 2017/06/23公開用 JaSST’17 Kansai テストの（納得への）構造：上位から検討上位から検討する場合の考え方です。 1．納得できるテストを考えてみようテストケーステストケーステストケース目的テストケース目的テストケース目的 Target （仮）・・・・・・理由理由・・・これらの手順は当然ですが往復もあります ①何らかの対象や上位目的を設定理由 ②テストケース目的を設定 ③目的に対応するテストケース作成 ②´必要に応じて理由を明確化 ③´必要に応じて理由を明確化

Slide 32

Slide 32 text

32 2017/06/23公開用 JaSST’17 Kansai テストの（納得への）構造：使い方と利点使い方、利点としては次の３つでしょうか。 ※他にも「構造を用いて考える」活動にも使えます。 1．納得できるテストを考えてみよう１．説明（に使う）２．成長（させていく）３．確認（を１つ１つ行う）

Slide 33

Slide 33 text

33 2017/06/23公開用 JaSST’17 Kansai テストの（納得への）構造：使い方と利点① 「説明」時における使い方です。これは説明済み。 ※Javaly Parkの例 1．納得できるテストを考えてみよう「おとな」設定時購入種別パラメータを確認する購入計算機能入場時間パラメータを確認するパラメータの組合せを確認する・・・の時理由テストケーステストケーステストケーステストケース理由１秒以内に計算が完了することを確認理由１０００人連続で計算できること理由・・・・・・

Slide 34

Slide 34 text

34 2017/06/23公開用 JaSST’17 Kansai テストの（納得への）構造：使い方と利点② 一連のテストケース目的に対する議論や知識の蓄積にて「成長」ができます。※Javaly Parkの例 1．納得できるテストを考えてみよう購入種別パラメータを確認する購入計算機能入場時間パラメータを確認するパラメータの組合せを確認する１秒以内に計算が完了することを確認理由１０００人連続で計算できること理由ハイスキルのエンジニアの経験想定されるリスク分からない部分を聞く知見ある人に意見貰う PDCAと知識の蓄積へ

Slide 35

Slide 35 text

35 2017/06/23公開用 JaSST’17 Kansai テストの（納得への）構造：使い方と利点③ 構造の１つ１つを取り出して丁寧に「確認」ができます。 1．納得できるテストを考えてみよう Target （仮）テストケーステストケーステストケース目的理由テストケース理由・・・理由テストケース目的テストケース目的理由テストケース目的＜チェック方法の例＞テストケース目的XX達成には、 XXのテストケースが必要である。（なぜならば理由である）確認＜チェック方法の例＞・テストケース目的XXとXXにて Targetを確認・達成ができる。・Targetにテストケース目的が必要だ。

Slide 36

Slide 36 text

36 2017/06/23公開用 JaSST’17 Kansai テストの（納得への）構造：まとめ利点・使い方１．説明、２．成長、３．確認 1．納得できるテストを考えてみようテストケーステストケーステストケース目的テストケース目的テストケース目的 Target （仮）・・・・・・理由理由理由・・・１．テストケース目的を説明に使う２．テストケース目的を議論や知識の蓄積で成長へ３．構造の１つ１つを取り出して確認

Slide 37

Slide 37 text

37 2017/06/23公開用 JaSST’17 Kansai ワーク②：テスト対象とワーク内容お題：伊丹の仮想的な遊園地「いたみパーク（通称いたパー）」いたパーWebシステムの「Webチケット購入画面」が対象です。 1．納得できるテストを考えてみよう「いたみパーク（通称いたパー）」 Webシステム入園予定日購入種別チケット購入早期割引ルール料金案内購入人数団体料金案内 Webチケット購入画面 ※休園日は選択できません。 06月23日（金）入園のみ入園＋フリーパスおとな名こども名 02 01 チケット購入画面

Slide 38

Slide 38 text

38 2017/06/23公開用 JaSST’17 Kansai ワーク②：テスト対象とワーク内容「Webチケット購入画面」の各種情報。 1．納得できるテストを考えてみよう入園予定日購入種別チケット購入早期割引ルール料金案内購入人数団体料金案内 Webチケット購入画面入園入園＋フリーパスおとな（中学生以上） 1400円 4400円こども（2歳～小学生） 800円 2600円団体料金（入園のみ）おとな（中学生以上）こども（2歳～小学生） 25人以上 1260円 720円 50人以上 1120円 640円入園予定日の14日以上前に購入の場合に料金を200円割引します。 ※休園日は選択できません。 06月23日（金）入園のみ入園＋フリーパス団体料金（入園＋ﾌﾘｰﾊﾟｽ）おとな（中学生以上）こども（2歳～小学生） 25人以上 3960円 2520円 50人以上 3820円 2440円おとな名こども名 01 01 ↓の情報は、「料金画面」で記述します。カレンダーから選択可能

Slide 39

Slide 39 text

39 2017/06/23公開用 JaSST’17 Kansai ワーク②：テスト対象とワーク内容「Webチケット購入画面」のテストを考えてみましょう。テストケーステストケーステストケース目的テストケース目的テストケース目的 Webチケット購入画面・・・・・・理由理由理由・・・ ★次の構造で考えてみましょう！★

Slide 40

Slide 40 text

40 2017/06/23公開用 JaSST’17 Kansai ワーク②：回答例ワーク②の回答例（他にもあるかも） 1．納得できるテストを考えてみようカレンダー表示月期間入園予定カレンダーの表示期間、選択確認 Webチケット購入画面カレンダー設定の料金反映の確認選択結果の反映（日、曜日）購入種別設定の料金反映の確認購入人数設定の料金反映の確認パラメータ組合せの確認理由当日よりも前は選択不可能休園日は選択不可能 14日以上前に早期割引あり 14日未満前は早期割引なしキャンセル時に元の設定が残っていること入園のみ、入園＋フリーパス画面遷移のレスポンス時間（1秒）確認理由おとな人数の反映こども人数の反映・・・金額計算の結果を確認。チケット購入可、不可のケースを確認する。 ※合計0人は購入不可など入力間違いで購入者が次の購入確認画面から「戻る」場合がある。この場合を考慮して、キャンセル時には元の設定に戻るべき。入園予定日購入種別チケット購入早期割引ルール料金案内購入人数団体料金案内 Webチケット購入画面 ※休園日は選択できません。 06月23日（金）入園のみ入園＋フリーパスおとな名こども名 02 01

Slide 41

Slide 41 text

41 2017/06/23公開用 JaSST’17 Kansai ワーク②：終了 1．納得できるテストを考えてみようむずかしかったでしょうか？

Slide 42

Slide 42 text

42 2017/06/23公開用 JaSST’17 Kansai むずかしい理由 1．納得できるテストを考えてみよういくつかむずかしい理由が存在します。・なれるまで時間がかかる・知識ギャップ①：テストケース目的の知識・知識ギャップ②：テスト技法（作り方）の知識・目的－手段の思考方法（考えることが少ない）テストケーステストケーステストケース目的テストケース目的テストケース目的 Target （仮）・・・・・・理由理由理由・・・知識ギャップ① 知識ギャップ②

Slide 43

Slide 43 text

43 2017/06/23公開用 JaSST’17 Kansai むずかしい理由⇒解決策 1．納得できるテストを考えてみよう解決策の例となります。・なれるまで時間がかかる ⇒ 使ってみてなれましょう！・知識ギャップ①：テストケース目的の知識 ⇒ パターンや知見を集めることが有効「VSTeP」の知見も役立ちます・知識ギャップ②：テスト技法（作り方）の知識 ⇒ テスト技法を勉強してみよう WACATE、WARAI、技法ドリル・目的－手段の思考方法（考えることが少ない）

Slide 44

Slide 44 text

44 2017/06/23公開用 JaSST’17 Kansai むずかしい理由⇒解決策 1．納得できるテストを考えてみようテストケース目的の知見を集める、整理する方法の例「テストタイプ」や品質モデル（ISO250XX等）を知り、そこから整理する。「テストタイプ」からの整理の例「品質モデル」からの整理の例ネットワーク負荷時の確認連続使用人数の確認同時複数人使用の確認連続使用時間の確認パラメータ組合せ確認パラメータ単体確認テストタイプストレステスト信頼性テスト機能テスト機能適合性 - 性能評価性能効率性ボリューム - 結果網羅ふるまい - 結果網羅機能排他レスポンス

Slide 45

Slide 45 text

45 2017/06/23公開用 JaSST’17 Kansai 目的－手段の思考方法の重要性テストケース目的セットを用意することでも対処はできますが… テストケース目的セットテストケース目的手段テストケース XXXパラメータを確認するパラメータ組合せを確認するレスポンスを確認最大アクセス数で確認テストケーステストケーステストケーステストケーステストケース目的ない？（新しい）テストケース目的テストケーステストケーステストケーステストケース引用レビューでチェック新たに追加 1．納得できるテストを考えてみよう

Slide 46

Slide 46 text

46 2017/06/23公開用 JaSST’17 Kansai 目的－手段の思考方法の重要性テストケース目的セットを用意することでも対処はできますが… テストケース目的セットテストケース目的手段テストケース XXXパラメータを確認するパラメータ組合せを確認するレスポンスを確認最大アクセス数で確認テストケーステストケーステストケーステストケーステストケース目的ない？（新しい）テストケース目的テストケーステストケーステストケーステストケース引用レビューでチェック新たに追加「自分のアタマで考える」必要は必ず発生しますこの場合に、目的－手段の思考方法が役に立ちます 1．納得できるテストを考えてみよう

Slide 47

Slide 47 text

47 2017/06/23公開用 JaSST’17 Kansai 目的－手段の基本構造 1．納得できるテストを考えてみよう Target （仮）テストケーステストケーステストケース目的理由テストケース理由・・・理由テストケース目的テストケース目的理由テストケース目的手段目的理由基本の構造は「目的－手段（＋理由）」 ←の考え方をトレーニングしよう！

Slide 48

Slide 48 text

48 2017/06/23公開用 JaSST’17 Kansai 目的－手段の重要性：例 1．納得できるテストを考えてみよう手段目的理由基本の構造は「目的－手段（＋理由）」目覚ましをセットして寝る JaSSTに朝から参加して情報を得る＜目的＞＜手段＞早めにおふとん.in 前日のお酒を控える

Slide 49

Slide 49 text

49 2017/06/23公開用 JaSST’17 Kansai 目的－手段の重要性：例 1．納得できるテストを考えてみよう手段目的理由基本の構造は「目的－手段（＋理由）」目覚ましをセットして寝る JaSSTに朝から参加して情報を得る＜目的＞＜手段＞早めにおふとん.in 前日のお酒を控える目覚ましをセットして寝る午後の講演を最大限に良いモノにする＜目的＞＜手段＞？

Slide 50

Slide 50 text

50 2017/06/23公開用 JaSST’17 Kansai 目的－手段の重要性：いろいろ役立つ 1．納得できるテストを考えてみよう手段目的理由基本の構造は「目的－手段（＋理由）」目覚ましをセットして寝る JaSSTに朝から参加して情報を得る＜目的＞＜手段＞早めにおふとん.in 前日のお酒を控える目覚ましをセットして寝る午後の講演を最大限に良いモノにする＜目的＞＜手段＞遅刻してでも十分な睡眠をとる理由：睡眠時間が確保できないとキレが悪い目的がわかると他の手段を見つけることもできる目的が異なると手段も変わる目的から手段をチェックできる

Slide 51

Slide 51 text

51 2017/06/23公開用 JaSST’17 Kansai 目的－手段の重要性：例題目的－手段は普段から考えることもできます。以下のような例題を簡単に考えてみましょう。＜例題＞目的を考えてみましょう！・直近に実施したレビューの目的はなんでしょう？・開発やテストで実施している現在実施中のプロセスの目的はなんでしょう？・本セッションに参加する目的はなんでしょう？・勉強する目的はなんでしょう？（子供のケースでもOK）・思考フレームワーク（目的-手段など）を使う目的はなんでしょう？ 1．納得できるテストを考えてみよう

Slide 52

Slide 52 text

52 2017/06/23公開用 JaSST’17 Kansai 目的－手段の重要性：トレーニングが必要目的－手段を普段から考えている人うまく考えることができる人は少ないです。＜失敗例＞・循環論理（単なる読み替え、立場を代えただけ）「知識をつけたいために学ぶ」・目的－手段の逆転「TOEIC800点取るため、英語を話せるようになる」・手段が目的となる（逆転と近い）「チェックリスト項目を完璧にクリアする」 1．納得できるテストを考えてみよう

Slide 53

Slide 53 text

53 2017/06/23公開用 JaSST’17 Kansai 目的－手段の重要性：いったんまとめ・テストケース目的セットからの引用以外を行いたい場合、テストケース目的のチェックには必要・普段の生活、活動にも役に立つ・普段の意識でトレーニングできる 1．納得できるテストを考えてみよう XXXパラメータを確認するパラメータ組合せを確認するレスポンスを確認最大アクセス数で確認テストケーステストケーステストケーステストケーステストケース目的（新しい）テストケース目的テストケーステストケーステストケーステストケース引用引用以上のことをやる場合に必要

Slide 54

Slide 54 text

54 2017/06/23公開用 JaSST’17 Kansai 目的－手段の重要性：テストでは？目的－手段を考えることでテストケースを整理する力と説明・納得を高める力がつくかもしれません。 1．納得できるテストを考えてみようテストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケース大量のテストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケース目的テストケース目的テストケース目的手段目的理由目的－手段を考える

Slide 55

Slide 55 text

55 2017/06/23公開用 JaSST’17 Kansai ワーク③：テストケースから目的を取り出すワーク①「Javaly Park」購入計算機能に対して、テストケースだけを用意してみました。 1．納得できるテストを考えてみようテストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケース目的テストケース目的テストケース目的＜ワーク内容＞１．テストケースを目的で整理しましょう２．不足の追加や整理をしてみましょう

Slide 56

Slide 56 text

56 2017/06/23公開用 JaSST’17 Kansai ワーク③：テスト対象とワーク内容お題：遊園地的な場所への入場システム、券売機です。「購入計算画面」（左側）のテストが対象となります。現在時間：１７:００:１５おとなこども計算料金表おとな（15才以上）1000円こども（14才以下）500円 10:00-17:59入場通常料金 18:00-19:59入場 +300円 ※上記時間以外は購入不可計算結果：時間：１７：００：１６おとな：１枚支払いは１０００円です購入計算画面購入画面・通常料金チケットは18:05まで使用（入場）可能です・計算ボタンを押したタイミングで時間が決定します・購入者の妥当性チェックはシステム上はありません・ユーザビリティは（あえて）考慮してませんのでテストからも外していただいてOKです 1．納得できるテストを考えてみよう購入種別（選択式）

Slide 57

Slide 57 text

57 2017/06/23公開用 JaSST’17 Kansai ワーク③：テスト対象とワーク内容テストケース一覧はこちら。※何となくグルーピングは実施済み「おとな」設定の反映入場時間「00:00:00」の時入場時間「00:01:00」の時入場時間「05:00:30」の時入場時間「09:00:00」の時入場時間「09:59:59」の時入場時間「10:00:00」の時入場時間「12:00:00」の時入場時間「15:30:30」の時入場時間「17:00:00」の時入場時間「19:59:59」の時入場時間「20:00:00」の時入場時間「23:59:59」の時購入種別：おとな、入場時間：09:00:00（購入不可）購入種別：こども、入場時間：09:00:00（購入不可）購入種別：おとな、入場時間：09:59:00（購入不可）購入種別：こども、入場時間：09:59:00（購入不可）購入種別：おとな、入場時間：10:00:00（1000円）購入種別：こども、入場時間：10:00:00（500円）購入種別：おとな、入場時間：19:00:00（1300円）購入種別：こども、入場時間：19:00:00（800円）購入種別：おとな、入場時間：10:00:00で計算処理の時間が1秒以内であること。同時に10人で購入計算を行い、計算処理が1秒以内であること。計算を500回繰り返した後、計算処理が1秒以内であること。電源が切れて再起動後の表示が変わらないこと。 1．納得できるテストを考えてみよう

Slide 58

Slide 58 text

58 2017/06/23公開用 JaSST’17 Kansai ワーク③：回答例 1．納得できるテストを考えてみよう回答例。先ほど紹介していたテストケース目的を使用します。テストケーステストケース目的 Target（仮）購入計算機能購入種別パラメータを確認する入場時間パラメータを確認するパラメータの組合せを確認する１秒以内に計算が完了することを確認理由１０００人連続で計算できること

Slide 59

Slide 59 text

59 2017/06/23公開用 JaSST’17 Kansai ワーク③：回答例 1．納得できるテストを考えてみよう回答例。先ほど紹介していたテストケース目的を使用します。テストケーステストケース目的 Target（仮）購入計算機能購入種別パラメータを確認する入場時間パラメータを確認するパラメータの組合せを確認する１秒以内に計算が完了することを確認理由１０００人連続で計算できること「おとな」設定の反映

Slide 60

Slide 60 text

60 2017/06/23公開用 JaSST’17 Kansai ワーク③：回答例 1．納得できるテストを考えてみよう回答例。先ほど紹介していたテストケース目的を使用します。テストケーステストケース目的 Target（仮）購入計算機能購入種別パラメータを確認する入場時間パラメータを確認するパラメータの組合せを確認する１秒以内に計算が完了することを確認理由１０００人連続で計算できること「おとな」設定の反映「こども」設定の反映「設定なし」時の確認不足部分を追加

Slide 61

Slide 61 text

61 2017/06/23公開用 JaSST’17 Kansai ワーク③：回答例回答例。入場時間はたくさんありますが… テストケーステストケース目的 Target（仮）購入計算機能購入種別パラメータを確認する入場時間パラメータを確認するパラメータの組合せを確認する１秒以内に計算が完了することを確認理由１０００人連続で計算できること入場時間「00:00:00」の時入場時間「00:01:00」の時入場時間「05:00:30」の時入場時間「09:00:00」の時入場時間「09:59:59」の時入場時間「10:00:00」の時入場時間「12:00:00」の時入場時間「15:30:30」の時入場時間「17:00:00」の時入場時間「19:59:59」の時入場時間「20:00:00」の時入場時間「23:59:59」の時？

Slide 62

Slide 62 text

62 2017/06/23公開用 JaSST’17 Kansai ワーク③：回答例目的を達成するテストを集めてみました。一部余ります⇒これら、どうしますか？入場時間パラメータを確認する入場時間「00:00:00」の時入場時間「00:01:00」の時入場時間「05:00:30」の時入場時間「09:00:00」の時入場時間「09:59:59」の時入場時間「10:00:00」の時入場時間「12:00:00」の時入場時間「15:30:30」の時入場時間「17:00:00」の時入場時間「19:59:59」の時入場時間「20:00:00」の時同一結果となるそれぞれ範囲を確認範囲設定（境界）のずれがないことを確認理由購入不可通常料金夜間料金（+300）購入不可 09:59:59 10:00:00 17:59:59 18:00:00 19:59:59 20:00:00 境界の値は、プログラムで間違いが多い（>≧） 23:59:59 00:00:00 理由すべての「結果」となるパターン確認（網羅）する入場時間「23:59:59」の時入場時間「17:59:59」の時入場時間「18:00:00」の時

Slide 63

Slide 63 text

63 2017/06/23公開用 JaSST’17 Kansai ワーク③：回答例回答例。先ほど紹介していたテストケース目的を使用します。テストケーステストケース目的 Target（仮）購入計算機能購入種別パラメータを確認する入場時間パラメータを確認するパラメータの組合せを確認する１秒以内に計算が完了することを確認理由１０００人連続で計算できること「おとな」設定の反映「こども」設定の反映「設定なし」時の確認入場時間「00:00:00」の時入場時間「09:59:59」の時入場時間「10:00:00」の時入場時間「19:59:59」の時入場時間「20:00:00」の時入場時間「23:59:59」の時入場時間「17:59:59」の時入場時間「18:00:00」の時 1．納得できるテストを考えてみよう

Slide 64

Slide 64 text

64 2017/06/23公開用 JaSST’17 Kansai 目的と手段の重要性：重要な定義その２１つ重要な定義をしていました。それぞれのテストケース（グループ）はなんらかの「目的」を持つ 1．納得できるテストを考えてみよう

Slide 65

Slide 65 text

65 2017/06/23公開用 JaSST’17 Kansai 目的と手段の重要性：重要な定義その２１つ重要な定義をしていました。それぞれのテストケース（グループ）はなんらかの「目的」を持つ 1．納得できるテストを考えてみよう「目的」のないテストケースは意味がない「対偶も真」であるとして

Slide 66

Slide 66 text

66 2017/06/23公開用 JaSST’17 Kansai 目的と手段の重要性：まとめ簡単にまとめてみます。テストケースは「目的」を持つ 1．納得できるテストを考えてみよう「目的」のないテストケースは意味がない「目的」を考えることで、重複したテストケースや優先しないケースも見えてきます。 ※普段の活動も同様で「目的」を考えることで、不要なものが見えてくるかもしれません。

Slide 67

Slide 67 text

67 2017/06/23公開用 JaSST’17 Kansai 現場でためしてみるには比較的やりやすいことは… １．小さい範囲（改修など）で構造を使ってみる２．過去の流用でテストをつくる際にリバースしてみる 1．納得できるテストを考えてみようテストケーステストケーステストケース目的テストケース目的テストケース目的 Target （仮）・・・・・・理由理由理由・・・テストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケース大量のテストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケーステストケース目的テストケース目的テストケース目的すぐに「試す」ことはできます。使い続けることで上手く、速くなっていきます。１．構造を使ってみる２．リバースしてみる

Slide 68

Slide 68 text

68 2017/06/23公開用 JaSST’17 Kansai 現場でためしてみるには：注意事項現場のテストケースは単純に整理できる「表現」ではない場合がありますので注意してください。 1．納得できるテストを考えてみよう例１：混ざったテストケース⇒分解を推奨例２：抽象的・曖昧すぎるテストケース ⇒テストケース目的かも。内容を明確に決めずに「逃げて」いる場合も。同時に10人で購入計算を行い、計算処理が1秒以内であること。同時に10人で購入計算を行う。計算処理が1秒以内であること。パラメータを確認する。多人数で同時に使用できること。計算処理が手早く終わること。購入種別を確認する。

Slide 69

Slide 69 text

69 2017/06/23公開用 JaSST’17 Kansai 現場でためしてみるには：推奨テストケースは目的から辿る方が効果的と考えます。ケースのレビュー、保守、管理がやりやすいためです。手順作成（テスト実装）や実行時にまとめることを推奨します。 1．納得できるテストを考えてみようテストケースB テストケースA テストケース目的・・・テストケースY テストケースX テストケース目的テスト手順書もしくは実行時の手順１．XXを準備する２．（テストケースA） XXを押し、XXを確認３．（テストケースB&Y） XXを入力してXXを確認・・・・・・

Slide 70

Slide 70 text

70 2017/06/23公開用 JaSST’17 Kansai 注意事項！本日紹介した内容を活用する場合に、いくつか注意をしておいた方がよい点について紹介します。 1．納得できるテストを考えてみよう

Slide 71

Slide 71 text

71 2017/06/23公開用 JaSST’17 Kansai 注意事項：①「完璧な」テストではない・作成結果は、「実力どおり」の内容となります。・ただし、構造が明確になるので成長はできます。・関連する人たちの知見を集めることで「その時点でのベスト」は可能かと思われます。 1．納得できるテストを考えてみよう納得できるテスト ≠ 完璧な、よくできたテスト（不具合の出ないテスト？）ここだけは勘違いしないようにしてください。

Slide 72

Slide 72 text

72 2017/06/23公開用 JaSST’17 Kansai 注意事項：②信頼と論理 1．納得できるテストを考えてみよう今回紹介した構造的な「論理」をつくったとしても、納得、信頼は得られない場合もあります。 ※不具合が多発している状況で顧客に「問題ないです！」と説明しても… “アリストテレスは説得の三要素として、語り手の信頼性（エトス）と、聞き手の感情に訴えること（パトス）、及び言論（ロゴス）を用いることを挙げています。” 参考文献：ロジカル・シンキング入門（茂木秀昭氏）日経文庫言論（ロゴス） ※論理のこと感情に訴える（パトス）信頼性（エトス）「論理」が良くても納得して貰えないことも当然あります。

Slide 73

Slide 73 text

73 2017/06/23公開用 JaSST’17 Kansai おさらい ※会社に報告する人は、ここだけ押さえておきましょうｗ 1．納得できるテストを考えてみよう・納得できるテストはステークホルダにもテスト設計担当、開発者にも大事・構造化して、全体的に抜けがなく、根拠が示されることで納得につながる・テストケースは何らかの「目的」を持つ・テストケース目的を用いて構造化して、１つ１つ確認できるようにすることが大事・構造を知っても使うことは難しいので、目的－手段のトレーニングで鍛えよう

Slide 74

Slide 74 text

74 2017/06/23公開用 JaSST’17 Kansai メインコンテンツ・完！以上でメインコンテンツが完了となります。 1．納得できるテストを考えてみよう１．納得できるテストを考えてみよう

Slide 75

Slide 75 text

75 2017/06/23公開用 JaSST’17 Kansai 参考シリーズ：テストの目的各種書籍、資料からの「テストの目的」をとりあげました。 1．納得できるテストを考えてみよう JSTQB FLシラバス（P14）より ISTQBテスト技術者資格制度 Foundation Level シラバス日本語版 Version 2011.J02 テストには以下のような目的がある。欠陥を摘出する。対象ソフトウェアの品質レベルが十分であることを確認する。意志決定のための情報を示す。欠陥の作りこみを防ぐ。ソフトウェア・テストの技法（G.J.マイヤーズ）よりソフトウェア・テストとは、コンピュータ・コードが意図されたように動作し意図されないことはすべて実行しないように設計されていることを検証するように設計されたプロセスである。マインドマップからはじめるソフトウェアテストよりソフトウェアテストを行うと、ソフトウェアが作られていく過程で入り込んでしまうバグを発見することができ、そのバグを開発者が修正することによって、ソフトウェアを利用者が安心して使用することができるようになる。

Slide 76

Slide 76 text

76 2017/06/23公開用 JaSST’17 Kansai 参考シリーズ：テストの目的各種書籍、資料からの「テストの目的」をとりあげました。 1．納得できるテストを考えてみようソフトウェアテスト２９３の鉄則よりテストの目的、＜中略＞を明らかにするため、以下の項目を読んで自分に期待されていることを考えてほしい。・重要なバグを速く見つける・製品の品質を総合的に評価する・製品が規格や標準に合致することを証明する・製品の品質やテスト用威勢を顧客が改善できるよう支援する・実際のテストのプロセスが、決められた責任や基準を満たすことを保証する・テストの進め方や、テスト担当者と作業する際の注意点をプログラマに教育する・ある決められた方法や規則に従う・製品保守のコストを予測したり管理できるように支援する・顧客が自分の業務プロセスを改善できるように支援する・コストや工数、リスクが最小限になるように自分の仕事を実行する・顧客を満足させるため、ありとあらゆることを実行する基本から学ぶソフトウェアテストよりバグを検出したテストが成功で、不具合を見つけられないテストは時間の無駄だ。

Slide 77

Slide 77 text

77 2017/06/23公開用 JaSST’17 Kansai 参考シリーズ：参考書籍と関連情報こちらの資料は、「ソフトウェアテスト」と「論理思考」に関連する書籍を参考としております。 1．納得できるテストを考えてみよう ■ソフトウェアテスト関連書籍（一部です）・ソフトウェアテストの基礎:ISTQBシラバス準拠・ソフトウェアテスト２９３の鉄則・ソフトウェアテスト技法ドリル ■論理思考関連書籍（一部です）・グロービスMBAクリティカル・シンキング・考える技術・書く技術―問題解決力を伸ばすピラミッド原則・世界一やさしい「思考法」の本

Slide 78

Slide 78 text

78 2017/06/23公開用 JaSST’17 Kansai 参考シリーズ：世の中のツール（D-Case）今回の考えに近い記法・ツールとしてD-Caseを紹介してみます。 D-Case参考：http://www.dcase.jp/ 1．納得できるテストを考えてみよう D-Caseの記法（概要のみ）ゴール戦略前提エビデンス対象システムに対して議論すべき命題（目的と捉えてもよい）ゴール達成を分割して詳細化する時の方法（分割理由と捉えてもよい）ゴールや戦略議論の前提となる情報（理由と捉えてもよい）詳細化されたゴールを最終的に保証するもの D-Caseの例購入計算機能で問題がない画面の各構成と品質面を確認画面構成それぞれで問題がない品質面で問題がない各パラメータと組合せ確認品質特性から必要項目確認 XXパラメータで… パラメータの組合せで… レスポンスが1秒 … 1000人連続での信頼性を…

Slide 79

Slide 79 text

79 2017/06/23公開用 JaSST’17 Kansai 参考シリーズ：世の中のツール（USDM）要求仕様を記述するための「USDM」において、今回の内容と近い構造が示されております。参考文献：要求を仕様化する技術・表現する技術 -仕様が書けていますか? 1．納得できるテストを考えてみよう ※USDMでは「要求」と「仕様」の階層構造を持つ仕様仕様（手段）要求（目的）理由仕様ツリー構造で示すと今回の構造と近い形になる

Slide 80

Slide 80 text

80 2017/06/23公開用 JaSST’17 Kansai 参考シリーズ：テストカタマリー今回の構造を保守する場合において、UMLツールを使用できる「記法」を用いることで、作成・管理がやりやすくなります。 1．納得できるテストを考えてみよう + XX確認() : パラメータ組合せ確認 + 入場時間XX確認() : 単体パラメータ確認 + 購入種別パラメータXX確認() : 単体パラメータ確認 - 1000人連続で計算 : 信頼性 - 1秒以内に計算が完了 : 性能効率性 - パラメータ組合せ確認 : 機能適合性 - 単体パラメータ確認 : 機能適合性購入計算機能「おとな」設定時購入種別パラメータを確認する購入計算機能入場時間パラメータを確認する「こども」設定時パラメータの組合せを確認する・・・の時テストケーステストケーステストケーステストケース１秒以内に計算が完了することを確認理由１０００人連続で計算出来ること・・・テストケース目的を属性に配置テストケースをメソッドに配置参考リンクテストカタマリーの紹介：まとめ http://blog.amateur-factory.jp/?eid=1444276 テストカタマリーを活用したテスト設計プロセス案：まとめ http://blog.amateur-factory.jp/?eid=1444278 Test Conglomeration - Proposal for Test Design Notation Like Class Diagram http://ieeexplore.ieee.org/document/7899074/

Slide 81

Slide 81 text

81 2017/06/23公開用 JaSST’17 Kansai 本日の構成：その２１．納得できるテストを考えてみよう２．納得できるテストを考えてみよう（全体編）３．妥当性へ向けた問題発見へ２．納得できるテストを考えてみよう（全体編）

Slide 82

Slide 82 text

82 2017/06/23公開用 JaSST’17 Kansai 今までの内容は氷山の一角２．納得できるテストを考えてみよう（全体編）「おとな」設定時購入種別パラメータを確認する購入計算機能入場時間パラメータを確認する「こども」設定時パラメータの組合せを確認する・・・の時理由テストケーステストケーステストケーステストケース理由・・・今まで紹介した内容… 当然ですが（機能１つではなく）「全体のテスト」を考える必要が発生します。

Slide 83

Slide 83 text

83 2017/06/23公開用 JaSST’17 Kansai テスト全体を考えるにはテスト全体を考えるにはどうしましょうか２．納得できるテストを考えてみよう（全体編）「おとな」設定時購入種別パラメータを確認する購入計算機能入場時間パラメータを確認する「こども」設定時パラメータの組合せを確認する・・・の時理由テストケーステストケーステストケーステストケース理由・・・購入計算機能なんらかのハコで表す統計機能ログ機能リコメンド機能・・・購入計算機能

Slide 84

Slide 84 text

84 2017/06/23公開用 JaSST’17 Kansai 仕様ベーステスト全体を考えるにはテスト全体を考えるにはどうしましょうか２．納得できるテストを考えてみよう（全体編）パッケージとしてまとめる統計機能ログ機能リコメンド機能・・・購入計算機能統計機能リコメンド機能ログ機能・・・

Slide 85

Slide 85 text

85 2017/06/23公開用 JaSST’17 Kansai 仕様ベーステスト全体を考えるにはテスト全体を考えるにはどうしましょうか２．納得できるテストを考えてみよう（全体編）パッケージは他のものも定義できる購入計算機能統計機能リコメンド機能ログ機能・・・その他品質特性ユースケース・シナリオ

Slide 86

Slide 86 text

86 2017/06/23公開用 JaSST’17 Kansai 仕様ベーステスト全体を考えるには個々のパッケージは同じような構造化ができます。２．納得できるテストを考えてみよう（全体編）購入計算機能統計機能リコメンド機能ログ機能・・・その他品質特性ユースケース・シナリオひとつのパッケージは「構造」にて表現できる仕様ベース購入計算機能統計機能ログ機能理由理由・・・ Target （仮） ↓の呼び方も上位から考えると変わる

Slide 87

Slide 87 text

87 2017/06/23公開用 JaSST’17 Kansai どう分けるか：分け方も「理由」がある例えば、全体を表すテストベースに「仕様一覧」と DFDの２つが存在しているかもしれません。２．納得できるテストを考えてみよう（全体編）仕様一覧 XXX YY PP AA OO DDD DDDD DFD一覧仕様ベース購入計算機能統計機能ログ機能理由理由・・・ DFD ベース計算処理購入処理・・・理由理由理由理由仕様一覧の分類をもとに分ける ※なぜなら… DFDのプロセスと対応して分ける ※なぜなら…

Slide 88

Slide 88 text

88 2017/06/23公開用 JaSST’17 Kansai 構造についてのアップデート「分け方」に理由をつけるという話もありました。また、上位の階層も同様の構造で示すこともできます。２．納得できるテストを考えてみよう（全体編）手段目的理由手段手段分割理由手段上位目的理由手段手段分割理由とある目的はさらに上位の手段となる

Slide 89

Slide 89 text

89 2017/06/23公開用 JaSST’17 Kansai 構造：目的と手段の階層構造階層構造を考えながら整理していきましょう。２．納得できるテストを考えてみよう（全体編）仕様ベース購入計算機能統計機能リコメンド機能ログ機能・・・「おとな」設定時購入種別パラメータを確認する購入計算機能入場時間パラメータを確認する「こども」設定時パラメータの組合せを確認する・・・の時理由テストケーステストケーステストケーステストケース理由・・・対象機能の１つに対する「構造」パッケージに対する「構造」仕様ベース購入計算機能統計機能ログ機能理由理由・・・

Slide 90

Slide 90 text

90 2017/06/23公開用 JaSST’17 Kansai 構造：目的と手段の階層構造さらに全体に対しても同じようになっていきます。 ※最上位の目的になると「あたりまえ」に近づきます。２．納得できるテストを考えてみよう（全体編）品質を確保する仕様ベースユースケース品質特性理由理由仕様ベース購入計算機能統計機能リコメンド機能ログ機能・・・その他品質特性ユースケース・シナリオ分割理由

Slide 91

Slide 91 text

91 2017/06/23公開用 JaSST’17 Kansai テストにおける構造の一例とまとめ Target （仮）テストケーステストケーステストケース目的理由テストケース理由・・・理由テストケース目的テストケース目的理由テストケース目的パッケージ分類 Target （仮）理由理由 Target （仮） Target （仮）手段目的理由手段分割理由テストケース目的－テストケース Target－テストケース目的パッケージ－Target 分割理由基本的な構造は目的－手段－理由のカタチになります。 ※左に行くほど抽象的・より全体的になります。２．納得できるテストを考えてみよう（全体編）

Slide 92

Slide 92 text

92 2017/06/23公開用 JaSST’17 Kansai テストケース目的の構造パッケージ内の各ハコはテストケース目的を複数持っております。これらは、同じものを使うことも多いでしょう。２．納得できるテストを考えてみよう（全体編）仕様ベース購入計算機能統計機能リコメンド機能ログ機能・・・購入計算機能のテストケース目的購入種別パラメータを確認する購入計算機能入場時間パラメータを確認するパラメータの組合せを確認する・・・理由リコメンド機能のテストケース目的 XXXパラメータを確認するリコメンド機能パラメータの組合せを確認する・・・理由

Slide 93

Slide 93 text

93 2017/06/23公開用 JaSST’17 Kansai テストケース目的の構造：構造の整理これらも、何らかの目的や基準とつながる構造として表現することもできます。２．納得できるテストを考えてみよう（全体編）購入計算機能のテストケース目的購入種別パラメータを確認する購入計算機能入場時間パラメータを確認するパラメータの組合せを確認する・・・理由リコメンド機能のテストケース目的 XXXパラメータを確認するリコメンド機能パラメータの組合せを確認する・・・理由テスト目的の構造（例）機能適合性単体パラメータを確認するパラメータ組合せを確認する性能効率性レスポンス１秒以内に計算完了信頼性１０００人連続で使用「VSTeP」での「テスト観点」構造に近くなる

Slide 94

Slide 94 text

94 2017/06/23公開用 JaSST’17 Kansai ２．納得できるテストを考えてみよう（全体編）テスト全体を考えるには：まとめテストは全体を表現するために順次抽象化できます。 ※逆にすると段階的に詳細化出来ます。それぞれの構造は「目的－手段の階層構造」でも考えられます。「おとな」設定時購入種別パラメータを確認する購入計算機能入場時間パラメータを確認する「こども」設定時パラメータの組合せを確認する・・・の時理由テストケーステストケーステストケーステストケース理由・・・仕様ベース購入計算機能統計機能リコメンド機能ログ機能・・・その他品質特性ユースケース・シナリオ抽象化詳細化テストケース目的は同じものを何度も使う場合もあります。それ自体を構造化ができます。機能適合性単体パラメータを確認するパラメータ組合せを確認する性能効率性レスポンス１秒以内に計算完了信頼性１０００人連続で使用

Slide 95

Slide 95 text

95 2017/06/23公開用 JaSST’17 Kansai おさらい ※会社に報告する人は、ここだけ押さえておきましょうｗ・パッケージ的に表現して全体を表すこともできる。これにより「モデル化」に近づく。・パッケージも「目的－手段」構造で考えることができる。※目的－手段の階層構造・「分け方」に対しても（分割）理由がつく。・テストケース目的も構造化して流用可能な整理をすることができる。２．納得できるテストを考えてみよう（全体編）

Slide 96

Slide 96 text

96 2017/06/23公開用 JaSST’17 Kansai その２・完！２．納得できるテストを考えてみよう（全体編）２．納得できるテストを考えてみよう（全体編）

Slide 97

Slide 97 text

97 2017/06/23公開用 JaSST’17 Kansai 参考シリーズ：VSTePと関連情報こちらの資料も、「ソフトウェアテスト」と「論理思考」に関連する情報および文献を参考としております。 ■ソフトウェアテスト関連・VSTeP（Viewpoint-based Software Test Engineering Process）が「質の高いテストを行うためのテスト開発方法論」として提案されております。本資料でも多数参考にしております。参考リンク Qualab：http://qualab.jp/vstep/ ※テスト観点に基づくテスト開発方法論VSTePの概要を参照 ■論理思考書籍・世界一やさしい「思考法」の本 ※目的－手段の階層化構造での説明があります２．納得できるテストを考えてみよう（全体編）

Slide 98

Slide 98 text

98 2017/06/23公開用 JaSST’17 Kansai 参考シリーズ：テストカタマリー今回の構造を用いて、全体やテストケース目的の整理が可能です。参考リンクテストカタマリーの紹介：まとめ http://blog.amateur-factory.jp/?eid=1444276 テストカタマリーを活用したテスト設計プロセス案：まとめ http://blog.amateur-factory.jp/?eid=1444278 Test Conglomeration - Proposal for Test Design Notation Like Class Diagram http://ieeexplore.ieee.org/document/7899074/ ２．納得できるテストを考えてみよう（全体編）

Slide 99

Slide 99 text

99 2017/06/23公開用 JaSST’17 Kansai 本日の構成：その３１．納得できるテストを考えてみよう２．納得できるテストを考えてみよう（全体編）３．妥当性へ向けた問題発見へ３．妥当性へ向けた問題発見へ

Slide 100

Slide 100 text

100 2017/06/23公開用 JaSST’17 Kansai 今まで紹介した内容では… 「納得につながりそうな構造」は作れそうですが機械学習などを含めて「むずかしい妥当性」を確認するテストが作れるわけではありません。３．妥当性へ向けた問題発見へ

Slide 101

Slide 101 text

101 2017/06/23公開用 JaSST’17 Kansai さらにむずかしい問題にはこちらでは、むずかしい問題に対応するための「考え方（順番と方法）」について紹介します。 ※一般的な技術をテストつくりに置き換えています。３．妥当性へ向けた問題発見へ「問題解決」「問題発見」と呼ばれる技術を活用しております。

Slide 102

Slide 102 text

102 2017/06/23公開用 JaSST’17 Kansai むずかしい問題：ワーク今まで紹介した方法ではむずかしい問題に対して少しだけ考えてみましょう。３．妥当性へ向けた問題発見へ＜ワーク内容＞次ページに「お題」のテスト対象があります。１．対象の「ログ機能」のテストを考えてみましょう。 ※今まで紹介した「構造」を用いて表現しましょう。（３分だけ軽く考えてみてください）

Slide 103

Slide 103 text

103 2017/06/23公開用 JaSST’17 Kansai お題：伊丹の仮想的な遊園地「いたみパーク（通称いたパー）」いたパーWebシステムの「ログ機能」が対象です。３．妥当性へ向けた問題発見へむずかしい問題：ワーク対象済 No. 済番号・顧客のWebチケット購入処理・企画によるイベント登録時、イベント削除・編集時・企画による統計グラフ作成時 1週間以上のログを残すこと。ログ機能は、JaSST関西ワークショップ「いたパーWebシステム概要」P7-P9も参照のこと。次のタイミングで操作実施の時間、ログを残す。 ■ 2 ログ領域を使い切ることがないよう、ローテーションでデータの削除を実施する。 ■ 1 使用番号 PARKSPEC-03 タイトルログ機能説明保守向けとして、ユーザの操作を記録にとり、不具合発生時における関連性を調査可能にする。 ■ 1 タイトルログ作成機能説明顧客のWebチケット購入時、企画によるイベント登録時、イベント削除・編集時、統計グラフ作成時における操作ログを残す。 QRコードによる入場カウント、アトラクション使用カウントは対象外。仕様詳細

Slide 104

Slide 104 text

104 2017/06/23公開用 JaSST’17 Kansai そもそも手が動かない人もいるかもしれません。ワークのお題に対しての状況だけでは「負ける戦い」です。３．妥当性へ向けた問題発見へむずかしい問題：ワークのむずかしさ

Slide 105

Slide 105 text

105 2017/06/23公開用 JaSST’17 Kansai 途中までをできる限り構造化してみましょう。３．妥当性へ向けた問題発見へむずかしい問題：途中まで検討ログ書出し条件の入出力を確認するログ機能同時書き込みでの動作を確認する削除しつつ１週間以上ログを残す理由複数機能より同時にログが書き込まれる可能性があるため

Slide 106

Slide 106 text

106 2017/06/23公開用 JaSST’17 Kansai 記載以外は「？？」となる部分が出てきます。３．妥当性へ向けた問題発見へむずかしい問題：途中まで検討複数機能より同時にログが書き込まれる可能性があるため現状の動きログ書出し条件の入出力を確認するログ機能同時書き込みでの動作を確認する削除しつつ１週間以上ログを残す理由？？？？？？

Slide 107

Slide 107 text

107 2017/06/23公開用 JaSST’17 Kansai ４つの「困難」な理由を挙げてみます。３．妥当性へ向けた問題発見へむずかしい問題：４つの困難ログ書出し条件の入出力を確認するログ機能同時書き込みでの動作を確認する削除しつつ１週間以上ログを残す理由問題を特定できない（知識ギャップ）問題が曖昧・抽象的？？現状の動き現状を把握できない（知識ギャップ）４つの困難１．現状を把握できない２．問題を特定できない（問題≒解決すべきもの）３．問題が曖昧・抽象的４．実現への懸念「知識ギャップ」も存在している。

Slide 108

Slide 108 text

108 2017/06/23公開用 JaSST’17 Kansai 情報を追加してみます。３．妥当性へ向けた問題発見へむずかしい問題：現状の把握ログ書出し条件の入出力を確認するログ機能同時書き込みでの動作を確認する１週間以上ログを残す理由問題を特定できない（知識ギャップ）問題が曖昧・抽象的？？現状の動き現状を把握できない（知識ギャップ）４つの困難１．現状を把握できない２．問題を特定できない（問題≒解決すべきもの）３．問題が曖昧・抽象的４．実現への懸念「知識ギャップ」も存在している。＜想定動作・設計時の見込み＞ログ書込み方法：購入、統計のトリガ発生時に書込み。「発生時間,種別ID,イベント内容（ASCII）,引数1,引数2,…」削除方法：毎日23:59:00に8日以上前のデータ削除１回の書き込みデータ量：最大1024Byte 書き込み頻度：チケット購入機能・・・1日2,000回が最大統計機能・・・1日5回が最大ログ容量：1GByteを用意

Slide 109

Slide 109 text

109 2017/06/23公開用 JaSST’17 Kansai ログ書込み方法：購入、統計のトリガ発生時に書込み時間,種別ID,イベント内容（ASCII）,引数1,引数2,… 削除方法：毎日23:59:00に8日以上前のデータ削除１回の書き込みデータ量：最大1024Byte 書き込み頻度：チケット購入機能・・・1日2,000回が最大統計機能・・・1日5回が最大ログ容量：1GByteを用意３．妥当性へ向けた問題発見へ情報を追加してみます。むずかしい問題：テストケースまでログ書出し条件の入出力を確認するログ機能同時書き込みでの動作を確認する削除しつつ１週間以上ログを残す理由できそう４つの困難１．現状を把握できない２．問題を特定できない（問題≒解決すべきもの）３．問題が曖昧・抽象的４．実現への懸念容量超過しない削除されすぎない１週間連続で確認１データサイズ現状の動き（設計想定）テストケーステストケーステストケーステストケース実書込み頻度（使用状況にて）テストケーステストケーステストケーステストケースこうかな？

Slide 110

Slide 110 text

110 2017/06/23公開用 JaSST’17 Kansai ログ書込み方法：購入、統計のトリガ発生時に書込み時間,種別ID,イベント内容（ASCII）,引数1,引数2,… 削除方法：毎日23:59:00に8日以上前のデータ削除１回の書き込みデータ量：最大1024Byte 書き込み頻度：チケット購入機能・・・1日2,000回が最大統計機能・・・1日5回が最大ログ容量：1GByteを用意３．妥当性へ向けた問題発見へむずかしい問題：解決ポイントマッピングログ書出し条件の入出力を確認するログ機能同時書き込みでの動作を確認する削除しつつ１週間以上ログを残す理由できそう４つの困難⇒解決ポイント１．現状を把握２．問題を定義（問題≒解決すべきもの）３．問題を分割・整理４．解決策を決める容量超過しない削除されすぎない１週間連続で確認１データサイズ現状の動き（設計想定）テストケーステストケーステストケーステストケース実書込み頻度（使用状況にて）テストケーステストケーステストケーステストケース問題を定義、問題を分割・整理問題を定義現状の把握解決策を決める問題を分割・整理 ※実験的に考える場合もさらに上位の検討から発見へ仕様ベース購入計算機能統計機能リコメンド機能ログ機能・・・その他品質特性ユースケース・シナリオ

Slide 111

Slide 111 text

111 2017/06/23公開用 JaSST’17 Kansai 途中段階で「知らない」ことが、わかることが重要です。３．妥当性へ向けた問題発見へむずかしい問題：「知らない」がわかる現状の動きログ書出し条件の入出力を確認するログ機能同時書き込みでの動作を確認する削除しつつ１週間以上ログを残す理由？？？？？？４つの困難⇒解決ポイント１．現状を把握２．問題を定義（問題≒解決すべきもの）３．問題を分割・整理４．解決策を決めるこの範囲、「知らない」ことがわかることが大事

Slide 112

Slide 112 text

112 2017/06/23公開用 JaSST’17 Kansai 「知らないこと」「知らない部分がある」ことをわかること、知っている部分と知らない部分を分けることが大事３．妥当性へ向けた問題発見へ「知ってる/知らない」と「わかる/わからない」知識がある（知っている）知識がない（知らない）自分の知識状況を理解している（わかる）知っていることをわかっている知らないことをわかる（知識ギャップ）自分の知識状況を理解していない（わからない）知っていることをわからない（暗黙知）知らないことがわからない（愚者の天国）

Slide 113

Slide 113 text

113 2017/06/23公開用 JaSST’17 Kansai 科学的なアプローチわからないことに対しては、論理構造を明確にしながら、一つずつ根拠を明確にしながら仮説検証を繰り返していきます。３．妥当性へ向けた問題発見へ XXX ？？仮説仮説 XXX OK 仮説仮説仮説検証済仮説構築 ⇒実際には手さぐりで進めることも多いですが、「構造」を活用しつつ実験や観察といった活動で１つ１つ検証しながら進めます。 ”基本的に，さまざまな科学的学問は，証拠への依存，仮説と理論の使用，用いられる論理の種類等において共通している。” *引用：SFAA（すべてのアメリカ人のための科学）より検証＆仮説構築

Slide 114

Slide 114 text

114 2017/06/23公開用 JaSST’17 Kansai 科学的なアプローチ：わからない部分へワーク①での考え方の例を紹介してみます。３．妥当性へ向けた問題発見へ購入計算機能１秒以内に計算が完了することを確認理由・0.1秒までなら応答が瞬時に返ってきたという印象を与える。・1秒までならユーザーの思考は途切れなく流れる。・10秒までならユーザーの注意力は続く。・10秒遅延してしまうと、ユーザーが即、サイトから離れてしまうことも多くなる。（Webサイトの応答時間 – U-Site, 2010/06/21）ニールセン氏 https://note.mu/tsukamoto/n/nde7fe5e21216 明確な情報がなかった場合にはどうするか？

Slide 115

Slide 115 text

115 2017/06/23公開用 JaSST’17 Kansai 科学的なアプローチ：わからない部分へワーク①での考え方の例を紹介してみます。３．妥当性へ向けた問題発見へ購入計算機能？？秒以内に計算が完了することを確認理由 1秒の応答で10人から意見を獲得する 3秒の応答で10人から意見を獲得する例えば、1秒と3秒のどちらかにする、という判断までをして検証を行ってみる… といったこともできます。

Slide 116

Slide 116 text

116 2017/06/23公開用 JaSST’17 Kansai 科学的なアプローチ：わからない部分へワーク①での考え方の例を紹介してみます。３．妥当性へ向けた問題発見へ購入計算機能理由実際の人数を確認する（必要に応じて強化）１０００人連続で計算出来ることオープン前で予測だが、 1000人が損益分岐のためこの人数で設定する

Slide 117

Slide 117 text

117 2017/06/23公開用 JaSST’17 Kansai 科学的なアプローチ：わからない部分へワーク①での考え方の例を紹介してみます。３．妥当性へ向けた問題発見へ購入計算機能理由実際の人数を確認する（必要に応じて強化）１０００人連続で計算出来ることオープン前で予測だが、 1000人が損益分岐のためこの人数で設定する実際の人数が５０００人超過ひらパーで年間１００万人。年２５０日開業で１日平均４０００人

Slide 118

Slide 118 text

118 2017/06/23公開用 JaSST’17 Kansai 科学的なアプローチ：仮説検証の繰り返し小惑星への接触を考えるような場合には「シミュレーション」と「実験」を繰り返して納得感を高めます。３．妥当性へ向けた問題発見へ小惑星への接近時で問題ないことを確認小惑星への接触が上手く行くことを確認する接触における地面の形状に対して・・・・・・実験データ実験データ実験データ・・・実験シミュレーション論理構築シミュレーションシミュレーションシミュレーション

Slide 119

Slide 119 text

119 2017/06/23公開用 JaSST’17 Kansai 注意事項：誤った論理「思いこみ」などによって誤った論理が構築されてしまう場合もありますので注意しましょう。３．妥当性へ向けた問題発見へ

Slide 120

Slide 120 text

120 2017/06/23公開用 JaSST’17 Kansai おさらい ※会社に報告する人は、ここだけ押さえておきましょうｗ・構造を作るだけで難しい問題の解決は困難。・現状の把握、問題の定義、問題の分割・整理、解決策を決める、といった活動を分ける・「知識ギャップ」の部分が分かる（「知らない」ことがわかる）ことが大事・論理的構造を明らかにしながら、一つずつ論証する活動は科学的なアプローチに通じる３．妥当性へ向けた問題発見へ

Slide 121

Slide 121 text

121 2017/06/23公開用 JaSST’17 Kansai その３・完！３．妥当性へ向けた問題発見へ３．妥当性へ向けた問題発見へ

Slide 122

Slide 122 text

122 2017/06/23公開用 JaSST’17 Kansai 参考シリーズ：問題解決と科学の活動こちらの資料は、「問題解決」と「科学の活動」に関連する文献を参考としております。 ■問題解決関連書籍（一部です）・世界一やさしい問題解決の授業・仮説思考 BCG流問題発見・解決の発想法・問題発見プロフェッショナル―「構想力と分析力」 ■科学的なアプローチ・すべてのアメリカ人のための科学 - Project 2061 http://www.project2061.org/publications/sfaa/SFAA_Japanese.pdf ・Wikipedia「科学的方法」３．妥当性へ向けた問題発見へ

Slide 123

Slide 123 text

123 2017/06/23公開用 JaSST’17 Kansai おさらい（全体編） ※会社に報告する人は、ここだけ押さえておきましょうｗ・納得できるテストをつくるため、「構造」を意識して全体、つながりを考えよう・テストケースには目的が存在する・目的を用いて構造化することで、「説明」「検討（ケース作成）」ができる・「目的－手段」の階層化でトレーニングしよう・構造化でむずかしい問題に取り組むことも可能次の４点で考えてみる⇒「現状を把握」、「問題を定義」、「問題を分割・整理」、「解決策を決める」・仮説－検証アプローチが困難な問題に役立つ

Slide 124

Slide 124 text

124 2017/06/23公開用 JaSST’17 Kansai おしまいご清聴ありがとうございました！