プロダクトの価値を有効的に実証するテストについての考察

by takefumi

Slide 1

Slide 1 text

プロダクトの価値を有効的に実証するテストについての考察 2025/05/10 Scrum Fest Nigata 井関武史

Slide 2

Slide 2 text

アジェンダ (ソフトウェア) テストとは？テストの役割・意義テスト戦略 (ランチェスターの法則を添えて) テスト戦略とはプロダクト・組織の成長とテストのやり方テストという戦闘の配分品質(価値) を考えたテスト活動無駄なテスト・有効なテストまとめ

Slide 3

Slide 3 text

自己紹介

Slide 4

Slide 4 text

オンライン区長名前：井関武史（いせきたけふみ）所属：テストの街「葛飾」職業：某 ID 管理製品のQA・テストエンジニア趣味歴史チンタラン（マラソン）ゲームポケモン（カード・Switch）、Acecombat、その他 Twitter： @katsushika_take 生息地：葛飾、神田小川町

Slide 5

Slide 5 text

はじめに私はテスター (テストエンジニア) です (ソフトウェアの) プロダクトをテストをする人です QA エンジニアではありますが、ソフトウェアのテストもやっています。「テスト」はおもしろいですし、やりがいもありますでも、チェックする「だけ」のテストは好きじゃないですそして、無駄な (に) テストするのは嫌いです

Slide 6

Slide 6 text

はじめにおことわり私 (オンライン区長) の理念(思考)・概念をお話しします。手法・手段については話しません。(時間の都合) 実践していることは直接聞くか、または「テストの街葛飾」までお越しください私 (オンライン区長) が経験・体験、そして夢で見たことを話すところがありますが、具体的な内容はお話しできません。ご了承ください

Slide 7

Slide 7 text

(ソフトウェア)テストとは？

Slide 8

Slide 8 text

(ソフトウェア)テストとは？ソフトウェア開発をする上で、「テスト」とは JSTQB では以下の3つがあげられています。ソフトウェアの欠陥を見つけること欠陥の作りこみ防止 (エラーの予防) 品質が充分であることを確証するための証明

Slide 9

Slide 9 text

(ソフトウェア)テストとは？ですが。。。「テスト」はプロダクトが出来上がった後工程としての「単なる」作業ではありません。

Slide 10

Slide 10 text

(ソフトウェア)テストとは？すべてのプロセス (過程) でも「テスト」を行うことが示されています。ホリスティックテスト https://janetgregory.ca/testing-from-a-holistic-point-of-view/ (翻訳) https://note.com/globis_engineers/n/neeaad6dfd67b

Slide 11

Slide 11 text

(ソフトウェア)テストとは？「テスト」は、単純に〇×をつけるチェック作業ではなく、「成果 (実施した結果)」と「過程 (実施するプロセス)」を組み合わせて、自分たちの立ち位置を評価すること。「テスト」はプロダクトの品質を保証・管理をしつつ、プロダクト・プロセスの価値を評価するための根幹となる技術であり、活動です。私は「テスト」という一連の業務 (作業) を「テスト活動」と言っています。オンライン区長論

Slide 12

Slide 12 text

(ソフトウェア)テストとは？そのような重要な技術、活動のテストですが、皆様はどのように考えていますでしょうか？テストとは「行動」、「説明」、「納得する (してもらう) ため」であるとかの人がおっしゃっていました https://www.youtube.com/watch?v=zhIk9G7S1Ok テスト設計コンテスト2013 関西地域予選招待講演 (西さん) テストとは、バグを発見したり、仕様通りに動作するかではなく、「どのような (に) 価値を誰に提供できるか」を説明(証明) できること ≒ 「品質を保証する」ということ。 ※) 逆にどのようなリスクが含まれているかを提示すること

Slide 13

Slide 13 text

テスト活動の役割・意義

Slide 14

Slide 14 text

テスト活動の役割・意義「テスト活動」はプロダクトの価値を評価し向上させる大事な役割・意義を持っています。オンライン区長論としては、「品質 ≒ 価値」と考えています。

Slide 15

Slide 15 text

テスト活動の役割・意義ところが、この「テスト活動」を見誤ると、単なるチェック作業になったり、無駄な活動となることもあります。はっきり言って、「そんなテスト活動なら必要ない」という事態に陥ります

Slide 16

Slide 16 text

テスト活動の役割・意義私の経験・体験、夢の話をもとに、あやしいテスト活動を例をいくつか、あげてみます

Slide 17

Slide 17 text

テスト活動の役割・意義ユニット、結合(機能)のテストを実施して、システムテストはやらない・考えない (機能性のテストだけをしている）

Slide 18

Slide 18 text

テスト活動の役割・意義ユニット、結合(機能)のテストを実施して、システムテストはやらない・考えない (機能性のテストだけをしている）機能単位では正しいが、システムとして整合性があっていない実行時に値チェックしているけど、設定時にしていないとか入力チェックが直列で保存ボタン押すと、いちいち1個ずつエラーがでて、なかなか保存 (submit) できない (そして、イライラ感 MAX）様々な処理を駆使して迂回しないと業務フローを解決ができない一回データ出力して、手作業で修正してから、もう一度実行するとか

Slide 19

Slide 19 text

テスト活動の役割・意義人の作業を楽にしたり、間違えないようにするために業務システムを創っているのでは？なんのために、システムを創っているのか？「それ、仕様です (仕様書の通りです)」「お前がコレを仕様というなら、そうなんだろう。お前ん中ではな」局所的な機能だけを確認するだけであれば、開発しているときにチェックするだけでよく、なんのためのテスト活動なんだ？テストピラミッドの意義・意味を間違えている。。。という事例です

Slide 20

Slide 20 text

テスト活動の役割・意義リリース時にリグレッションテストで、毎回全機能を全テスト

Slide 21

Slide 21 text

テスト活動の役割・意義リリース時にリグレッションテストで、毎回全機能を全テストテストやったことでの安心感どこに影響があるかわからないから網羅した全部のテストテストはやりましたよ的な。。。説明「無責任」の状態化テスト活動の主体がリグレッションテスト特にシステムテストの主体がリグレッションテストに置き換わりテスト活動がただのチェックになる何をテストしていいかわからなくなったので。。。ーーーーそのうち、テスターは考えるのをやめた

Slide 22

Slide 22 text

テスト活動の役割・意義「なんかよくわかないんで、(不安なので) とりあえず全部テストしといて」「だが、断る」同じ手順(フロー)、同じデータ、同じ設定で、何度も確認しても「殺虫剤のパラドクス」という状態に陥るので、その「テスト活動」で安心感なんて得られない社会(業務)・技術は日々進歩・変化しているため、利用方法も変わってくる定型的な業務フローだけは意味がなくなる自分たちが創るものが、どのような依存があり、どのように影響があるかの分析を行うテスト活動しないと、結局、安心感など得られないし覚悟もできない

Slide 23

Slide 23 text

テスト活動の役割・意義例外・異常の条件、組み合わせのテストパターンが多すぎる・細かすぎる

Slide 24

Slide 24 text

テスト活動の役割・意義例外・異常の条件、組み合わせのテストパターンが多すぎる・細かすぎる例外・異常の組み合わせを考えたパターンは無限大になる重箱の隅をつつくパターンに気を取られて、最も重要なテストがおそろかになるそれに合わせて、余計な機能がどんどん肥大化していく CPU・メモリ、リクエスト数などの負荷を監視する機能が密結合でテスト活動しづらい

Slide 25

Slide 25 text

テスト活動の役割・意義そこまで例外・異常にこだわるなら、そもそも動作を限定するように設計 ※) これ以外では動作しません。間違っていけないシステム(機能)であれば、無駄かもしれないが入出力データのチェックを必ず実施させること (リグレッションテストは不要です) 買い物で支払額、おつりの金額をチェックしないやついないでしょ？業務システムの機能と周辺機能は区別をする周辺機能は、ほかのプロダクト(サービス)にまかせたり、完全に独立させた機能として実装例外(異常同値)の機能に対してのチェックの中心となり、業務システム (フロー)を効率よく処理できるかなどのテスト活動がおろそかになる「俺はいったい何ためのテスト活動をしているんだ？」

Slide 26

Slide 26 text

テスト活動の役割・意義なんか新人に何させたらいいかわからんからテストをやらせてみる

Slide 27

Slide 27 text

テスト活動の役割・意義プロダクトの価値を、まだ知らない子たちが、テストをしてもチェックするだけになってしまう。教育システムが崩壊している状態で新人にテスト任せて戦果が出るわけがないここは、マリアナ沖海戦か。。。マリアナの七面鳥撃ちと揶揄された

Slide 28

Slide 28 text

テスト活動の役割・意義教育システムが崩壊している状態で新人にテスト任せて戦果が出るわけがない新人などプロダクトやドメイン知識がない人がテストを実施するためには、熟練したテスターが並走する必要があり、教育方針・テストの方針などを決めておく必要がある。新人に成果(戦果)は求めてはいけない。 ※) たまにラッキーパンチが入ることはある新人研修で探索的テスト JaSST 2020 Tokai (大平さん) こちらを参考にしていただけるとうれしいです

Slide 29

Slide 29 text

テスト活動の役割・意義もう一度言いますテスト活動は、プロダクトの価値を説明するために、大変重要な活動です。テスト活動は、品質を保証・管理するのに重要な活動です。オンライン区長論としては、「品質 ≒ 価値」と考えています。

Slide 30

Slide 30 text

品質(価値) を考えたテスト活動

Slide 31

Slide 31 text

品質(価値) を考えたテスト活動「価値」や「品質」というのを話す前に。。。

Slide 32

Slide 32 text

品質(価値) を考えたテスト活動プロダクトを顧客に利用してもらい、業務(社会)・生活を便利にしていくこと「テストをするため」にプロダクトを作っているわけではない。要求分析・要件定義、設計、実装などが完璧であれば究極的に「テスト活動」は 0 になります。

Slide 33

Slide 33 text

品質(価値) を考えたテスト活動プロダクトを顧客に利用してもらい、業務(社会)・生活を便利にしていくこと「テストをするため」にプロダクトを作っているわけではない。。。。が、「テスト活動」が 0 になることはなりません。人間は、完璧超人ではないので。。。

Slide 34

Slide 34 text

品質(価値) を考えたテスト活動プロダクトを顧客に利用してもらい、業務(社会)・生活を便利にしていくこと「テストをするため」にプロダクトを作っているわけではない。「テスト活動」は必ず必要になります適切な「最少の」戦力と資源で、価値を説明できるようにし、品質を保証・管理してリリースをしていかなければならない

Slide 35

Slide 35 text

品質(価値) を考えたテスト活動「品質」とはなんでしょうか？対象に本来備わっている特性の集まりが，要求事項を満たす程度 (ISO９０００) ニーズにかかわる対象の特徴の全体像 (飯塚悦功) 対象に本来備わっている特性の集まりが、要求事項を満たす程度 (JSTQB) 「品質は誰かにとっての価値である」 (Gerald.M.Weinbeg) ふりかえりを品質保証の重要な位置付けとしてたちカエルふりかえりカンファレンス 2025 (やまずんさん)

Slide 36

Slide 36 text

品質(価値) を考えたテスト活動「品質」の定義には、いずれにも「『欠陥』がないこと」ということは明示的に書かれていない「要求事項を満たす～」、「ニーズに対する～」と記載があり、「誰か」にとって価値を提供する (提供し続ける) こと欠陥によって要求を満たさない状態・状況になるのであれば、それは価値を説明 (提供) できていないことになりますが。。。

Slide 37

Slide 37 text

品質(価値) を考えたテスト活動「価値」とは、以下のようなものがあります機能的情緒的自己実現的社会的文化的芸術的。。。etc 業務システムであれば「どれだけ役に立つのか」、「業務が楽 (安心・安全) になるのか」ということになります。 ※) ゲームなどは芸術的価値などの要因も大きいと思います

Slide 38

Slide 38 text

品質(価値) を考えたテスト活動「誰か」にとっての価値の「誰か」って顧客だけでしょうか？プロダクト・サービスを創る人たち (プロセス品質・内部特徴) カスタマーサポート・営業などの人たち(外部特徴) 顧客 (外部特徴・利用時の品質) などなど。。。プロダクトを顧客に届けたり、維持するには様々な「誰か」が必要になるプロセス品質内部特徴 (品質) 外部特徴 (品質) 利用時の品質 ISO 25010: 2011 影響影響影響依存依存依存

Slide 39

Slide 39 text

品質(価値) を考えたテスト活動利用する人にとっての品質は非常に重要だが、それだけを考えていると、いずれ歪がやってくる。この歪が起こらないようにして継続的にプロダクト・サービスを成長させること (すべてのサイクルで「テスト活動」を行う)

Slide 40

Slide 40 text

品質(価値) を考えたテスト活動「誰かにとっての価値」という品質を継続的にプロダクト・サービスを成長させ、価値がだせるようにすることプロダクト・サービスを利用する人だけではなく、関係者全員が対象ですというのが、オンライン区長の「テスト活動の役割・意義」と考えています。顧客は喜んでいるが、中の人が死んでいるのは、かなり歪が出ている状態 (内部特徴・プロセス品質がオワッテル)

Slide 41

Slide 41 text

品質(価値) を考えたテスト活動そのテスト活動の役割・意義を発揮させるための計略をつくります。それが「テスト戦略」です ※) オンライン区長論 JSTQB の定義とは少し違っていますがご了承ください

Slide 42

Slide 42 text

テスト戦略

Slide 43

Slide 43 text

テスト戦略戦略とは？特定の目的達成のために、総合的な調整を通じて力と資源を効果的に運用する技術・理論であり、上位の概念が下位の行動を決定するという性質があります。 (Wiki）戦略には7階層あるといわれています世界観政策大戦略軍事戦略作戦戦術技術

Slide 44

Slide 44 text

戦略とは？戦略は、簡単に言うと目標・目的 (何をなさなければいけないのか？なぜなさなければいけないのか？) 兵站戦術作戦テスト戦略戦略戦略を実現するための計画・プロジェクト作戦をどのように実行していくかの方法論人・モノ・金はもちろん、技術・知識(ノウハウ)・情報で戦略・作戦・戦術すべてに必要なものです。世界観、ポリシー(政策・意思)、リソースの把握・検討

Slide 45

Slide 45 text

Slide 46

Slide 46 text

戦略とは？戦略は、簡単に言うと目標・目的 (何をなさなければいけないのか？なぜなさなければいけないのか？) テスト戦略会社、組織、チームなどに分かれているため、単純な構造ではなく、実際にはサブ構造になっている

Slide 47

Slide 47 text

テスト戦略テスト戦略とは？内外の変化を踏まえてプロジェクト (プロダクトの品質) のゴールを設定し、そこに到達するために求められる適切な施策や投資配分を考えること (JSTQB) JSTQB シラバスにはテスト戦略について、明確な記載がないのですが、テスト計画の一つとしてテストアプローチの部分に記載されています。 ※) 詳細は、シラバスを参照してください。リスクベースモデルベース分析的どれか1つを使うわけではなく、状況に合わせてアプローチをする必要あり ※) JSTQB では計画(作戦)と戦略が逆になっているような表現ですが概念は同じです。

Slide 48

Slide 48 text

テスト戦略プロダクトを顧客に利用してもらい、業務(社会)・生活を便利にしていくこと「テスト活動をするため」にプロダクトを作っているわけではない。「テスト戦略」はあくまで、プロダクト戦略の「サブ構造」のひとつこれを間違えると、テストすることが主体となり、なんでもかんでも「テストしなきゃ」ということを考えはじめてしまいます

Slide 49

Slide 49 text

テスト戦略プロダクトを顧客に利用してもらい、業務(社会)・生活を便利にしていくこと「テスト活動をするため」にプロダクトを作っているわけではない。よって、いかにして、最小の戦力で効率よく短期間で。。。バグを撃破できるか被害 (リスク) を最小にできるか価値を最大化できるか ※) 7構造でいう「軍事戦略」も考慮が必要です

Slide 50

Slide 50 text

テスト戦略プロダクトを顧客に利用してもらい、業務(社会)・生活を便利にしていくこと「テスト活動をするため」にプロダクトを作っているわけではない。テスターは、「テスト活動」を適切に実施をして、不要なものを排除できるかも常に考える必要があります。もちろん必要なテスト活動は行います

Slide 51

Slide 51 text

テスト戦略プロダクトを顧客に利用してもらい、業務(社会)・生活を便利にしていくこと「テスト活動をするため」にプロダクトを作っているわけではない。プロダクトの戦略が、よくわからない状態では「テスト戦略」も共倒れになるので、テスターはプロダクトの戦略を理解していないといけない ※) ここではプロダクト戦略の話はしません逆説的に、テスターは、プロダクトの価値(品質) をボトムアップで可視化・明確にし、モニタリングする必要もあります。

Slide 52

Slide 52 text

テスト戦略そこで、どのような戦略をとっていくのかを、プロダクト成長曲線をもとにランチェスター的な概念でお伝えします。

Slide 53

Slide 53 text

テスト戦略黎明期プロダクトを創り始めいち早く顧客に届けるとき一騎打ち・局地戦

Slide 54

Slide 54 text

テスト戦略局地戦・一騎打ち担当のテスターが対象のプロダクト・機能を熟知 (属人化状態) テスターの能力 (性能) が高ければ、作戦成功しやすい ※) 新人やドメイン知識、技術がない人にテスト活動をやらせないコーディングなども同じ属人化させてノウハウ、知識、手順、技術をしこたま貯金して、メトリクスとして整理

Slide 55

Slide 55 text

テスト戦略成長期さまざまなプロダクト・機能が増えて、担当のテスターだけでは見ることができない状況になってくる確率戦・広域戦

Slide 56

Slide 56 text

テスト戦略広域戦・確率戦黎明期に培った情報をもとに絨毯爆撃 (とは言え。。。) 確率をあげるためには、黎明期・成長期初期で貯めて整理をした情報が重要となる。 ※) バグが出ないようなところをテストしても全く意味がない絨毯爆撃の機械化・自動化手作業がどんどんつらくなっていくので、成長期初期には自動化・機械化次期イノベーション (黎明期) の準備プロダクト全体の(仕様などの) バランス、機能統合・分離の検討、そして整理 ※)「テストしにくい」というはプロダクトに歪が出始めているすべてのプロダクト (機能) に、それぞれテスターの担当がついているのであれば、局地戦をしてもいいが、そんな組織になっているところは (ほぼ) ない。

Slide 57

Slide 57 text

テスト戦略成熟期プロダクトの機能が飽和状態 (機能の変更が中心) 機能の変更が、様々なプロダクトの動作に影響を及ぼす確率戦・広域戦 + 補給戦

Slide 58

Slide 58 text

テスト戦略確率戦・広域戦 + 補給戦今までの情報、自動化・機械化されたものを利用して影響を及ぼすところ・重要なところに適切にテスト重要でないところは見切りをつける属人化をほぼ完全に排除 (手順化・自動化など) 撤退であればサポートを維持できる品質の状態にして前線から撤退する準備次期イノベーションが発生するのであれば、既存プロダクトが補給物資となることを想定してライブラリー化などここで戦略を間違えると、なんかよくわからないけど全部テストするという思考 (作戦) になる

Slide 59

Slide 59 text

テスト戦略戦局は刻々と変わっていく開発現場、顧客の構築など自分たちが前線で戦っているときに、今やっていること (作戦・戦術) が戦略と方向があっているかを確認(ふりかえり) することが必要「すべてをテストするのだ」と、彼は語っていましたが、まさしくその通りです。今の自分たちのやっていることをテストするのです。

Slide 60

Slide 60 text

テスト戦略戦略と戦術のバランス

Slide 61

Slide 61 text

テスト戦略戦略と戦術のバランスランチェスター戦略方程式 (クープマンモデル) クープマンモデルでは『戦略 [2] : 戦術 [1] 』の配分と言われていますプロダクト開発における「テスト活動」の比率が一緒かどうかは判断しません。すべてのテスト活動をするうえで、「戦略 (作戦)」が必要だということです。

Slide 62

Slide 62 text

テスト戦略「以前と同じで。。。」などなど、そのような理由で「戦略(作戦)」をおろそかにしていませんか？失敗したとき (欠陥発生、機能不足など) に何が起こったのか理由が説明できなくなる失敗したとき方針・方向がわからず軌道修正できず、大失敗に導いていく

Slide 63

Slide 63 text

テスト戦略最終的に負の連鎖に陥っていく欠陥が出たら対処する。(対処療法) 「ふりかえり」でといっても、論理的に説明できない(すでに忘れている) 結局、どんどんテストする内容・手順が増えていくなんかしらんけど、どんどん忙しくなっていく戦略とか作戦とか考えている場合じゃなくなる自分たちで、「木こりのジレンマ」の状態を作り出している

Slide 64

Slide 64 text

テスト戦略何かを実施 (戦術) するときには、かならず戦略・作戦があることを意識すること比率はともかく、考慮されていない状態にしない。考慮されていないと、絶対に前線が崩壊する

Slide 65

Slide 65 text

テスト戦略テスト戦略はプロダクト戦略の一部ですが、以下のようなことを考えてテスト活動を実施していく必要がありますなぜ(どうして)、テスト活動をするのでしょうか？実施しているテスト活動において効率よく作戦を遂行できますか？自分たちがやっているテスト活動は戦略とあっていますか？上記のことを考えて、トップダウンだけではなく、ボトムアップ (今実施してるテスト活動) からも確認して、テスト戦略を常に意識をして、テスト活動をみなおすことが必要です。

Slide 66

Slide 66 text

無駄なテスト・有効なテスト

Slide 67

Slide 67 text

無駄なテスト・有効なテスト戦略のないテスト活動は、そもそも無駄ですこの状態であれば、別にテスト活動しなくてもよいテスト活動してもしなくても、品質(価値)として大差ないです戦略が形骸化した作戦・戦術となっているテスト活動も無駄です価値(品質) が全く評価されていない状態プロダクトの意義を忘れている状態 ※) ミッドウェイ海戦(などが)物語っています

Slide 68

Slide 68 text

無駄なテスト・有効なテスト「戦略」にあったテスト活動で品質(価値)を評価することが有効なテストです。リスクも含めて説明できるテスト活動になっていること単純に利用時の品質だけではなく、総合的に判断をして落としどころを見出して、プロダクトの成長を促す (阻害要因を排除)ことプロセス内部特徴外部特徴利用時の品質

Slide 69

Slide 69 text

まとめ

Slide 70

Slide 70 text

まとめ「戦略」がない (あいまい) 状態では、品質(価値) を評価できません。つまり、価値もリスクも、場当たり的な結果でしかない単なるチェック作業「高品質＆高スピード」など、なおさら実現できません。無駄にテスト活動したり、役に立たないテスト活動になります

Slide 71

Slide 71 text

まとめ「テスト活動」はすべてのプロセスで必要です。そのテスト活動の間、常に「戦略」を念頭にして、「戦略」自体のモニタリングもしておくこと。

Slide 72

Slide 72 text

おまけ「戦略」は重要です。ただし、戦略を実現するための「作戦」、「戦術」も重要です。そして、これらを支える「兵站」は、かなり重要です。 (しかも、見えにくい) 技術、知識(ノウハウ)などを持たずにテスト活動などできません。武器も防具も回復薬ももたずにラスボス倒しに行かないでしょ？兵站戦術作戦戦略

Slide 73

Slide 73 text

おまけ技術・知識(ノウハウ)、情報には様々なものがありますが、多ければ多いほど判断する材料として利用できます。 (様々な) メトリクステスト技法 MVPの決め方 (ユーザストーリーマッピングなど) プロダクトの理念・設計(仕様) などなど。。。さらに、この情報を日ごろから最新にアップデートしたり整理しておくことが必要です兵站戦術作戦戦略

Slide 74

Slide 74 text

おまけ戦略の思想部分ですが、以下のことを定義して、どの時点で、どのようなテスト活動を行えば効果的になるのか、テスト戦略 (そして作戦) を立てています。

Slide 75

Slide 75 text

テストの街「葛飾」？グループ：https://ost-zatu.connpass.com/ 通称：葛飾テストの会イベント毎週火曜日 21:30 ～ 23:00 テスト関係の話を中心に雑談（なんでもあり）勉強会やセミナーが渋谷や新宿が多くて東側少ないよね、ないなら自分たちで作っちゃえで始まった会キャベツは「中野甘藍」（葛飾の野菜生産量第二位）第一位は「こまつな」だが、葛飾区の南にある某区によってゆるキャラ出ているから却下虫はバグ、早急に発見・対処しないと大変なことに。。。