テスト設計コンテストU-30クラス 審査委員活動での ビジョン駆動型アプローチの紹介 JaSSTnano いせり 1

このセッションについて ◼内容 • テスト設計コンテストU-30クラスの審査委員活動の紹介を通じて、ビジョン駆動型アプ ローチの一事例を紹介します ◼自己紹介 • テスト設計コンテストU-30クラス審査委員長/ファウンダー 2

テスト設計コンテストとは ◼テスト設計コンテスト（通称テスコン） • 同じテストベースに対してテスト設計を行い、その成果物を審査基準に従って点数化し て競う • http://www.aster.or.jp/business/contest.html • 2011年から開催 • U-30クラスができてからはOPENクラスと呼称 ◼テスト設計コンテストU-30クラス←今回の紹介対象 • 2017年から開催 • 30歳以下に参加者を限定したテスコン 3

テスト設計コンテストU-30クラス審査委員の一年の流れ ◼一年間の流れ 1. キックオフ • ビジョンの策定/その他もろもろの計画 2. テストベースなどのコンテスト課題の策定 3. 各種チュートリアルなど広報・啓蒙活動 4. 予選 • 事前審査/すり合わせ • コンテスト審査 • フィードバック 5. 相談会 6. 決勝 • 事前審査/すり合わせ • コンテスト審査 • フィードバック 7. 振り返り 参加者の方々からの学びや失敗の反省などを 通して日々改善しています 今回のテーマ 4

テスト設計コンテストU-30クラスでの ビジョン駆動型アプローチ ◼テスコンU-30クラスでは、一年の活動開始時に、審査委員の皆でコンテスト のビジョンを作りこみ、明文化します。 それに基づいて審査活動を推進していきます ◼ビジョンは、継続的に参照される文章のトップに記載し、頻繁に参照して自分 たちがビジョンに基づいて活動できているか確認を取ります。 判断に迷った時はビジョンに立ち戻ります 5

ビジョンの変遷と それに基づく活動の改善 6

最初期（2017/2018） 7

【起点】テスト設計コンテストU-30クラスのビジョン ◼最初期 • テスコン参加障壁を緩和し、テスコンの間口を広げる 8

【2017/2018】テスト設計コンテストU-30クラスのビジョン ◼テスト設計コンテストU-30クラスの目的 • テスコンに若い人を参加しやすくする/テスコンのすそ野を広げる • テスト設計の大切さに気付いてもらう • テスト設計の面白さ、他人のテスト設計と比較する面白さを体験してもらう • 本人の次のステップアップに役立てる/新人・中堅社員教育を支援する/仲間を増やす • 新しいテスト設計(観点・技法・方法論)を開発する U-30が新設された思いや背景を具体化した 9

【2017/2018】テスト設計コンテストU-30クラス ビジョンに基づいた活動 ◼教育手段を確保 • チュートリアル/セミナーを通して初学者向けの教材を確保 ◼ビジョンに沿ったフィードバック結果の報告 ◼現場のテスト設計に役に立つように、テストベースコンテストの作業を現場のテ スト設計に近づけ、現場へのフィードバックをやりやすくした 【U-30クラスでのテストベースの補強】 ●テストの目的、コンテスト出場チームの責務を具体的に提示 10

2020年 11

【2020】テスト設計コンテストU-30クラスのビジョン ◼テスト設計コンテストU-30クラスの目的 • テスコンに若い人を参加しやすくする/テスコンのすそ野を広げる • テスト設計の大切さに気付いてもらう • テスト設計の面白さ、他人のテスト設計と比較する面白さを体験してもらう • 本人の次のステップアップに役立てる/新人・中堅社員教育を支援する/仲間を増やす ◼アプローチ • 改善を促すようなポジティブなフィードバックを心がける • 適切に伝えつつ、傷つけないようにする • 参加チームに気づきを促すような、わかりやすいコメントにする ・参加者のスキル向上やステップアップに注力 ・より現場のエンジニアの成長に役立つように教材充実だけ でなく、フィードバックの改善・充実を目指した 12

【2020】テスト設計コンテストU-30クラス ビジョンに基づいた改善活動 ◼より現場のテスト設計に寄り添う。テストベースを拡張 • テストの工数制限を追加。 コンテストの作業をより現場のテスト設計へ近づけ、コンテスト参加経験を現場にフィード バックさせやすくした ◼ビジョンを促進するように参加者へのフィードバックを改善 • 審査フィードバックは、参加者の成長を促し、モチベーションを喚起する方向により特化 • 審査フィードバックの量・質を改善 • フィードバックの作成は、1つの文書を全員で共同編集し、共同レビューして質を高めるやり方へ 13

【2020】テスト設計コンテストU-30クラス ビジョンに基づいた改善活動 ◼フィードバックコメントの変化 【2018年以前】一人数文で審査結果 の概要を記述。1チームあたり3p程度 【2020年以降】一人数ページの改善提案を記述 1チームあたり十数p以上に 14

2021年 15

【2021】テスト設計コンテストU-30クラスのビジョン ◼ターゲットとする参加者 • テスト初心者（業務で触れているがテストの全体感・本質論に関われていない） ★メインターゲット • 純粋なテスト初心者（一年未満、学生） ★次のターゲット • テスト設計中堅、コミュニティ参加常連 ◼参加者にどうなってもらいたいか • テスト開発をやり切れる • テスト設計の大切さに気付いてもらう • テスト設計の面白さ、他人のテスト設計と比較する面白さを体験してもらう • 本人の次のステップアップに役立ててもらう • テスト技術を高めあう仲間を増やしてもらう • 学生教育、新人・中堅社員教育に役立ててもらう • テスト技術についての成長を実感してもらう ◼審査員がどうありたいか • テスコンに若い人を参加しやすくする / テスコンのすそ野を広げる • テストを分析設計から行うことを周知する/テストエンジニアに対する教育の機会を提供する • より良いテスト設計を考え続けるきっかけを提供する 16

【2021】テスト設計コンテストU-30クラスのアプローチ ◼大会外のアプローチ • 初心者・経験の浅い人でも気軽に参加できるようにする • 初心者向けチュートリアルの開催 • 初心者参加を促す宣伝 ◼大会内のアプローチ • 一通りのテスト設計作業を経験する機会を設ける • 具体的なお題でテストを考える機会を提供する • 第三者からステップアップにつながるフィードバックをもらえる機会を提供する • 参加チームに気づきを促すような、わかりやすいコメントにする • フィードバックを無理なく対応できるようにする • フィードバックコメント、直接の対面コメント含め、ポジティブなコメントを充実させる • 書類審査のコメントで、適切に伝えつつ、傷つけないようにする • 発表/他の参加者の成果を知る機会を提供する ターゲットを具体化。 ターゲットの方々の成長・ステップアップに貢献するためのフィードバック手段の洗練に注力 17

【2021】テスト設計コンテストU-30クラス ビジョンに基づいた改善活動 ◼より有効で充実した審査フィードバックの確保のため、相談会を新設 • 予選後、参加チームと審査委員がオンラインで直接質疑応答や相談を行う機会を追加 ◼審査フィードバックを量から質へ • 2020年で量的爆発が起きたフィードバック結果を洗練させ、受け入れやすいものへ • 審査結果文書：20p弱→10p程度へ ◼現場のテスト業務に寄り添うように審査基準を改定 • テスコン固有のアーキテクチャ方法論の審査点割合を削減し、「テストが目的・制約に 沿っているか」「そもそもテストが妥当か」のテスト妥当点を新設した • さらにコンテスト参加経験を現場にフィードバックしやすくした 18

まとめ 19

ビジョンに駆動され、U-30はOPENクラスと分岐し、 現場のテストエンジニアの成長を支援するクラスに特化 ◼審査フィードバック • 審査結果でなく具体的で詳細な改善提案をフィードバック • インタラクティブな相談や質疑応答の時間を確保 ◼審査基準 • 「テストの目的、制約を満たしているか」「全体として妥当か」に重きを置いて審査 ◼テストベース • 現場のテスト業務に近いものになった。 具体的なテストの目的、制約（実行工数）、チームの立ち位置に基づいてテストを設計 20

まとめ：ビジョン駆動型アプローチの力 ◼全員でビジョンを作り、共有し、継続的に確認することで、ビジョンに沿った活 動が促進される ◼全員でビジョンを継続的に改善することで、ビジョンに沿った改善が加速する ※会社勤めでは、ビジョンは経営層・管理者層などトップが考えトップダウンで展 開されることが多いですが、かなり勿体ないアプローチ 21 当事者の皆でビジョンを考え、具体化し、継続的に立ち戻ることで 改善が最適化され、かつ加速する

テスト設計コンテストU-30クラス 2022年の宣伝 22

2022年テスト設計コンテストU-30クラスの予定 ◼以下のサイトで春ごろから募集開始。以下サイトで募集 • http://www.aster.or.jp/business/contest.html • チュートリアルも上記サイトで告知します ◼JaSST22’ Tokyoでもセッションを担当します • http://jasst.jp/symposium/jasst22tokyo/details.html#C5 23

ぜひテスト設計コンテストU-30クラスに気軽に参加ください＆ 有望な方がいたらお誘いください ◼テスト設計スキルを伸ばせます！ ◼テスト設計スキルを向上させるための様々なフィードバックを得ることができます • 直接審査委員と質疑応答や相談ができる相談会 • どのように改善すればよいかをアドバイスする2段階の審査フィードバック書類 • 他チームと同じテーマで学びあう機会 ◼現場のテスト設計に直結するアプローチでコンテストに対応できます • テスト対象はウェブベースのスマフォアプリになる予定 • テスト対象やテストの目的にとって妥当かを審査 ◼軽い気持ちで参加して大丈夫です • 作りかけでも大丈夫です • 審査では、技術的良否を責めたり・けなしたりすることはなく、これから改善するにはどうすればよいかに 注力して審議しています 24