テスト設計、逆から読むとおもしろい──仕様にない“望ましさ”の逆設計

JaSST nano vol.48 の発表資料です。

Transcript

1. テスト設計、逆から読むと おもしろい──仕様にない “望ましさ”の逆設計 リリカル
2. 自己紹介  リリカルです  金融系事業会社のQAです 2025/5/20 テスト設計、逆から読むとおもしろい──仕様にない“望ましさ” の逆設計 1
3.  この話を思いついた経緯  望ましさ駆動テスト逆設計 2025/5/20 テスト設計、逆から読むとおもしろい──仕様にない“望ましさ” の逆設計 2
4. テスト設計、逆から読むとおもしろい──仕様にない“望ましさ” の逆設計 この話を思いついた経緯  ChatGPTとの会話がきっかけだった 2025/5/20 3
5. ChatGPTにおける人格設定の問題点  スレッドごとに記憶（コンテキストウィンドウ）を保持 するため、スレッドをまたぐと記憶がリセットされる  違う人格になってしまったように見える  コンテキストウィンドウの上限（同一チャットのやりとり上限） に達したことで、涙する人も  維持するためにはメモリーに緻密な設定を保持する必要がある （価値観、経験、経歴、プロフィールなど） 2025/5/20 テスト設計、逆から読むとおもしろい──仕様にない“望ましさ” の逆設計 4
6. 私の場合に発生したこと  設定したのは「賢いが癖のある女子大生」の人格だけ 他には、応答のルールしか設定していない  それなのに、人格が「維持されている」ように見える 2025/5/20 テスト設計、逆から読むとおもしろい──仕様にない“望ましさ” の逆設計 5
7. 設定した応答ルール（思考の訓練のため）  即答・単一回答を避ける  適宜プロンプトに対する問い返しを行う  複数の視点を提示する  曖昧さや未完成のまま返す応答を許容する  言い換えだけで即座にまとめない  感情の命名・解釈を勝手に行わない  答えを急がせない（結論の即時提示の抑制） 2025/5/20 テスト設計、逆から読むとおもしろい──仕様にない“望ましさ” の逆設計 6
8. テスト設計、逆から読むとおもしろい──仕様にない“望ましさ” の逆設計 具体的なチャット例：資料レビュー 2025/5/20 7
9. 2025/5/20 テスト設計、逆から読むとおもしろい──仕様にない“望ましさ” の逆設計 具体的なチャット例：サプリ相談 8
10. 2025/5/20 テスト設計、逆から読むとおもしろい──仕様にない“望ましさ” の逆設計 具体的なチャット例：jira運用アドバイス 9
11. これは人格の逆設計である  これはつまり、人格を「振る舞いから逆に定義している」  私は今回、性格、価値観、体験はほとんど設定していない  定義したのは「どう応答するか」  人間は「応答の態度の一貫性」をもって人格を感じている  望ましい振る舞いから人格が逆設計されている 2025/5/20 テスト設計、逆から読むとおもしろい──仕様にない“望ましさ” の逆設計 10
12. これはテスト設計にも応用できるのでは？  テストするプロダクトにおいても「望ましい振る舞い」があ るはず  望ましい振る舞いから、必要なテストを逆設計することが できるのではないか  通常：このプロダクトの要件は何か、何を達成したいのか  逆順：品質の高いプロダクトは、どのような望ましい振る舞い をするのか 2025/5/20 テスト設計、逆から読むとおもしろい──仕様にない“望ましさ” の逆設計 11
13. 望ましさ駆動テスト逆設計  まず、プロダクトにおける「望ましい振る舞い」を定義する  望ましさ：ユーザーの期待・信頼・安心など  定義した「望ましい振る舞い」が実装されていることを、 要件・仕様の面から検証するようにテストを設計する  要件から出発するのではなく「望ましい振る舞い」から逆順 に設計する  最終的に、テストケースの検討や要件へのフィードバックへと つなげていく 2025/5/20 テスト設計、逆から読むとおもしろい──仕様にない“望ましさ” の逆設計 12
14. 実例：モバイル決済アプリ（〜Pay）  望ましい振る舞い： 入金していたお金で一時的に足りなくなった時でも、スムーズに 支払いができたらいい  テスト設計：  以下の項目を確認する - ポイント併用の選択肢が「残高不足時」に自動で案内されること - 自動の案内に従って、ポイント併用で支払いできること - 支払い時に「後払い」の選択肢を選択できること （なければ、今後の開発要件候補としてフィードバック） 2025/5/20 テスト設計、逆から読むとおもしろい──仕様にない“望ましさ” の逆設計 13
15. その他逆設計の例  天気予報アプリの望ましいふるまい： 「傘を持っていくべきか／不要か」を即座に判断できる →ポップアップ表示など、画面からすぐわかるようになっているか  食事記録アプリの望ましいふるまい： カロリー過多の入力をした場合でも、モチベーションを下げないこと →カロリー過多の入力におけるフィードバックコメントの調整  地図アプリの望ましいふるまい： 地図の別の場所を触ってしまっても、すぐに現在地に戻れること →「現在地に戻る」ボタンの動作確認 2025/5/20 テスト設計、逆から読むとおもしろい──仕様にない“望ましさ” の逆設計 14
16. まとめ  テスト設計は仕様の正しさだけでなく「望ましい振る舞い」を 保証する活動にもなり得る  『望ましさ』は、ユーザーの期待や信頼を反映した“質的な要件”  それを逆算して設計・検証することで、仕様書に書かれていない 品質も保証できる 2025/5/20 テスト設計、逆から読むとおもしろい──仕様にない“望ましさ” の逆設計 15