$30 off During Our Annual Pro Sale. View Details »

SQauRE普及に向けて:品質要求JIS X 25030:2019,品質評価25040プロジェクト,および普及教材(中島毅)

SQauRE普及に向けて:品質要求JIS X 25030:2019,品質評価25040プロジェクト,および普及教材(中島毅)

中島毅, "SQauRE普及に向けて:品質要求JIS X 25030:2019,品質評価25040プロジェクト,および普及教材", スマートエスイーセミナー: システム&ソフトウェアおよびビジネスにおける知識体系と国際標準の最新動向 - 品質評価標準SQuaRE, 知識体系SWEBOK, B ABOKの解説, 2022年3月18日

washizaki

March 18, 2022
Tweet

More Decks by washizaki

Other Decks in Technology

Transcript

  1. SQauRE普及に向けて: 品質要求JIS X 25030:2021, 品質評価25040プロジェクト, および普及教材 2022年3⽉18⽇ 芝浦⼯業⼤学 情報⼯学科 中島毅

    スマートエスイーセミナーシリーズ「セミナー: システム&ソフトウェアおよびビジネスにおける 知識体系と国際標準の最新動向」
  2. 本⽇の内容 • 経産省:国際標準加速化事業 活動の背景 • 品質要求フレームワークJIS X 25030: 2021(ISO/IEC 25030:2019)

    • 品質評価フレームワーク ISO/IEC 25040 (品質評価部⾨) • 国際標準加速化事業の成果物 および SQuaRE普及のための教材
  3. 活動の背景: SQuaREの普及状況について • 規格開発側の問題意識 • ユーザ側も開発側も「品質」の重要性は間違いなく認識している • ISO/IEC 9126 およびISO/IEC

    25000シリーズは,その著名さの割に 現場での利⽤はいまいちではないか? • 特に開発者は... • 教育は受けたことがある • 知っているでも利⽤の仕⽅がわかならい • 品質保証の⼈たちの話題では? 3 より使いやすいSQuaRE,普及には何が必要なのか
  4. SQuaRE利⽤に関する調査 (2018年に実施) 4 DEV SQA SPI 品質モデル SQuaRE 1 X

    X PQ * 要求範囲の確認 * 製品のリスクの洗い出し * テスト戦略の立案 H(PQ) M(QM) M * 品質副特性の解釈が難しい => 特性の名前を変えないでほしい * 特性・副特性の定義がわかりにくい => 教材の準備 * 品質要求から品質評価までの一連の活動が理解しにくい => 25030,25040の改訂 2 X QiU * ITサービスの品質評価 規格としての権威と信頼 M L * 25010の変更により、利用者が混乱する可能性があり => 変更を最小限に抑え、修正案を利用 3 X PQ,DQ * テストケースとレビューポイン トを特定する観点として利用 規格としての権威と信頼 M L * 品質保証のためには,特性・副特性の定義が曖昧であり,解釈に多くの 労力を要している => 曖昧さを解消し、適用しやすいように例を追加するなどの改訂を行う * 測定量が特殊で様々な状況に適用できない => 測定量の定義を,各施策の一般的な考え方とその事例の2つに分け, 利用者が解釈して施策を選択・作成できるようにする * SQuaREをアジャイルプロセスに適用する方法がわからない => Agile適用事例を集める 4 X PQ,QiU Measure * テストケースとレビューポイン トを特定する観点として利用 * 副特性に対する独自の測定量を 作成 * 海外企業への品質評価依頼 品質保証のための良い網 羅度 品質とその測定量に関す る理解の共有 H L * 品質副特性には,同じテスト観点を重複してカバーしているものあり * すべてのPQRを満たすことは,すべてのQIURを満たすことを意味するの か?もしそうなら、なぜQIURsが必要なのか? * 特性・副特性の定義がわかりにくい => 副特性の例を示して,理解を容易にする => テスト観点の例はモデルの適用に役立つ可能性あり 5 X X PQ,QiU Measure * テスト観点を抽出 規格としての信頼性 ユーザ(取引先)に品質 を説明しやすい H (9126) L * すべてのPQRを満たすことは,すべてのQIURを満たすことを意味するの か?もしそうなら、なぜQIURsが必要なのか? * SQuaREの文書が多すぎて読めない。 * SQuaREの文書の構造が分かりにくく使い方がわからない => ユーザの理解を容易にするために教材を用意する * QAが業務に適用するためには、規格の安定性が重要である => 副特性の名称や定義の変更に注意を払うこと 普及度 問題点と対策案 No 利用者 利用した もの 利用目的 利用理由
  5. 経産省:国際標準加速化事業(2019-2021年度) システムとソフトウェアの品質モデルと評価に関する国際標準化 活動の柱 • 現在・将来のシステムに適合できる品質モデルへの改訂 • 品質要求・品質評価の概念・⽅法の整理 • 普及を助ける適⽤例・教材の開発 5

  6. 品質要求フレームワーク JIS X 25030: 2021 (ISO/IEC 25030:2019) 6

  7. SQuaRE の部⾨間の関係 と 品質要求・評価 品質要求部⾨ (2503n) 品質モデル部⾨ (2501n) 品質評価部⾨(2504n) 品質測定部⾨

    (2502n) ⽀援 利⽤ 利⽤ に基づく ⽀援 ⽀援 品質要求定義 プロセス 品質エンジニアリ ングプロセス 品質評価 プロセス 品質管理部⾨(2500n) 管理を⽀援 管理を⽀援 管理を⽀援 7 実際に 開発プロセスに 適⽤する部分
  8. ISO/IEC 25030:2019 品質要求フレームワークのスコープ 8 1 適用範囲 附属書(参考) 2 引用規格 A

    品質ニーズを引き出すための推奨プロセス 3 用語及び定義 B 品質ニーズを品質特性にマッピングする事例 4 略語 C 品質要求事項の明記例 5 適合性 D JIS X 0170(システムライフサイクルプロセス)との関係 6 品質要求事項の概念 E JIS X 0166(要求エンジニアリング)との関係 6.1 一般 F 利用時品質要求事項から製品品質要求事項への導出 6.2 品質要求事項の種類 G 製品品質特性間の関係の例 6.3 品質要求事項の対象 H 品質要求事項のソフトウェアへの展開及び追跡可能性の例 6.4 品質モデル及び品質要求事項の測定量 I 利害関係者−対象マトリクスの例 6.5 品質要求事項に関する重要な考慮事項 J 異なるICT製品で求められる品質レベルの例(決定表様式の使用) 7 品質要求プロセス K ITサービス品質要求事項 7.1 一般 7.2 品質要求プロセスの概要 7.3 品質ニーズの引出し 7.4 品質要求事項の定義ステップ 8 品質要求事項の利用及び統制 8.1 品質要求事項の実装に対する重大な成功要因 8.2 品質要求事項の追跡可能性 8.3 品質要求事項のテストに対する重大な要因
  9. 品質要求の定義 JIS X 25030:2021を使って 9

  10. 情報 システム ICT製品 通信設備 ソフトウェア ハードウェ ア ユーザ 1..* 1..*

    1..* ソフトウェア コンポーネント 1..* * 情報サブシ ステム * ICT コン ポーネント * * * ソフトウェア サブコン ポーネント データ * 関連環境 1..* 他の利害関 係者 * ICT コン ポーネント ICT コン ポーネント ICT コンポーネン ト ICT コン ポーネント 利⽤時品質要求(QIURs) データ品質要求(DQs) 製品品質(PQRs) 品質要求の対象の認識 (6.3箇条) SQuaREにおけるシステム階層
  11. 利害関係者からの品質要求の獲得(7.3箇条) • 品質要求の多様なソースに注意する • 最終的には要求の利⽤者がまとめる • ユーザ以外に影響をうける⼈に注意する 11 S: 情報ソース

    / U: 要求の利⽤者 / R: 関連者 利害関係者 品質要求 利用時 製品 データ ユーザ 一次ユーザ S S S 二次ユーザ S S S 間接ユーザ S S 他 の 利 害 関 係者 開発者 U S, U S, U 調達者 U U U 規制機関 S S S 社会全般 R
  12. インター ネット 対象者 情報 監視⽤ パラメータ 監視デー タ アクショ ンログ

    Android 端末 Arduino Zigbee (C) Zigbee (R) サーバ (Linux) Zigbee (R) HDMI Bluetooth 固定 センサ ウェアラブルセンサ カメラ ディスプレイ マイク・ スピーカ 3G/WiFi 3G/WiFi スマートデ バイス (temperature, pulse, acceleration) (動作(部屋), ⾳(台所), 室 温(コンロ)) 対象者 モニタ者 (対象者 / 家族 / 看護⼠) サービス会社 (運⽤保守者/ データ⼊⼒者) 適⽤対象の例: 独居⽼⼈⾒守りシステム(IoT) 独居⽼⼈の⾏動や⾝体の状態を監視・分析して種々のサービスを提供
  13. 1-1 センサ情報の 登録 1-2 対象者情報の 編集 1-3 異常の定義と 対処の設定 1-4

    モニタ者とその 権限登録 2-1 対象者のセンサ データを収集 2-2 監視と異常判定 と対処の実施 3-1 監視データの 参照 3-2 要求時のカメラ 画像撮影 3-3 TV会議の実施 5 モニタ結果の 分析と報告 4 システムの監視 と分析 管理会社 (データ⼊⼒者) 管理会社 (運⽤保守者) 契約者 (対象者/家族) 独居⽼⼈ (対象者) モニタ者 (対象者/家族 /看護⼠) ID,名前,⽣年⽉⽇, 病歴,⾝体情報, 監視場所 対象者ID 取得データ (種別,精度,単位) センサ配置状況 異常の定義 (データ,閾値)→対処 モニタ者と権限 対象者情報 対象者別 設定デー タ 対象者別 監視データ 判定ログ 対象者ID センサデータ 機器状況データ 独居⽼⼈⾒守 りシステムの ユースケース 直接ユーザと データの認識
  14. 適⽤例:直接ユーザと重要な利⽤時の品質 14 利害関係者 目標 Use case 重要な利用時品質特性(成果と結果) 独居老人 (直接ユーザ) 対象に指定された異常状

    態を検知して対処する 2-2 有効性:早期治療 信用性:正しいタイミングと結果 現在の身体状態と行動パ ターンを入手する 5 有効性:現在の身体状態と行動パターンに 関する情報から客観的な洞察を提供 家族 (直接ユーザ) 対象の正常性を確認する 3-1 3-2 有効性:いつでもどこでもターゲットの状態を 見ることができる 対象の重大な異常を通知 してもらう. 2-2 信用性:: 正しいタイミングと結果 リスク回避性: 以下のリスク *重大な異常の見落とし *些細な異常に関する不要な通知 看護士 (直接ユーザ) 対象の正常性を確認する 3-1 3-2 有効性: 遠隔看護 効率性: 患者の異常の早期通知 対象のすべての異常を通 知してもらう. 2-2 有効性:早期治療 信用性:正しいタイミングと結果 リスク回避性: 以下のリスク *重大な異常の見落とし 医師に診断を依頼するた めのレポートを作成する 5 効率性:自動レポート サービス会 社のオペ レータ (直接ユーザ) すべての機器を監視し、何 か問題がある場合は対処 する 4 効率性: システムの監視と制御 有効性: 機能不全または機能不全の前の予 防措置 システムと設備を維持し更 新する 1-1 効率性:メンテナンス活動 契約者 (直接ユーザ) 実施希望事項をサービス 会社に伝える 1-2 1-3 1-4 効率性:パラメータ入力操作 リスク回避性: 誤入力の防止 ① 利害関係者とその⽬標の認識 ② ユースケースとの対応 ③ 重要な利⽤時品質要求の識別
  15. 適⽤例:その他の利害関係者と重要な利⽤時の品質 利害関係者 目標 重要な利用時品質特性(成果と 結果) サービス会社の経営 者(間接ユーザ) 顧客満足度を向上さ せる 有用性

    信用性 インシデントを防止す る リスク回避性: 以下リスク *システムの故障や誤動作による 事故 *通常運用における事故 *プライバシの漏洩 *悪意のある攻撃による誤動作 開発者 (他の利害関係者) QCD 目標の達成 効率性:開発活動 定期的に新しい機能 を実装するためにシ ステムを更新する 効率性:メンテナンス活動 救急車 (他の利害関係者) 出動要請により救 急⾞を割り当てる リスク回避性:以下リスク 救急車の不必要な派遣の防止 15 ① その他の利害関係者とその ⽬標を識別 ② システムから受ける影響か ら利⽤時品質要求を識別
  16. 品質要求の定義(7.4箇条) 16 (3) 品質特性に対する品質要求の記述 (5) 品質測定量と要求基準により 品質要求を仕様化 (6) 品質要求の分析 (2)

    品質特性の選択 品質モデル 品質ニーズ 利⽤時品質,製品品質, データ品質の展開 (1) 品質を定義する対象の認識 (4) 品質要求の優先順位づけ (7) 品質要求の管理 品質測定量
  17. 情報システム ICT製品/データ ユーザ 他の利害 関係者 (規制組 織) QIURs PQR/DQR ユーザ

    関連環境 他の利害 関係者 (開発者, テスタ) 導出 導出 ICT製品/データ 対象外の ICT製品 /データ (ICT コ ンポーネ ント) 制約 PQR/DQR ソフトウェア/ データ 対象外のハード ウェア&通信設 備 対象外の ソフト ウェア/データ ハードウェア &通信設備 制約 導出 PQR/DQR PQR/DQR 品質要求の展開 • 利⽤時品質は,製品品質・データ品質へ展開する. • 製品品質は,サブシステム,ソフトウェア,コンポーネントへと展開する. ⼆次的⼊⼒
  18. Sensor device Actuator device Sensor device センサ デバイス IoT ゲートウェイ

    サーバ アクチュ エータ インター ネット スマート デバイス PC (Web ブラウザ) データ受信&蓄 積 監視&制御 パラメータ設定 システム管理 情報アクセス& 報告 直付け 無線接続 対象情報 監視⽤ パラメータ 監視 データ アクショ ンログ IoT 製品 情報システム 救急⾞ 開発者 他の利害関係者 サービス会社 (データ⼊⼒者) サービス会社 (運⽤保守者) 契約者 (対象者/家族) 独居⽼⼈ (対象者) モニタ者 (対象者/家族 /看護⼠) サービス会社 の経営者 適⽤例:対象の認識 (⻩⾊編みがけが対象)
  19. 利⽤時の品質 と 製品品質 の対応関係(附属書F) 19 有効性 効率性 満⾜性 リスク回避 性

    利⽤状況 網羅性 機能適合性 性能効率性 互換性 使⽤性 信頼性 セキュリ ティ 保守性 移植性 利⽤時品質 製品品質 影響 原因 ISO/IEC 25030R
  20. 適⽤例:品質要求の展開 20 利害関係 者 Use case 利用時品質 要求 製品品質要求 データ品質要求

    契約者 (直接ユー ザ) 1-2 1-3 1-4 効率:入力操作 パラメータ設定の運 用操作性とアクセシ ビリティ(Web) 監視用パラメータ の理解性 リスク回避性: 誤入力の防止 パラメータ設定の習 得性とユーザエラー 防止性(Web) 監視用パラメータ の正確性,完全 性,一貫性
  21. 品質 測定量 ⽬標値 許容範囲 評価基準 の提供 条件付き⽬標 品質(副)特性 記述する 測定する

    品質モデル (ISO/IEC 2501n) 品質測定量 (ISO/IEC 2502n) 視点の 提供 対象 エンティ ティ 品質要求の仕様化 • 対象エンティティ: XX サブシステム • 記述: 重⼤な結果を招く利⽤者の操作エラーを抑制するように, 防護がなされている.(ユーザエラー防⽌性) • 測定量: 利⽤者操作エラー回避性(UEp-1-G) • ⽬標: 1 • 尺度: 許容範囲=0.98〜1.00
  22. 品質評価フレームワーク ISO/IEC 25040 (品質評価部⾨) 22

  23. SQuaRE の部⾨間の関係 と 品質要求・評価 品質要求部⾨ (2503n) 品質モデル部⾨ (2501n) 品質評価部⾨(2504n) 品質測定部⾨

    (2502n) ⽀援 利⽤ 利⽤ に基づく ⽀援 ⽀援 品質要求定義 プロセス 品質エンジニアリ ングプロセス 品質評価 プロセス 品質管理部⾨(2500n) 管理を⽀援 管理を⽀援 管理を⽀援 23 実際に 開発プロセスに 適⽤する部分
  24. ISO/IEC 25040改訂プロジェクト(2021年11開始) • 品質評価に関する3つのドキュメント構成を提案 24 Organizational consideration Technical consideration Evaluation

    report Business context Requirements for quality evaluation Specific evaluation plan Planning Execution 25040 Concepts and planning 25041 Methods and Techniques 25042 Documentation Target entity (Measurement source)
  25. 提案する⽬次構造 25040 Concepts and planning of quality evaluation 5. Concept

    5.1 What is quality evaluation 5.2 Quality model and quality measures 5.3 Measurement source 5.4 Tasks of quality evaluation 5.5 Quality rating module 5.6 Quality criterion 6. Planning of quality evaluation 6.1 Specifying requirements for quality evaluation 6.2 Planning of quality evaluation Annex A Measurement source Annex B Examples of the requirements for quality evaluations 25041 Methods and techniques of quality evaluation 5. Flow of quality evaluation 6. Basic methods and techniques 6.1 Quality measurement setting 6.2 Rating methods and techniques 6.3 Interpretation methods and techniques Annex A Catalog of methods and techniques of quality evaluation 25042 Documentation of quality evaluation 5 Quality evaluation plan 6. Quality evaluation report Annex A Example format of quality evaluation plan Annex B Example format of quality evaluation report 品質要求の対象 ソフトウェアt -> ICT製品, データ & IT サービス 提供されること: プロセス-> 概念と計画 技法 ⽂書化 品質評価のタイプ 要求の遵守 -> 4 タイプ 現在の規格 提案する規格 25040: 2011 Evaluation process … 5. Software product quality evaluation reference model 6. Software product quality evaluation process 6.1 General requirements 6.2 Documentation 6.3 Establish the evaluation requirements 6.4 Specify the evaluation 6.5 Design the evaluation 6.6 Execute the evaluation 6.7 Conclude the evaluation 25041: 2012 Evaluation guide for (roles) … 5. Concept of evaluation from the viewpoint of each role 6. Organization level requirements and recommendations (R&R) for software product evaluation 7. R&R for developers evaluation process 8. R&R for acquirers evaluation process 9. R&R for independent evaluators evaluation process 25042 (used to be scheduled) Evaluation module
  26. 品質モデル → 品質測定量 → テスト 26 品質プロパティ(QP) (情報ニーズ) 対象エンティティ どの品質プロパティが選択さ

    れるは,システム依存 (ISO/IEC TR 12182) 稼働率 副特性 副特性 スループット 副特性 副特性 副特性 品質特性 品質特性 サーバ 時間効率性 可⽤性 信頼性 性能効率性 QM QM QM QM QM Measuremen t method ある条件下でのテスト uses 測定する 各品質副特性の 重要性が異なる
  27. 品質評価の概念: タスク,⼊出⼒,技法,リソース • 品質測定 + 品質評定 = 品質評定モジュール(パッケージ化可能な単位) • 品質分析

    : 品質評定結果の集約・統合 • 総合評価 :品質評価結果を意思決定に使⽤ (出荷可否, 製品選択・認証など) 27 品質分析 品質評定 品質測定 測定結果 対象エン ティティ 測定条件 品質測定量, 測定リソース(⼈, 設備) 評定⽔準, 評定⽅法 評定結果 評価⽬的, 評価基準, 評価⽅法 品質評価結果(OK/NG, スコア, 推奨事項) 品質プロパティごと 結果を集約・統合 (品質プロパティ →品質副特性 →品質特性 →総合品質 総合評価へ 品質評定モジュール
  28. 品質評定の例 品質評定: 品質測定値を予め設定した評定⽔準へマッピング 28 (オプション) 他の品質特性/副特定との バランスを取る場合に利⽤ 条件付合格 品質⽔準は,システムタイプ(ISO/IEC TR

    12182)や評価⽬的に依存して決まる
  29. 品質分析の例 29 Acceptable Boundary Not-acceptable Excessive quality 0.020 0.025 0.008

    Measured value satisfied unsatisfied Preset levels Measurement scale Predicted defect density MTBF (mean time between failures) unsatisfied Muturity Total evaluation Functional Suitability Score: 80 Acceptable Evaluation by quality sub characteristics Rating Score: 85 Measurement Availability Score: 70 Reliability Score: 75 : : Evaluation by quality characteristics 結果を集約・統合 (品質プロパティ→品質副特性→品質特性→総合品質)
  30. 4つのタイプの品質評価の出⼒ a) 合否 例) ⼀つでも不合格なら,総合結果も不合格 X以上なら条件付き合格 b) スコア 30 ×𝑤!"

    ×𝑤!! S(. ) L( . ) S(. ) L( . ) S( . ) L( . ) 品質測定値 品質測定値 品質測定値 level level level 品質プロパティ のスコア 品質評定 ×𝑤"" ×𝑤"! + 品質副特性の スコア + 品質特性の スコア 品質分析 ×𝑤!" システム依存(ISO/IEC TR 12182) L( . ) S( . ) レベル決定 スコア計算 重み c) 候補選択 d) 強みと弱み
  31. ⽬的別4つのタイプの品質評価 31 ⽬的別タイプ 対象 の数 利⽤モデル 期待出⼒ 品質基準のソース QiU PR

    DQ 合否 スコア 候補 選択 強みと弱み T 1 ⽐較のため の品質評価 Multipl e M M M V V V 品質要求/ ⼀般的ガイドライン T 2 品質標準の 達成の評価 Single S M M V V 政府/業界の標準 T 3 品質要求遵 守の評価 Single S M M V V 合意された品質要求 T 4 市場適合性 の評価 Single M S S V V 想定利害関係者ニー ズから導かれた品質 要求(開発中に徐々 に成⻑) M: 主, S: 副 品質評価は,⽬的に応じて適切に計画される必要がある
  32. 今後のスケジュール • ISO/IEC 25040 品質評価の概念と計画 • 2021年11⽉ プロジェクトスタート • 2022年

    7⽉ CD1 • ISO/IEC 25041 品質評価の技法 • ISO/IEC 25042 品質評価の⽂書化 • 未定 32
  33. 国際標準加速化事業の成果物 および SQuaRE普及のための教材 33

  34. 成果物の公開 Googleドライブの以下のアドレスにて公開 https://drive.google.com/drive/folders/1t6aepxURoXfko4XN_bFJjUi5 Oi2RBCMB?usp=sharing 内容: 01 製品品質特性の分類: 製品品質に関する説明 02 品質要求⼊⾨:

    品質要求に関する基礎 03 品質要求応⽤: 品質要求を書くためのガイド 34
  35. ご清聴ありがとうございました SQuaREを利⽤して,より⾼品質の製品を! 35