IV&Vの概要 ～JAXA様発行「IV&Vガイド【虎の巻】」第１～２部の要約～

2014/4/21開催のテスコミュ勉強会向けの資料。

Transcript

1. IV&Vの概要 ～JAXA様発行「IV&Vガイド【虎の巻】」第１～２部の要約～ 第１２回テスコミュ勉強会資料（2014/4/21） 池田 暁
2.  本スライドはJAXA様発行の「IV&Vガイドブック【虎の巻】」の読書 会のために作成されたものです  読書会実施の際はガイド本体と合わせてお使い下さい  全体の進行は本スライド，詳細を適宜ガイドブックで確認と想定  本内容は基本的に同ガイドブックの第１～２部を要約したもので， 用語も同ガイドブックに合わせてあります  第１～２部の詳細および第３部についてはガイドを参照ください  スライド内の文章や図表の多くはガイドから引用しています はじめに 謝辞 有益なガイドを公開いただきましたJAXA様に感謝いたします IV&Vガイドブック【虎の巻】： http://repository.tksc.jaxa.jp/help/pdf/24FY/SP-12-016.pdf 2014/4/21 2
3. 「第１部 基礎知識編」の要約 まずはIV&Vの前提となる知識をおさらいし， IV&Vの概要を理解しましょう 2014/4/21 3
4.  ソフトウェア独立検証と有効性確認 （Independent Verification & Validation）  非常に高い品質を求められる分野で導入されている  V&Vを超える品質が求められる際に導入  主に航空宇宙分野（JAXAやNASA）  V&Vを実施している組織に対して，組織外の独立した別の組織 が有効性確認を行う  IV&Vの3つの独立（Independent）  技術的  組織的  資金的 IV&Vとは 2014/4/21 4
5. ソフトウェア開発モデル -V字型モデル 要求分析 基本設計 詳細設計 単体試験 ソフトウェア制作 機能試験 結合試験 システム試験 品質を作り 込む段階 品質を検証 する段階 時間の流れとともに各プロセスが順番に進むので，開発進捗，コスト，品質 を把揜しやすく，マネジメントしやすい。 システムが複雑になるほど手戻りが発生しやすくなる。 2014/4/21 5
6. ソフトウェア開発モデル -W字型モデル 要求分析 基本設計 詳細設計 単体試験実施 ソフトウェア制作 機能試験実施 結合試験実施 システム試験 実施 システム試験 設計 機能試験設計 結合試験設計 単体試験設計 デバッグ・修正 デバッグ・修正 デバッグ・修正 開発の初期段階から試験設計を行うことで，要求や設計の抜け，漏れ，曖 昧な点，矛盾点などを見つけることが可能になる。 設計プロセスで仕様変更が発生した場合，同時に試験設計の見直しも必 要になる。 2014/4/21 6
7.  Verification & Validation：検証と妥当性  Verification：検証  各プロセスの開発中間成果物が前のプロセスからの入力情報に照らし 正しく作られているかを確認すること  ガイドでは「評価対象ソフトウェアのライフサイクルを通し，上流プロセス の成果物から下流プロセスへの要求トレースが可能であり，それらが内 容を含め整合していることを検証すること」と定義  Validation：妥当性  各プロセスの開発中間成果物がユーザの期待するとおりに作られてい ることを確認すること  ガイドでは「評価対象ソフトウェアが最上位要求であるミッション要求， 安全要求，運用要求から求められる機能，性質及び品質を満足してい ることを確認すること」と定義 V&Vとは 2014/4/21 7
8. V&Vの特徴（検証と妥当性確認のイメージ） ソフトウェア制作 ソフトウェア設計 ソフトウェア試験 システム試験 検証 検証 検証 検証 ソフトウェア要求分析 システム設計 検証 検証 妥当性確認 妥当性確認 妥当性確認 ライフサイクルの早い段階で欠陥を検出・除去することが可能となる。 実施技術として，ソフトウェア試験，レビュー，静的解析，モデル検査など。 システム要求分析 2014/4/21 8
9.  ソフトウェア独立検証と有効性確認 （Independent Verification & Validation）  非常に高い品質を求められる分野で導入されている  V&Vを超える品質が求められる際に導入  主に航空宇宙分野（JAXAやNASA）  V&Vを実施している組織に対して，組織外の独立した別の組織 が有効性確認を行う  IV&Vの3つの独立（Independent）  技術的  組織的  資金的 再掲：IV&Vとは 2014/4/21 9
10. IV&Vの実施組織と関係 開発成果物 （ソフトウェア 要求仕様書 等）を提供 IV&Vにより発見された問題 点，改善提案などの処置に 対する最終決定権を所持 IV&Vを計画し，実施 発注者 問題点，改善 提案などを精 査し，提示 IV&V実施者 受注者 開発成果物を 提示 IV&V実施者から提示された 問題点，改善提案などの処 置を検討・実施 窓口として調整 2014/4/21 10
11.  技術的独立  ソフトウェアを評価するIV&V技術は，受注者が使用する技術とは別 の技術を選択する  組織的独立  受注者とは独立した組織にてIV&Vが実施される  作業量（工数）が受注者から分離されている  IV&Vを行うソフトウェア対象，IV&V技術，スケジュールと解決すべき 課題を独立的に選択する  資金的独立  資金は受注者とは独立した組織から提供される ３つの独立（Independent） 2014/4/21 11
12. IV&Vの実施イメージ ソフトウェア制作 ソフトウェア設計 ソフトウェア要求分析 システム要求分析 ソフトウェア統合試験 コンピュータシステム 総合試験 ソフトウェア V&V 検証および 妥当性確認 システム開発 ソフト開発 システム 仕様書 要求仕様書 設計書 ソースコード 手順書記録 手順書記録 解析・評価 解析・評価 解析・評価 解析・評価 検証 有効性確認 解析・評価 解析・評価 解析・評価 解析・評価 解析・評価 ソフトウェアIV&V 2014/4/21 12
13.  IV&VではIV&V実施者が受注者が作成した開発成果物を独自 の観点でチェックし，結果を一覧表に整理して共有する  一覧表には次の内容が記述される 1. 期待問題点の判断材料（参照した仕様の内容／事実） 2. 期待される判断材料の関係（期待値） 3. 現状の関係（結果） 4. 期待する対処（対処案） 5. リスク 6. 備考 IV&Vで識別された問題点の共有 2014/4/21 13
14.  識別した問題点から特に重要度の高い物を識別する  その際，識別された問題点が，ある時点（システム運用開始以 降など）で顕在化した場合において以下のようなことを考慮する  恒久的な対処は可能か？  恒久的な対処完了まで，代替機能などによる一時対処は可能か？  その問題により導かれる結果の損失の度合いは高いか？  その問題により発生する手戻りは大きいか？  その問題を修正する範囲は広いか？ 識別された問題点の重要度・レベル付け 2014/4/21 14
15.  技術的欠陥の抽出  上流プロセスの欠陥を発見できる可能性が高まる  システム挙動の矛盾や重要機能の欠落など  開発成果物の品質向上  第三者が成果物を見る・検証するということから，開発担当者が「き ちんと開発しなければならない」と意識高揚することが期待できる  品質の可視化  より高いレベルでの可視化が可能になる IV&Vの定性的な効果 2014/4/21 15
16.  受注者によるV&Vの後に一括してIV&Vを行う  要求分析や設計などのプロセスで発生する変更点に対するIV&V評 価（変更評価IV&V）は行われない  受注者によるV&Vの結果や内容をまとめて知ることができる  V&Vでの検証内容との重複を避けることができ，IV&Vの成果を明確に できるような計画の立案や実施が可能となる  IV&Vで問題が発見された場合，手戻りが大きく，また根本的な対応 が難しくなる IV&Vの実施時期 一括IV&V方式 要求分析 設計 制作 試験 受注者（V&V） IV&V実施者 IV&V計画 実施 2014/4/21 16
17.  プロセスごとにIV&Vを行う  プロセスごとにIV&Vが行われるため，早期に問題点を発見し，修正 することができる  試験IV&V実施後に変更点評価IV&Vを実施する  各プロセスのIV&Vでの実施後に発生したすべての問題点に対して変 更転換の整合性，開発仕様全体の整合性，変更点の妥当性や正確性 を確認する IV&Vの実施時期 逐次型IV&V方式 要求分析 設計 制作 試験 受注者（V&V） IV&V実施者 IV&V 計画 要求分 析IV&V 設計 IV&V 制作 IV&V 試験 IV&V 変更点評 価IV&V 2014/4/21 17
18. IV&Vに必要なコスト IV&Vで指摘された問題点 に対する修正コスト IV&Vに適した プロジェクト 一括 IV&V方式 低 高 新規開発要素：小 ソフトウェア規模：小 • 受注者のV&V結果を踏ま えたIV&Vを実施できる • 変更点評価IV&Vを行わな くても良い IV&Vで指摘された問題点 を修正するための手戻りは 大きい 逐次型 IV&V方式 高 低 新規開発要素：大 ソフトウェア規模：大 • 要求分析，設計，製作，試 験のつどIV&Vを計画，実 施する • 各プロセスの変更点分だ け評価量（コスト）が増える • 受注者のV&V結果を使え ない分だけ評価範囲（コス ト）が増える • 変更点評価IV&Vを行う必 要がある IV&Vで指摘された問題点 を修正するための手戻りは 小さい 一括IV&V方式と逐次型IV&V方式の比較 2014/4/21 18
19.  実施組織の構築  IV&V実施者は全社的な組織として設置することが理想  IV&Vに対する権限と活動資金は全社から付不される必要がある  評価観点の構築  ソフトウェアをどのように評価するか観点を定める必要がある  整合性，妥当性，正確性，完全性，安全性  評価手法の選定  評価対象が決まった段階で次のことから最適な評価技術を選定する  評価対象の複雑度や分量を確認する  評価対象の仕様が複数の開発成果物に渡って記述されているか  IV&Vを行える期間が短期か，長期か IV&Vを実施するためには 2014/4/21 19
20. 「第２部 導入編」の要約 IV&Vを導入するために， IV&V活動の作業の流れを理解しましょう 2014/4/21 20
21. 受注者 発注者 IV&V実施者 IV&V活動全体の流れ 関連資料 評価対象文書 ①IV&V実施の検討 実施レベル， 予算 ②IV&V実施計画の立案 実施計画書 ③IV&V作業（評価）の実施 ④IV&V作業（問題点の識別・処置結果の確認）の実施 識別した問題 点の一覧 評価対象文書 の改訂版 ⑤IV&V評価結果の報告 評価報告書 作業記録シート 2014/4/21 21
22.  IV&V実施の検討は「実施レベル」と「予算額の算定」，およびそ れらの実施の有無を判断する ①IV&V実施の検討 IV&V実施レベルの検討 IV&V予算額の検討 IV&V実施の検討 プロジェクトの影響度と予算規模の２つの観点で検討する １．プロジェクトの影響度（プロジェクトが失敗した場合の影響がどのくらいの範囲に及ぶか）を検討する ２．プロジェクトの予算規模を対象となるソフトウェアの複雑度や過去の実績から検討する ３．１と２からIV&Vレベルを検討する（ガイドp.20，図2-3にレベル決定図有り） 実施規模と実施レベルに対応して予算を見積もる IV&Vの実施の可否を検討する IV&V実施タイプ（実施規模，実施レベルなど）を詳細に検討し，予算シミュレーションも行う 2014/4/21 22
23.  IV&V実施検討の結果から実施タイプに応じて計画を立てる ②IV&V実施計画の立案 IV&V実施計画の検討 IV&V実施計画書の作成 IV&V実施計画書の議論・承認 １．現段階での開発状況を確認し，IV&V実施範囲を検討する ２．IV&V実施に関連する文書を収集する ３．関連文書を確認する ４．評価対象を明確化する １．評価対象の開発成果物，及び参考となる開発成果物を読み込み開発仕様の全体像を把揜する ２．１で確認した評価対象の開発成果物の内容とIV&V評価観点によってIV&V評価作業内容を検討する ３．評価対象の開発成果物を参照しながら，実施計画書の作業項目に示された評価内容を具体化する ４．３．で具体化した内容をもとに，受注者と調整して作業スケジュールを作る ５．設定した観点の数の分だけ，手順３と４を繰り返す ６．５．の結果を使用して実施計画書を作成する（評価手法，ツール，工数，作業のスケジュール） １．IV&V実施計画書を発注者がレビューする ２．１でのレビュー結果をもとにIV&V実施者が実施計画書を更新する ３．発注者・受注者・IV&V実施者の間で合意を得たIV&V実施計画書を発注者が承認する ５．IV&V評価の概要を検討する ６．IV&V評価観点を設定する ７．評価対象を設定する 2014/4/21 23
24.  IV&V作業（評価）を実施する ③IV&V作業（評価）の実施 評価作業の準備 評価作業の実施 １．IV&V作業計画書の作業項目に対して，対象文書及び参照文書から評価対象（機能，モード遷移， インタフェース仕様など）の記述箇所を識別する ２．IV&V実施者が，作業項目，評価対象，および評価観点から評価手法（使用するチェックリスト， モデリング手法，モデル検査手法など）を設定する ３．IV&V実施者が，作業結果を記入するための作業記録シートを作成する IV&V実施者が設定された評価手法によってIV&V評価を実施し，その結果を作業記録シートに記入する 2014/4/21 24
25.  IV&V作業（問題点の識別・処置結果の確認）を実施する ④IV&V作業（問題点の識別・処置結果の 確認）の実施 識別した問題点の一覧作成 処置結果の確認 １．受注者の開発担当者と作業記録シートの結果について質疑応答を実施し丌明確な点を明確にする ２．識別した問題点の一覧を作成する ３．識別した問題の一覧を受注者に提出する 受注者は一覧の項目について回答を行い，「回答済みの識別した問題点の一覧」と改定済み文書を 作成する １．「回答済みの識別した問題点の一覧」と改定済み文書の提出を受けてIV&V判定を実施する 判定は発注者・受注者・IV&V実施者で実施され，提出された文書に対して再度評価作業を実施して， 識別された問題点が解消されているかを確認する ２．問題が解消された場合，処置結果の確認を終了する ３．問題が解消されていない場合，解消されるまで処置結果の確認を繰り返す 2014/4/21 25
26.  IV&V活動全体を報告する ⑤IV&V評価結果の報告 IV&V評価報告書の作成 IV&V評価報告会の実施 処置結果を確認し，IV&V評価報告書を作成する １．IV&V実施者・発注者・受注者間で，報告会の日時場所を調整する ２．IV&V実施者が報告会を実施，IV&V評価結果は注射と受注者に報告し，またを以下についても確認 する ・評価内容の報告 ・評価結果の報告 ・識別された各問題点と，その処置方針・処置結果の認識合わせ ３．発注者・受注者・IV&V実施者の三者が報告内容について合意する また，発注者と受注者が問題点の処置方針・処置結果について合意し，IV&V評価報告会議事録を 作成する 2014/4/21 26
27. ディスカッション 以上の要約を踏まえ， 丌明点や疑問をガイドブックを確認しながら議論しましょう 2014/4/21 27
28. Thank You. お疲れ様でした，IV&Vの概要は理解できましたか？ 使える場面に遭遇したら是非実践しましょう！ また，ガイドについてフィードバックできることがあれば積極的に！ IV&Vの概要 ～JAXA様発行「IV&Vガイド【虎の巻】」第１～２部の要約～ 第１２回テスコミュ勉強会資料（2014/4/21） 池田 暁 2014/4/21 28