クオリティゲートの通過判断として品質特性を利用した受入テストの導入と効果

Slide 1

Slide 1 text

ウイングアーク１ｓｔ株式会社 SVFパッケージ統括部品質保証グループ伊藤潤平技術本部 BI品質統括部加藤大受クオリティゲートの通過判断として品質特性を利用した受入テストの導入と効果 SQiP 2017

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Copyright © 2017 WingArc1st Inc. All Rights Reserved. 2 会社概要  商号：ウイングアーク１ｓｔ株式会社 (WingArc1st Inc.)  所在地：〒150-0031 東京都渋谷区桜丘町20-1 渋谷インフォスタワー  創業：2004年3月  資本金：2億円  事業内容：ツール・ミドルウエア製品の開発・販売、導入支援・保守サポートサービスの提供  従業員数：連結520人／単体416人（2016年3月1日現在）  売上高：連結売上高142億8,300万円（うち単体売上高:120億5,800万円）連結営業利益38億1,400万円（営業利益率:26.7 ％）連結EBITDA56億2,800万円（2016年2月期）  取引金融機関：みずほ銀行三菱東京ＵＦＪ銀行三井住友銀行三井住友信託銀行会社情報  文雅科信息技术（上海）有限公司地址：上海市黄浦区淮海中路398号博银国际大厦15阶DE1室邮编： 200020  文雅科信息技术（大连）有限公司地址：大连市西岗区中山路147号森茂大厦20F 邮编： 116011  WingArc Singapore Pte. Ltd. 20 Collyer Quay #23-01, Singapore 049319 グループ会社本社オフィス（渋谷インフォスタワー） WingArc Singapore Pte. Ltd. シンガポールオフィス

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Copyright © 2017 WingArc1st Inc. All Rights Reserved. 4 帳票ソフトウェア製品情報エンドユーザー志向で開発されたシェアNo.1の帳票ツール帳票基盤ソリューション出典：ミック経済研究所ミドルウェアパッケージソフトの市場展望 2016年度版帳票運用製品出荷金額（メーカー出荷） 2015年度出荷金額ベース国内シェアNo.1 導入実績 19,669社最新お客様事例 ※ 19,669社にはSPAの導入実績37社を含みます。 ※累積社数（2017年2月末現在） 46.8% A社 18.9% B社 10.8% C社 10% D社1.8% その他 11.7％導入実績 94社 ※累積社数（2017年2月末現在）

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Copyright © 2017 WingArc1st Inc. All Rights Reserved. 8 ステージ制  当社の品質保証プロセスではテストレベルを「ステージ」と呼び、開発工程とテスト工程で用語を分けている  開発部門による統合テストのフェーズをαステージと定義し、 β1、β2、β3で行う評価作業を品質保証部門が実施 β1 stage α stage β3 stage RC stage β2 stage QA Evaluation Process

Slide 10

Slide 10 text

Copyright © 2017 WingArc1st Inc. All Rights Reserved. 9 品質要求をMTPに定義品質要求として品質目標を品質副特性ベースで詳細にマッピングして定義 LTP（LevelTestPlan）にてテストレベル毎の品質目標を実現するためのテストタイプを選択して定義 β1 ステージ β2 ステージ β3 ステージ RC ステージ JIS X 25010を使用したGQM手法を活用 ISO/IEC/IEEE 29119を活用した品質計画を作成

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Copyright © 2017 WingArc1st Inc. All Rights Reserved. 12 課題と課題解決への取り組み開発工程テスト工程コンポーネントテスト統合テストシステムテスト顧客受入テスト  一般的な開発プロジェクト  当社独自の受入テストを導入したプロジェクト 1Q 2Q 3Q 4Q 開発工程テスト工程コンポーネントテスト統合テストシステムテスト顧客受入テスト 1Q 2Q 3Q 4Q 工程移行判断 (Exit Criteria) 工程開始判断 (Entrance Criteria)

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Copyright © 2017 WingArc1st Inc. All Rights Reserved. 15 受入テストの導入  受入テストのテストケース品質特性 β1テストタイプテストタイプの選出テストケースの抽出機能適合性性能効率性互換性使用性信頼性セキュリティ保守性移植性 Test type A Test type B Test type C Test type D Test type E Test type F Test type A Test type C Test type F 20% from Test type A 5% from Test type C 5% from Test type F 網羅性のある品質特性をカバーするテストタイプを選出テストケースを 5～20%で抽出

Slide 17

Slide 17 text

Copyright © 2017 WingArc1st Inc. All Rights Reserved. 16 受入テストの導入  受入テストのクライテリア品質特性 β1テストタイプクライテリア機能適合性正常系 90%パス準正常系 85%パス深刻度Major以上のバグ3件以下性能効率性過去バージョンと比べ105%以内ただし100msの差は許容範囲互換性使用性信頼性セキュリティ深刻度Critical以上0件保守性移植性品質特性を活用したテストのパス率や深刻度別の不具合数による定量分析不具合の摘出傾向等による定性分析 Test type A Test type C Test type F

Slide 18

Slide 18 text

Copyright © 2017 WingArc1st Inc. All Rights Reserved. 17 受入テストの導入  当社の品質保証プロセスでは計画時に最終成果物に対する機能適合性の割合を7割未満と決めている。品質特性の割合機能適合性その他品質要件は品質特性を網羅的に定義しているため、機能適合性以外の品質特性も確保する必要がある特にβ2やβ3ステージでは弱点強化を含む信頼性の成熟性や、性能効率性の確保が重要である一般的には機能適合性に偏りがち

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Copyright © 2017 WingArc1st Inc. All Rights Reserved. 21 適応したプロジェクト  テスト戦略 β1ステージ既存部分の機能と非機能のテスト β2ステージ新機能を含む全機能の機能と非機能のテスト β3ステージ全体的なシステムテストアーキテクチャーの変更があったため既存機能部分を先行で開発されるので母体品質を確保した上で、新機能の品質を確保する。性能面ではアーキテクチャの変更に影響なく前バージョンと比較して性能劣化していないこと。

Slide 23

Slide 23 text

Copyright © 2017 WingArc1st Inc. All Rights Reserved. 22 最終成果物の品質目標の一部品質特性副特性品質目標テストタイプ機能適合性機能完全性ユーザー要望がすべて実装され、機能すること機能要件確認テストリリース確認テスト機能正確性要望機能が実装され正しく動作することタブレットにて限定機能が正しく動作すること製品統合によるインストーラーの修正にて、問題が発生しないこと既存機能テスト新機能テスト国際化テストインストーラーテスト機能適切性マイナンバー制度、e-文書法、電子帳簿保存法に関する機能が法律に対応された機能になっていること文書のライフサイクル(JIS Z 6016)の規格に対応された機能になっていることシナリオテスト信頼性成熟性過去バージョン機能が新バージョンにて動作し機能のデグレードが発生していないことリグレッションテスト可用性一定期間のロードテストを実施しシステム全体が安定していることロードテスト障害許容性障害発生時にアプリケーションが致命的な状態に陥らないこと強制エラーテスト回復性障害発生時のリカバリー動作が適切であることリカバリーテスト一つの品質目標に対して複数のテストタイプが設定されている場合は、テストレベル毎に実施するテストタイプを計画的に分けてLTPに記載している

Slide 24

Slide 24 text

Copyright © 2017 WingArc1st Inc. All Rights Reserved. 23 品質副特性ベースの品質目標品質特性副特性品質目標テストタイプ性能効率性時間効率性既存機能の測定において、過去バージョンとサーバーレスポンスタイムをと比較し劣化がなく性能目標を満たしていること検索においてUIのアーキテクチャ変更による表示速度が過去バージョンとターンアラウンドタイムを比較し劣化がないこと新機能において性能目標を満たしていることパフォーマンステスト資源効率性スレッド/メモリー/ハンドルリーク等の不当なハードウェアリソースの異常なハードウェア/OSリソースの消費がないことマシンリソースに負荷をかけた状態での動作に問題がないこと負荷テスト容量満足性一定の環境下において、一定時間内に指定された検索リクエスト数や文書検索データ作成量が達成できること。Middleレンジサーバーで大量データをアーカイブし、目標量を格納でき操作可能であることサイジングテストキャパシティテスト時間効率性や資源効率性のテストタイプは全テストレベルのLTPで計画を立て、受入テストのクライテリアは最終的に目標を達成するようなテスト運用にしている。

Slide 25

Slide 25 text

Copyright © 2017 WingArc1st Inc. All Rights Reserved. 24 テストレベルとテストタイプのマッピング品質特性 β1ステージ β2ステージ β3ステージ RCステージ機能適合性性能効率性互換性使用性信頼性セキュリティ保守性移植性既存機能テスト新機能テストシナリオテストリリース確認テスト既存機能テストインストーラテスト機能要件確認テストパフォーマンステストパフォーマンステストパフォーマンステスト負荷テスト負荷テスト負荷テストサイジングテストキャパシティテスト共存テスト相互運用テスト互換性テスト適切度認識性テストマニュアルテスト運用操作性テストユーザーエラー防止性テストリグレッションテストリグレッションテスト最終リグレッションテストロードテストロードテストロードテスト強制エラー・リカバリーテストセキュリティテストセキュリティテスト OSS確認テストログ妥当性テストプラットフォームテストインストールテストマイグレーションテスト最終メディア確認テスト国際化テスト互換性テスト β1ステージで既存部分の機能と非機能の評価を実施 β2ステージは新機能を含む全機能の機能と非機能の評価を実施 β3ステージでは全体的なシステムテストの評価を実施

Slide 26

Slide 26 text

Copyright © 2017 WingArc1st Inc. All Rights Reserved. 25 受入テスト計画の例（ β2ステージ受入テスト計画書）概要全機能について機能及び非機能検証を行い、検証が開始できる品質であるかを確認するテストタイプクライテリア抽出率新機能テスト正常系 90%パス準正常 85%パス Critical以上0件 20% 既存機能テスト正常系 95%パス準正常 90%パス Critical以上0件 15% 弱点分析テストバグなし - 強制エラー、リカバリーテスト Critical以上0件 10% セキュリティテスト Critical以上0件 13% ログ妥当性テスト Critical以上0件 15% パフォーマンステスト β1受入と比べ101%以内過去バージョンと比べ105%以内ただし100msの差は許容範囲とする 20% 負荷テストメモリリークや不適切なハードウェアリソースの利用がないこと 48時間連続稼動すること 10%

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Copyright © 2017 WingArc1st Inc. All Rights Reserved. 29 適応結果 • 新機能において深刻度の高い不具合が発生し不合格となった。 • 再受入テストでは新機能テストで新たな不具合が1件見つかり不合格となった。 • しかし受入テスト期間中のローカルビルドで即時対応されたため、対応スピードの速さから条件付き合格とした。また、条件部分のテストは正式ビルド時に実施され、修正箇所と影響範囲のテストを行い、不具合がないことで合格とした。

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Copyright © 2017 WingArc1st Inc. All Rights Reserved. 32 受入テスト導入の効果  β1受入テスト開発テストの不足が原因で基本となる既存機能の不具合が多発品質保証部門に製品がリリースされる前に開発部門内で品質を高めてもらう対策ができた。（クオリティゲートがExit Criteriaだった場合はスケジュール遅延のリスクになる可能性があった。） β1の既存機能の品質が上がったことにより、β1で予定していたテストタイプをβ2で消化することが可能だった。（テストにかかる工数が削減できるメリットがある。）

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Copyright © 2017 WingArc1st Inc. All Rights Reserved. 35 受入テスト導入の効果  最終的に Entrance Criteriaとして受入テストを実施することにより問題を把握することができる（ステージ内のテスト作業をスムーズに進めることができる。）最終成果物は品質特性を網羅した品質目標が実現できているため、製品をリリース後も致命的な流出不具合は出ていない。

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Copyright © 2017 WingArc1st Inc. All Rights Reserved. 37 今後の課題開発内で実施したテストのエビデンスを品質保証部門によるテスト工程でのインプットとなる定量データにする最終的にこの取り組みは開発メンバーへの品質教育となる品質確保のためのシミュレーション効果的にテストレベル毎の受入テストが合格品質の確保とスケジュール通りのデリバリー全体の品質改善となるメリットになる