テスト自動化プロジェクトを支える技術と仕組み

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Copyright © 2019 VeriServe Corporation All Rights Reserved. ０．はじめに 1 ■今回お話する内容 • ベリサーブが様々な会社さんにテスト⾃動化サービスを提供するにあたって、どんな⼯夫をしているか ■たとえばこんな場⾯で役⽴ててほしい • これからテスト⾃動化を始める • 今うまくいっていないテスト⾃動化を⽴て直す • 社内にテスト⾃動化を広める ■対象外 • 使っている具体的なツール、ライブラリの話

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Copyright © 2019 VeriServe Corporation All Rights Reserved. １１．⾃⼰紹介 4 伊藤由貴（@yoshikiito）株式会社ベリサーブ IT企画開発部⾃動テスト推進課新卒で⼊社以降、ずっとテスト⾃動化関連のお仕事。テスト⾃動化の⾃社ツールの開発 →組み込み機器・業務システム・Webアプリケーションなどのテスト⾃動化業務 →テスト⾃動化のエヴァンジェリスト業その他、ASTER正会員（2019~）/JaSST東北実⾏委員（2018~）等イマココ

Slide 6

Slide 6 text

Copyright © 2019 VeriServe Corporation All Rights Reserved. １２．会社紹介 5 株式会社べリサーブ 2001年に当時の親会社から独⽴した、現在は品質創造企業。ソフトウェアテスト、テストプロセスの診断や改善、負荷検証や脆弱性検証などなど、品質向上に関わるサービスを提供。その他特徴としては • 社員は約1000⼈の規模 • テスト対象や業種が様々。Web、モバイル、組み込み etc… • 客先常駐がメインで、短ければ⼀ヶ⽉、⻑いと数年など

Slide 7

Slide 7 text

Copyright © 2019 VeriServe Corporation All Rights Reserved. １２．会社紹介 6 ■テスト⾃動化サービス l エンジニア数名が客先常駐し⾃動テストの要件定義/トライアル/ ⾃動テストシステム構築/コーディングなどを⾏う l 依頼をいただくキッカケ • テストを⾃動化したいが何から始めればいいかわからない • ⼀度チャレンジしたが失敗したので、プロの⼿を借りたい • 既にテスト業務を請け負っているお客様からの追加依頼 orこちらからのご提案

Slide 8

Slide 8 text

Copyright © 2019 VeriServe Corporation All Rights Reserved. テスト⾃動化サービス概要 • ツール検討 • ⾃動テストシステムの導⼊可否調査 • ⾃動テストシステムの計画および構築 • ⾃動テストスクリプト開発 • ⾃動テストの保守/運⽤とレポーティング • マニュアル作成 • トレーニングトライアル⾃動テスト構築⾃動テスト運⽤お引渡し１２３ 4 実施内容 • トライアルレポート • テスト⾃動化計画/⾒積 • ⾃動テストスクリプト (テストケース数件分) • ⾃動テストシステム • ⾃動テストスクリプト • ⾃動テストの運⽤報告 • ⾃動テスト結果分析レポート • 構築、運⽤マニュアル • 保守マニュアル • トレーニング資料⼀式成果物例会社のサービス紹介資料より

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Copyright © 2019 VeriServe Corporation All Rights Reserved. ２．抱えていた問題 10 社内の横の連携不⾜常駐している場所がバラバラ、テスト対象もバラバラで、部署やチームごと個別に頑張っている状態だった。エンジニアのテスト⾃動化スキル不⾜所謂「要員ガチャ」状態。スキルが無いとテスト⾃動化のお仕事ができず、お仕事ができないと経験が積めずにスキルが⾝につかない、のループ。１２マネージャのテスト⾃動化知⾒不⾜テスト⾃動化に関する知⾒が少ないと、プロジェクトを進める上でのリスクを⾒落としたり、⾒積の精度が低かったりといった問題が起こる。３

Slide 12

Slide 12 text

Copyright © 2019 VeriServe Corporation All Rights Reserved. ２．抱えていた問題 11 ■既存の資料・概念も役に⽴つ、が・・・ • テスト⾃動化の８原則をはじめ、これまで様々な「コツ」「ベストプラクティス」「落とし⽳」「パターン」などが公開され、ナレッジが蓄積されてきた • これらも⼗分役に⽴つものではあるが、初⾒の⼈がうまく使えていない現状もあったもう少し具体的な「仕組み」化が必要と考えた

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Copyright © 2019 VeriServe Corporation All Rights Reserved. ３１．テスト⾃動化プロジェクトガイドライン策定 14 l 概要 • テスト⾃動化プロジェクトを進めるにあたって必要なことをまとめたガイドライン l 使いどころ • ベリサーブでテスト⾃動化を含むプロジェクトを⾏う際に参照 l ベース • ISTQBのTestAutomationEngineerシラバスや、社内の事例、社外の事例など

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Copyright © 2019 VeriServe Corporation All Rights Reserved. ３２．標準プロセス設定 16 過去・・・ l テストの⾃動化をしようと思うと、個々の技術要素やツールのほうに意識が向いてしまい、失敗することがあった l 「⽬的をはっきりさせましょう」など、ピンポイントでのノウハウは浸透しているが、うまく活⽤できていないテスト⾃動化をどう進めていけばいいのか全体像を明確にするために標準プロセスを設定した

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Copyright © 2019 VeriServe Corporation All Rights Reserved. ３３．テスト⾃動化エンジニアのロール・スキル定義 18 過去・・・ l テスト⾃動化プロジェクトを⾏うにあたって、どんなスキルをもったエンジニアがいればいいのかわからない l テスト⾃動化できるようになろう︕と⾔われても、何をどのくらい⾝に付ければいいのかわからないロールを設定し、各ロールに求められるスキルを定義することで l テスト⾃動化プロジェクトを⾏うために必要なロールを明⽰ l テスト⾃動化に必要なスキルを可視化

Slide 20

Slide 20 text

Copyright © 2019 VeriServe Corporation All Rights Reserved. ３３．テスト⾃動化エンジニアのロール・スキル定義 19 ロールスキル⾃動テストシステムアーキテクト CIを含めた⾃動テストシステム全体の設計ができる既存テストケースでのPOCができる POCを通じて費⽤対効果算出ができる⾃動テストレポートの設計ができるテスト⾃動化エンジニアに対して保守性を確保するための指導、施策ができる⾃動テストプロジェクトマネージャ⾃動テストシステムの要件定義ができるテスト⾃動化の計画が作れる⾃動テストシステム開発のリソース（ヒトモノカネ）管理ができるテスト⾃動化プランナーテスト⾃動化ツール選定（製品の⾃動化I/Fの⾒極め）ができるお客様テスト計画のどこをいつ⾃動化できるか⾒極められる既存テストケースのテスト⾃動化向け変換可能性を⾒極められる⾃動テストシステム運⽤エンジニア⾃動テストシステムの⽇々の運⽤ができる製品、テストケースの改変による保守ができる⾃動テストコードの構成をバージョンアップできるテスト⾃動化エンジニア担当ドメインの主たるSWがどのように動作しているかを概ね把握している製品、テストケースの理解ができる⾃動テストコードの開発ができる

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Copyright © 2019 VeriServe Corporation All Rights Reserved. ３４．社員教育 26 l 研修の開催 • テスト⾃動化関連研修を毎週 • 数⽇〜数週間の⾃動テスト集中トレーニング l 教育内容 • Pythonプログラミング, 単体テスト • Selenium＋Pythonでのテスト⾃動化 • Gitを使ったバージョン管理、Jenkins等でのCI構築 • 商⽤の⾃動テストツールを使ったテスト⾃動化など。資料は全て社内展開し、⾃学も可能（⾔語やFWは変わりうるが）これらのスキルをテストエンジニア全員が⾝に着けることを⽬指す

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Copyright © 2019 VeriServe Corporation All Rights Reserved. ４１．取り組みの主な成果 28 l 社内のノウハウ共有促進 • ガイドラインやプロセス策定にあたり、各部署のメンバーで協議し、様々なテスト対象・業種で利⽤できるものを作成 l プロジェクトの安定運営 • 例えば炎上件数がN割減った、というデータは出せず・・・ • テスト⾃動化プロジェクトに途中からJoinするメンバーのレベル底上げ l ⽂化の浸透 • 特に社員教育とロールスキル設定によって、社内でテスト⾃動化の⽂化が広まってきた • ⾮エンジニア職からもテスト⾃動化を学びたいという要望が出て、教育を⾏っている

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

テスト⾃動化ができるorやりたいエンジニアを募集していますテスト⾃動化の導⼊or改善に関するご相談をお受けします

Slide 34

Slide 34 text

本資料の著作権は株式会社ベリサーブに帰属します。弊社の同意なしに資料の全部または⼀部を複製、コピー、公表、伝達を⾏うことは著作権侵害となります。本資料からのテキスト、図版の引⽤や転⽤については弊社同意により弊社資料からの出典である旨記載し、ご利⽤をお願いします。また、会社名・製品名・サービス名は、各社の登録商標または商標です。

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Copyright © 2019 VeriServe Corporation All Rights Reserved. 1. ⼿動テストはなくならない 2. ⼿動でおこなって効果のないテストを⾃動化しても無駄である 3. ⾃動テストは書いたことしかテストしない 4. テスト⾃動化の効⽤はコスト削減だけではない 5. ⾃動テストシステムの開発は継続的におこなうものである 6. ⾃動化検討はプロジェクト初期から 7. ⾃動テストで新種のバグが⾒つかることは稀である 8. テスト結果分析という新たなタスクが⽣まれる引⽤︓テスト⾃動化研究会「テスト⾃動化の８原則」より https://sites.google.com/site/testautomationresearch/test_automation_principle テスト⾃動化の８原則