Upgrade to Pro — share decks privately, control downloads, hide ads and more …

QA自動化プラットフォームが実現するDevTestOps - What is the De...

Dai Fujihara
February 18, 2020

QA自動化プラットフォームが実現するDevTestOps - What is the DevTestOps and QA automation platform

イベント発表資料。

今話題のQA自動化プラットフォームを活用してプロダクトの品質を向上させる事例が増えてきました。このセッションでは、QA自動化プラットフォームによってどう「DevTestOps」を実現していくのかを議論していきます。

https://mabl-japan.connpass.com/event/166229/

Dai Fujihara

February 18, 2020
Tweet

More Decks by Dai Fujihara

Other Decks in Technology

Transcript

  1. 2 Dai FUJIHARA アジャイルコーチ 経験 ◦ 現在: フリーのアジャイルコーチ /EMとして活動中 ◦

    メルカリ: エンジニアリングマネージャ( EM)、Software Engineer in Test(SET) ◦ 楽天: EM、アジャイルコーチ ◦ 某SIer: Javaエンジニア 活動 ◦ 『アジャイル開発とスクラム』寄稿 ◦ 『リーン開発の現場』翻訳 ◦ 開発コンサルティング・技術顧問 • アジャイル開発チーム支援 • SET・QAチーム立ち上げ支援 • テスト自動化導入支援 • CTOやEMのコーチング ◦ https://daipresents.com/service/
  2. 現状をとりまいているもの 5 アジャイル ・DevOps 時代に突入 タイムボックスのよるはやいリリースと フィードバック 漸進的(インクリメンタル) 正しいものを正しく作りたい アジャイル

    ・DevOpsを 支える 技術の進化 CI/CDサービスのコモディティ化 Docker, k8s の急速な広がり クラウド環境の繁栄 求められる アジャイル テスティング 従来からテストフェーズが ボトルネックになりがち アジャイルなテスティングの 事例不足・マニュアル依存
  3. 11 テスト自動化サービス比較(独断と偏見) サービス名 特徴 いいね! Mabl 2016年創業。『Agile Testing』のLisa Crispinが所 属。

    ・操作性がいい。 ・メールを挟んだテストができる。 ・開発スピードが早い Autify 2019年創業。日本で勢いのあ るテスティングプラットフォー ム。 ・見た目がわかりやすい。 ・TestRail連携など、ケース管理 ツール連携ができる。 Testim 2014年創業。大企業&グロー バル企業の利用事例が多い印 象。 ・やれることが一番多い(ように見え る) • どのサービスも「AIを生かした機能」はまだまだ発展途上な印象。より精度があがると格段に運用が楽になるはずなので超期待
  4. アクション 責任 メリット デメリット メモ QA部分を外注 (特殊領域の外注) 外部テストベン ダーなど ・お金で解決(短期なら効果的)

    ・QAエンジニアの育成やキャリア、評価に悩まな くていい(エンジニア部分に集中できる ・お金コストが増える(知識や経験が 残らないので投資にならない) ・人の質が悪い場合、管理コストが逆 にかかる ・各種大手企業によくある形 (楽天、Line、Yahoo、 DeNAなど) 自前でQA・SET組 織を作る 自社QA・SET ・自社エンジニアと密なコミュニケーションがとれ る ・ゴール設定できるためコミットメントさせやすい ・お金コスト増える(投資になるけど) ・職能が増える分、採用・育成・評価と いった運用が増える ・その職能のマネジメントも必要にな る ・メルカリ、Line、ライフル、 freee、カオナビ、メドピア、ト レタ、エムスリーなどなど激増 中 PO・ENG主体の 品質保証体制 自社エンジニア ・POが受け入れテストに責任を持つ ・エンジニア側でテストもカバーするので品質が 作り込まれる ・アジャイルテスティングの実現が可能 ・開発スピードが多少落ちる( 20%ぐ らい) ・テストの負担が辛くなりがち ・楽天トラベル、クックパッドな ど PO・ENG主体の 品質保証体制 + テ スティングサービス の利用 自社エンジニア + サービスの 活用 ・POが受け入れテストに責任を持つ ・エンジニア側でテストもカバーするので品質の 作り込みが可能に ・自動化テスト基盤の構築がいらない(クロスブラ ウザ・レポーティングなど) ・開発スピードが多少落ちる( 20%ぐ らい) ・ベンダーロックがかかる(ケースの Exportできないものもある) ・mabl, testim, autify な どを活用した企業が増えてい る 13 アクションプラン例(QA・自動化)
  5. 新しい問題:リードタイムが長くなります リリース 18 要件定義 設計 開発 before テ ス ト

    after リリー 開発 テスト ◦ 開発時間が増えるとより多くのバグが生まれやすくなり、開発に比例してテスト工数も増えます。 ◦ テストフェーズはボトルネックになりがちです。しかし、テストベンダーはテストフェーズに人を当てて稼ぐのは得意でも、テストフェーズを短くしたり、なくしてし まうのが苦手(イノベーションのジレンマ)、さらに、自動化スキル不足や関心のなさ(マニュアルテスト以外のテスト理解がない)が原因で改善が進みませ ん。 要件定 義 設計
  6. 新しい問題:責任が分断されます 19 問題: POやENGの時間がテストに取られている 解決案:テストフェーズを設置 結果: POやENGがテスト(品質)に責任を持たなくなりがち ◦ POがリリースするものをチェックしない ◦

    ENGが作ってテストせずQAにまるなげ 本来は・・・ ◦ PO: 受け入れテストを書くべき ◦ ENG: UTからE2Eレベルの確認をすべき ◦ QA: 特殊な問題以外は発見されないはず プロダクト 開発 テスト
  7. 26 CREDITS - Special Thank! ◦ 『アジャイル開発とスクラム ~顧客・技術・経営をつなぐ協調的ソフトウェア開発マネジメント』( https://www.amazon.co.jp/dp/4798129704/ )

    ◦ 『リーン開発の現場 カンバンによる大規模プロジェクトの運営』( https://www.amazon.co.jp/dp/427406932X/ ) ◦ Photo by Franck V. on Unsplash ◦ ビルドパイプライン概要 - ベリサーブナビ 2019年12月号 https://www.veriserve.co.jp/asset/approach/veri-navi/ ◦ mabl : https://www.mabl.com/ ◦ Continuous Testing in DevOps… https://danashby.co.uk/2016/10/19/continuous-testing-in-devops/ ◦ Willi Heidelbach - Passt 2 https://flic.kr/p/7P6oZm ◦ Dustin Gaffke - Spiral Staircase ~ Arc de Triomphe https://flic.kr/p/m5P8xb ◦ Presentation template by SlidesCarnival and Photographs by Unsplash アジャイルテスティング・自動化のご相談・お問い合わせは https://daipresents.com/service/ からお気軽にどうぞ。