20260722_品質と開発生産性の相互作用

by MagicPod

Embed

Start on current slide

Slide 1

Slide 1 text

AI DevEx Conference 2026 品質と開発生産性の相互作用 NTTドコモBizDevOpsの現場から

Slide 2

Slide 2 text

目次 1. はじめに 2. 品質が開発生産性に与える影響 3. 開発生産性向上の取り組み〜NTTドコモ社における事例紹介 4. まとめ

Slide 3

Slide 3 text

目次 1. はじめに 2. 品質が開発生産性に与える影響 3. 開発生産性向上の取り組み〜NTTドコモ社における事例紹介 4. まとめ

Slide 4

Slide 4 text

本セッションの概要開発生産性向上について、テスト・品質の切り口からも考える NTTドコモ社における開発生産性向上事例開発生産性向上の取り組みが品質に対してどのような影響を与えたか

Slide 5

Slide 5 text

自己紹介 MagicPod エバンジェリスト伊藤由貴 / Yoshiki Ito QAエンジニア・テスト自動化エンジニアとして10年以上経験。テスト自動化技術の普及推進チーム立ち上げや、事業会社でのQAチーム立ち上げを経て 2025年MagicPod入社。『ソフトウェアテスト技法練習帳』共著。

Slide 6

Slide 6 text

ノーコードテスト自動化ツール AIが自動テストの作成からメンテナンスまでサポート。効果的なテスト自動化で、開発全体の効率UPへ。

Slide 7

Slide 7 text

特徴：ノーコードでテスト自動化が可能 1 要素自動検出を開始 2 3 テストステップを作成 4 テスト結果と結果詳細画面への導線画面上からテスト対象要素を選択

Slide 8

Slide 8 text

テスト作成・確認・運用をAIがサポート MagicPodは、テスト作成のMagicPod Autopilot、結果確認のAIアサーション、メンテナンスのAI自動修復の3つの機能を搭載し、自動テストの継続を強力にサポートします。テスト作成テスト結果確認テストメンテナンス MagicPod Autopilot AIアサーション AI自動修復ユーザーの指示に基づき、テスト画面の内容やテキストを理解し、 UIに変更があった場合に、AIがを自動で作成します。既存テストの従来は人間が検証する必要があっテストケース側の修正を提案・修修正などにも幅広く対応します。たテスト項目も自動化します。復します。

Slide 9

Slide 9 text

MagicPod Autopilotで自動テストを生成自然言語の指示にもとづいて、生成AIがテストを作成・編集・実行右下のボタンで MagicPod Autopilotの入力画面が開きます

Slide 10

Slide 10 text

MagicPod Autopilotで自動テストを生成利用例 ❶ ホテルの予約サイトホテルの予約サイトに必要項目を入力するテストの生成入力した指示宿泊日は2025/08/04、2泊、2人、確認連絡は希望せず、適当な名前を入力し、確認ページへ進んで宿泊予約をしてください。

Slide 11

Slide 11 text

MagicPod Autopilotで自動テストを生成利用例 ❶ ホテルの予約サイトテストステップが生成され、テスト実行まで自動で完了生成されたテストステップ

Slide 12

Slide 12 text

セッションのきっかけ MagicPod Blog記事 MagicPod Meetup発表 MagicPod Blog: 「開発生産性の3階層」で考えるQAエンジニアの事業貢献 SpeakerDeck: ドコモで実践するMagicPod活用による開発の効率化と付随して得られたもの

Slide 13

Slide 13 text

目次 1. はじめに 2. 品質が開発生産性に与える影響 3. 開発生産性向上の取り組み〜NTTドコモ社における事例紹介 4. まとめ

Slide 14

Slide 14 text

品質向上の取り組みは後回しになりがち効果が定量化しづらい「やったほうがいいこと」がたくさんある開発手法、プラクティス、組織・チームの様々な活動などなど QAエンジニア視点でのテーマ品質保証や品質向上はどのように事業貢献できるか

Slide 15

Slide 15 text

開発生産性の3階層（広木大地氏のモデル）引用：開発生産性について議論する前に知っておきたいこと

Slide 16

Slide 16 text

仕事量の生産性のみを考える危険性仕事量の生産性のみを追求すると、品質コストが増大する障害対応、不具合修正をはじめ開発部門以外も含めた負荷がかかる仕事量の生産性が上がっても期待付加価値の生産性が上がらない “品質保証の時間を削ってリリース日を守ると、障害はリリース後に一気に噴き出します。リリース後30分で20件を超える問い合わせが入るといった事態は、削った検証時間の請求書として返ってきます。 ” 引用：スピードの誤解～「速く出せば生産性は上がる」は本当か～|CodeZine（コードジン）

Slide 17

Slide 17 text

参考：品質コストの概念予防コスト “製品のデザインと開発における欠陥を防ぐ、すべての活動のコスト” 評価コスト “ハードウェア、ソフトウェア、サービスが、要求条件に合致しているかどう失敗コスト “製品が要求条件に一致しないために、いろいろな事柄に関連してかを決定するための検査、テストおよび評価を行うのに要するコスト” 発生するもの” 各コストの説明はフィリップ B・クロスビー著/小林宏治監訳『クオリティ・マネジメントよい品質をタダで手に入れる法』より

Slide 18

Slide 18 text

適切な予防コストで総品質コスト低下開発プロジェクトの成熟度が上がるにつれて予防コストは微増するが、総品質コストが減少する Herb Krasner “Using The Cost of Quality Approach for Software ” より

Slide 19

Slide 19 text

品質を上げると生産性の変換効率が高まる品質向上に関する取り組みで期待される効果の例シフトレフト、テスト自動化等による問題の早期発見→失敗コスト抑制結果、仕事量の生産性→期待付加価値の生産性への変換効率向上その先の実現付加価値の生産性の向上＝顧客への提供価値増へつなげる Point! 目先の生産性とコストを得るのではなく、品質への取り組みによってトータルの品質コストを抑制しつつ期待付加価値の生産性向上を目指す

Slide 20

Slide 20 text

目次 1. はじめに 2. 品質が開発生産性に与える影響 3. 開発生産性向上の取り組み〜NTTドコモ社における事例紹介 4. まとめ

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

自己紹介：NTTドコモ第一・第二プロダクトデザイン部シニアプリンシパルアーキテクト三井力 100超のプロダクトに対して取組み分類各取組みに関連する主な講演 ⓪ AI駆動開発、その他AI活用 Delivery AI Frontier Meet Up 2026 Cloud Operator Day 2026 ① クラウドネイティブ化、クラウドコスト効率化 Delivery 90％以上クラウドネイティブ化 2年連続10億円超削減 ② アジャイル開発・準内製化 0%⇒60％(125プロダクト) ③ SRE・オブザーバビリティ MTTA＋MTTR 76％削減 ④ アプリマーケティング・データ活用主要10アプリスコア 3.2⇒4.3 NewRelicさんの本の帯も書かせていただきました ⑤エンジニアリング組織強化の仕組み化文化、可視化、コミュニティ、環境 ⓒ2026 NTT DOCOMO, INC. All Rights Reserved. © 2008 NTT DOCOMO, INC. All rights reserved. Cost AWS Summit 2019, 2020, 2025 Enterprise-JAWS 2020 Delivery RedHat Summit 2025 US&JP MagicPod Meetup 2025 Quality Datadog Live 2026 Datadog Executive RT 2025 Value App Growth Summit 2025 DASH 2023 US Base AWS Summit 2020, 2025 DX前提社会における組織2025 33

Slide 24

Slide 24 text

開発アジリティを向上させるためのボトルネックを解消させる必要がある（AI駆動なら尚更） Enablerに事業会社社員が当事者意識をもって取り組むことでプロダクトの顧客体験価値を向上させ、プロダクトをグロースさせるグロースハックマーケティング Value Value/ Purpose 顧客体験向上プロダクトグロース社会的責任 Security Usability Delivery Cost U-QCDS 使いやすさ開発アジリティ向上コスト最適化品質向上セキュリティ向上 Enabler /Engine デザインクラウドネイティブアジャイル、準内製 Quality オブザーバビリティＡＩ活用、データ（声含む）活用当事者意識（プロダクトのグロースに対するパッション、自分達がやる） ⓒ2026 NTT DOCOMO, INC. All Rights Reserved. © 2008 NTT DOCOMO, INC. All rights reserved. 44

Slide 25

Slide 25 text

組織としてDeliveryだけでなくValueに対して総合的にアプローチ Usability データをフル活用した改善社員エンゲージメントアジャイル開発 AI駆動開発 including 試験自働化 + 運用の自動化 AIOps 行動データやお客様の声などの AI高速分析＋高速開発ループ ⇒CX向上⇒EX向上 Value Delivery Quality Cost ｱｼﾞｬｲﾙ開発率品質指標ｸﾗｳﾄﾞｺｽﾄ 60％に拡大 AI駆動開発プロダクトグロースプロダクトのグロース ⓒ2026 NTT DOCOMO, INC. All Rights Reserved. 本格開始 © 2008 NTT DOCOMO, INC. All rights reserved. 年間 ΣMTTR 83％削減リリース失敗率 0.5%以下 2年連続 10億円超削減生成AI取組効果 10.8億円減 @2026年度 55

Slide 26

Slide 26 text

開発アジリティを向上させるためのボトルネックを解消させる必要がある（AI駆動なら尚更） Enablerに事業会社社員が当事者意識をもって取り組むことでプロダクトの顧客体験価値を向上させ、プロダクトをグロースさせるグロースハックマーケティング Value Value/ Purpose 顧客体験向上 Usability U-QCDS プロダクトグロース Delivery 使いやすさ開発アジリティ向上社会的責任 Cost Quality Security コスト最適化品質向上セキュリティ向上アジャイル、準内製＋AI駆動開発 Enabler /Engine デザインクラウドネイティブアジャイル、準内製オブザーバビリティＡＩ活用、データ（声含む）活用当事者意識（プロダクトのグロースに対するパッション、自分達がやる） ⓒ2026 NTT DOCOMO, INC. All Rights Reserved. © 2008 NTT DOCOMO, INC. All rights reserved. 66

Slide 27

Slide 27 text

ボトルネックであるE2E自動試験を広めることにより開発アジリティを向上させる E2E自動試験により開発のリードタイムを短くしアジリティを向上させるアジリティ高い開発効率高い〇AI駆動開発 E2E試験 E2E試験 ★ ★ スプリント＃1 E2E試験 ★ ★ E2E試験 ★ ★ ★ スプリント＃2 スプリント＃3 スプリント＃4 ★ ★ ★ スプリント＃3 スプリント＃4 ★リリース E2E試験〇アジャイル開発スプリント＃1 ★ スプリント＃2 ★リリース △アジャイル開発 E2E試験スプリント＃1 ★ スプリント＃2 ×アジャイル開発 ★ © 2008 NTT DOCOMO, INC. All rights reserved. ★ スプリント＃3 E2E試験リードタイム長い ⓒ2026 NTT DOCOMO, INC. All Rights Reserved. ★ ★リリース 77

Slide 28

Slide 28 text

MagicPod導入理由！ • • • • • Web&モバイルアプリのE2Eテスト自動化ツールノーコードで簡単にテスト作成豊富なコマンドとメンテナンス性の高さが強み実行回数に制限なし SaaS型E2E自動試験ツールの中で低コストで導入可能シナリオ作成画面目的の領域を選択パーツをAIで自動判定 ⓒ2026 NTT DOCOMO, INC. All Rights Reserved. © 2008 NTT DOCOMO, INC. All rights reserved. 88

Slide 29

Slide 29 text

CI/CDとの連携(GitHub Actions)による自動化 GitHub Actionsと連携することでソースコードをマージするタイミングで、アプリ自動ビルド→MagicPodへアップロード→自動テストが可能になった GitHub Actions Slack通知結果通知成功時ソースコードをマージするタイミングで GitHubActionsが動くアプリのビルド、単体試験等 MagicPodへアプリをアップロード E2E試験の自動実行失敗時 ⓒ2026 NTT DOCOMO, INC. All Rights Reserved. © 2008 NTT DOCOMO, INC. All rights reserved. 99

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

AIエージェントを利用したメンテナンス効率化検証アプローチ AIコーディングエージェント＋MCPサーバによって失敗原因調査および修正案の提案独自に修正案が提示される仕組みを作成実行ログ取得分析正解率は、失敗原因分析修正案提示 73％の精度 MCPサーバ複数ケース一括分析やプロダクト仕様学習には有利 MagicPodから失敗分析機能リリース（2026.4.5）試験実行指示分析正解率は、 80％の精度失敗原因分析修正案提示 ⓒ2026 NTT DOCOMO, INC. All Rights Reserved. © 2008 NTT DOCOMO, INC. All rights reserved. 12 12

Slide 33

Slide 33 text

AIによる自動テストケース作成アプローチ MagicPod Autopilotを利用した自動テスト作成プロンプトを最適化してAutopilotで自動作成 31％試験作成稼働削減 ①プロンプト ②テストケース提示 Autopilot MagicPod MCPから既存試験を取得しプロンプト自動補正 MCPサーバ ①プロンプト 66％試験作成稼働削減 ③修正版プロンプト Autopilot ⓒ2026 NTT DOCOMO, INC. All Rights Reserved. © 2008 NTT DOCOMO, INC. All rights reserved. 13 13

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

AIコーディングエージェントと自動試験ツールの関係 AIコーディングエージェント単体試験テストコード実行 ViTEST PyTEST など Claude Codeの役割 ⓒ2026 NTT DOCOMO, INC. All Rights Reserved. E2E試験テストコード実行 Playwright Appium など・AIによるテストコード作成・テスト実行・テスト失敗時の修正コード作成 © 2008 NTT DOCOMO, INC. All rights reserved. テストプロンプト実行特にモバイルアプリの E2Eリグレッション試験で効果的！・AIによるテストプロンプト作成・テスト実行・テスト失敗時の修正コード作成 16 16

Slide 37

Slide 37 text

Slide 38

Slide 38 text

スマホアプリを提供しているプロダクトプロダクト別チーム（数百チーム）商用外形監視チーム（１チーム）モバイルアプリE2Eリグレッション自動試験 MagicPod中心にプロダクトチーム毎主要導線のみ OSSを軸に単一チームで Appium利用 (ブラウザの場合Playwright）今後さらなるAIによる効率化！ ⓒ2026 NTT DOCOMO, INC. All Rights Reserved. © 2008 NTT DOCOMO, INC. All rights reserved. 18 18

Slide 39

Slide 39 text

Slide 40

Slide 40 text

BizDevOps一体となって顧客体験価値を向上させることに注力値実の現生付産加性価売上、利益、離脱減値期の待生付産加性価 NPS,CES,TSR等生仕産事性量の DORA 4keys等新機能使い勝手向上プロダクトグロース目的 PBI 技術的負債ＢＡＳＥ SPACE等 ⓒ2026 NTT DOCOMO, INC. All Rights Reserved. © 2008 NTT DOCOMO, INC. All rights reserved. 20 20

Slide 41

Slide 41 text

目次 1. はじめに 2. 品質が開発生産性に与える影響 3. 開発生産性向上の取り組み〜NTTドコモ社における事例紹介 4. まとめ

Slide 42

Slide 42 text

まとめセッションのふりかえり前半：品質コスト低減と手戻り防止によって、品質向上→開発生産性後半：E2E自動試験導入でアジリティ向上→品質向上ポイント開発生産性と品質それぞれを正しく捉え、進めることで同時に高まる