20221117_インテリジェントなテスト自動化でチームコラボとアプリ品質を向上

2022/11/17開催のAtlassian Team Tour Tokyo 2022にて使用したスライドになります。

Transcript

1. インテリジェントなテスト自動化で チームコラボとアプリ品質を向上 Atlassian Team Tour Tokyo 2022
2. Speaker Profile odasho (Shohei Oda) Product Marketing Manager, mabl Japan 国内SIerにてインフラやPaaS App開発まで幅広く経験。その後コミュ ニティ活動をきっかけに Microsoftに入社。Evangelistとして Audience Marketingに従事。2022年10月にmablにJoinし、 TestingやQAの啓蒙活動に取り組む。現在も DevRel Meetup in Tokyoを中心に複数のコミュニティを運営 /支援。 Most DevRel Committer 2020, TechFeed Expert for DevRel
3. What's mabl? • 「めいぶる」と読みます • Stackdriver（現Google Cloud Operations）の創 業者IzzyとDanが2017年ボストンで創業 • グローバルの社員数100人+ • GV、CRV、Amplify、Vista Equity Partner、Presidio より 7,700万ドル (90億円) を調達 • 2021年度の売上、前年対比300％+増 • Fortune Globalの35社含む300社+が採用 • 2021年8月に日本法人設立 
 

4. Our Mission ソフトウェア開発ライフサイクルの全体で　　　　　　　　　マシンインテ リジェンスと人の洞察力を活用できるようにして世界中のソフトウェ ア品質に変革を起こすこと
5. Intelligent test automation platform 品質エンジニアリングという活動と、 mablでできること ノーコード/ローコード UIテ スト & APIテスト データ/インサイト提供 迅速な問題解決を支援 単一プラットフォームE2E、 API、Accessibility 顧客体験をテスト　　　 Email/PDF含むE2E 開発パイプラインに 統合し仕組み化 テストメンテナンス削減テス トの自動修復
6. Agenda 1. Observability：データを効果的に使う 2. インテリジェントなテストデータ： テストにObservabilityを追加 3. データをインサイトに変える 4. mablのインテリジェントなテスト 自動化ソリューションについて
7. What is your No.1 priority going into 2023?
 アンケートの質問 更なる自動化 データ駆動型 チームの実現 本番環境の バグ削減 チーム コラボレーション 促進
8. 
 
 Observability
 データを効果的に使う
9. What is your No.1 priority going into 2023?
 アンケートの質問 
 更なる自動化 データ駆動型 チームの実現 本番環境の バグ削減 チーム コラボレーション 促進
10. インテリジェントなテスト自動化には、アプリ ケーションテストの生産性と 効率を低コストで向上させる大きな 可能性があります。 Gartner, 2021 Optimize Application Testing Quality and Speed With Embedded Intelligent Automation Services
11. SECTION Intelligent test data そしてデータからインサイトへ
12. Intelligent Test Data
 テストにObservabilityを追加
13. What kind of test data are we talking about?
 Functional すべてのテストに 合格しているのか？ Velocity どの程度の時間をテ ストに費やしているの か？ Coverage 何をテストしているの か？ 改善しているのか？ Non-functional 高性能か？ Accessibilityは？
14. Leveraging functional test data
 アプリ全体と品質の健全性を測定： 注目すること： • テストの合格率 • 実行されたテストの数 • 結果の不安定度 (フレーキー度) • バグの頻度と重大度
15. Functional test data 9月 10月 11月 12月 1月 2月 失敗率 (％) 合格率 (％)
16. How can we measure velocity 進捗状況を測定し、 品質の水準を高める活動 注目すること： • 問題またはテストに費やした時間 • テスト自動化の割合 • その他のツール固有の測定基準 • チームの関与とパフォーマンス
17. Measuring velocity
 アクティブユーザー 9月　　 10月　　 11月　　 12月　　 1月　 2月
18. Tracking test coverage 実際のユーザーアクティビティデータを活用した 主要ワークフローに焦点を当てる 注目すること： • テストされたコアユーザー体験 • 実際のユーザーページデータ • カバーされる代替シナリオ • 継続的な検証
19. Tracking test coverage
 9月 10月 11月 12月 1月 2月 ブラウザごとのテスト実行率 (％)
20. Going beyond pass
 コア機能テスト以外のユーザーエクスペリ エンスのテスト 注目すること： • 確立されたアクセシビリティガイドライン(WCAG 2.0 AA) に対する進捗状況 • Googleのコアウェブバイタル • パフォーマンス履歴 • 視覚的な変化
21. Web Content Accessibility Guidelines (WCAG) 堅牢（Robust）: コンテンツは支援技術を含む様々な ユーザーエージェントが確実に解釈できるよう、十分 に堅牢でなければならない 知覚可能（Perceivable）: 情報およびユーザーイン ターフェースのコンポーネントはユーザーが知覚でき る方法で提示されなければならない 操作可能（Operable）: ユーザーインターフェースの コンポーネントとナビゲーションは操作可能でなけれ ばならない 理解可能（Understandable）: ユーザーインター フェースの情報と操作方法は理解可能でなければな らない 以下のアクセシビリ ティ機能を含む: ➔ 画像コンテンツのテ キストコンテンツに よる代替 ➔ ユーザーがコンテ ンツをスキップ可能 とする ➔ <b> と <i>タグを <strong> と <em> タグに代替 ➔ オーディオ・ビデオ コンテンツへ字幕 の付与 Level Aに加えて以下 を含む: ➔ コントラストレシオを 4.5:1するなどより 高度な要求 ➔ ページ上のテキスト を200%まで拡大可 能とする ➔ 入力エラーに対す る修正案の提示 最も厳しいレベルで以 下を含む: ➔ コントラストレシオ への要求は7:1 ➔ ビデオコンテンツに 事前録画された手 話の付与 ➔ キーボードのみで 全てのコンテンツに アクセスできること ➔ 9年生が読解可能 なコンテンツ Level A Level AAA Level AA (Law in many countries, Including US)
22. Why is it important? Why now? WCAG 2.xを採用 WCAG 2.xの準拠を推奨 WCAG 1.xを採用 JIS X 8341-3:2016とWCAG 2.0の内容が一致しています Source: https://waic.jp/knowledge/accessibility/
23. Jira Insights

24. Turning Insights into Outcomes
 どこでどう役に立つのか？
25. What kind of test data are we talking about?
 Functional すべてのテストに 合格しているのか？ Velocity どの程度の時間をテ ストに費やしているの か？ Coverage 何をテストしているの か？ 改善しているのか？ Non-functional 高性能か？ Accessibilityは？
26. What kind of test data are we talking about?
 Functional すべてのテストに 合格しているのか？ Velocity どの程度の時間をテ ストに費やしているの か？ Coverage 何をテストしているの か？ 改善しているのか？ Non-functional 高性能か？ Accessibilityは？
27. 80% 顧客の満足度が高いと報告する テストカバレッジの高いチームの割合 2021 State of Testing in DevOps Report, mabl
28. Handoff, made simple
 2021 Testing in DevOps Report, mabl テストカバレッジに対する迅速なバグの解決 ８時間以内のバグ解決 ほぼ不在　　 　 最低限レベル 　　　　　良い　　　　　　非常に良い 　　　　優れている テストカバレッジ
29. Impact of non-functional testing
 Severe issues 機能欠陥として大きな 影響となり得る Access for everyone 決まりであり、正しい More than a goal 良好なデザイン プラクティスでもある
30. Integrating Test Automation With Atlassian
 Mabl <> Atlassian
31. Mabl & Atlassian
 JIRA オープンなDevOps テスト自動化を 開発ワークフローに 簡単に統合 BAMBOO MABL BITBUCKET
32. Bi-directional communication: A world of possibilities
 • 双方向コミュニケーション • テスト失敗ステップから問題を作成し、すべ ての診断データを添付する • Jira チケットは、計画、テスト、 および直近の実行にリンク
33. Rich diagnostic data for your Jira tickets

34. Linking mabl tests to existing issues

35. Free 2-week trial, ready to go now! トライアルは無料。納得行くまで機能をお試しください。 デモリクエストも大歓迎！ 技術トレンドや実事例を交えたMTGもお気軽にどうぞ！ mabl.com/trial
36. Key takeaways
 自動テストは DevOps の成功の 鍵を握る インテリジェントな自 動化には大きな 可能性がある テストデータは チームの自信向上を 助ける 信頼は顧客の幸 福度に影響する
37. Thank you! You can connect at... odasho (Shohei Oda) Product Marketing Manager, mabl Japan • Twitter: odashoDotCom • Facebook & Instagram: odasho0618 • LinkedIn: odasho