The Era of Intelligent Testing

mablは、ソフトウェアチームが開発ライフサイクル全体にわたって信頼性の高いテストを実施できる最先端のインテリジェントテスト自動化ソリューションです。開発チームは継続的なデプロイを通じて開発速度を上げていますが、使用しているQAツールのペースが追いついていません。 DevOps（デブオプス）用に構築されたmablは、アプリケーションの品質を損なうことなく、企業がイノベーションをより迅速かつ加速度的に提供できるようにします。直感的なユーザーインターフェイスとAIテクノロジーにより、mablは継続的なテストを簡単かつスケーラブルにします。

https://www.mabl.com/note-mabl

Transcript

1. インテリジェント
 ソフトウェアテストの時代 2020年年2⽉月 1
2. ようこそ! Izzy Azeri mabl共同創業者 www.mabl.com izzy@mabl.com 2
3. チームがユーザーに ⾼高品質の
 ソフトウェアを
 迅速に提供
 できるように
 すること。 3 mablの
 ミッション
4. アジャイルチームの運⽤用と⽀支援に関する15年年以上の経験
5. 本⽇日の内容 5 ▪ QAの世界で起きているさまざまな変化とイノベーション ▪ すでに実現しているもの ▪ 今後予想される進歩 ▪ エキサイティングな未来
7. いまQAが熱い 7
8. 品質基準の上昇 8
11. 11 「前例例のない」変化の時代
12. DevOpsには効果的な
 テスト⾃自動化が不不可⽋欠 12
13. mabl UI: 1週間で最⼤大100のコミット
14. パイプラインを動かし続けることが必要 ビルド テスト デプロイ デプロイ デプロイ コーディング テスト テスト QA ステージング 本番稼動 テスト 14
15. !15 テスト コミット デプロイ
16. 時代に遅れないためにツールと
 ⽅方法の進化が必要 16
17. - Fortune 250企業のQA責任者 「開発サイクルはどんどん短くなり、
 新機能がかつてないペースで
 登場しています…テストのための
 時間はまったく⾜足りません。」
19. 問題を解決する意欲はあるか? 19
20. QA企業の設⽴立、買収、売却 20 年年 会社名 活動 取引額 (未検証) 2017 SmartBear 買収 4億ドル 2017 Tricentis シリーズB 1億6,500万ドル 2017 mabl シリーズA 1,000万ドル 2017 Applause 買収 不不明 2018 RainforestQA シリーズB 2,500万ドル 2018 Browserstack シリーズA 5,000万ドル 2018 Perfecto 買収 2億ドル 2018 Test.AI シリーズA 1,100万ドル 2018 mabl シリーズB 2,000万ドル 2018 Applitools シリーズC 3,100万ドル 2019 Functionize シリーズB 1,600万ドル
21. ⾃自動化をもっと⾼高速かつ
 容易易にすることが必要 21
22. クラウドでテストが⾼高速化 22
23. テストの⾼高速化が必要 ビルド テスト デプロイ デプロイ デプロイ コーディング テスト テスト QA ステージング 本番稼動 テスト 23 1,500のシナリオ 3つのターゲット 1⽇日3回
24. クラウド=同時性=スループット 1⽇日の間に必要な最⼤大の同時性 1,500 15,000 100,000
25. オンデマンドコンテナー/VM クロスブラウザーはやはり…
 おもしろい リソースのボトルネックなし 柔軟なスケジューリング 運⽤用のオーバーヘッドなし データ、データ、データ クラウドでのテスト実⾏行行 25 ▪ • 
 ▪ ▪ ▪ ▪
26. インテリジェンスが
 ⾃自動化を容易易にする 26
28. 当社は⾃自動化を成功させる⽅方法を知っています。 インサイト 可視性 ⾃自動化 インテリジェンス
29. 可視性
30. インサイト
31. インテリジェンス
32. マシンインテリジェンスの向上 ⾃自動化
33. インテリジェントテストの時代 33 ✔ テストをクラウド上で実⾏行行 ✔ テストの作成が容易易 ✔ 変更更に応じたシームレスなテスト修正 ✔ テストからインサイトが得られる ✔ テストソリューションがCI/CDパイプラインの⼀一部
34. 34 「AIと機械学習をQAに適⽤用することは、ビジネス⽬目標の達成に
 役⽴立ちます…テストターゲットの変更更に合わせて修正可能な
 継続的テストを実現するための、インテリジェントで
 ⾃自動化された統合アプローチが不不可⽋欠です。 このようなアプローチに投資しない限り、⼤大規模なデジタル変⾰革は
 実現できません。 」 出典: Predicts 2018: Application Development
35. ⾃自動化されたテストの
 作成とメンテナンスが容易易 35
36. スマートなテスト作成 36 ▪ スクリプトが不不要 ▪ 意図の把握 ▪ 複数のセレクター
37. 37 85% ⾃自動化されたテストの作成時間の短縮
38. 38 ⾃自動修復復によりメンテナンス作業を軽減 テストを⾃自動修復復しました M-023 Sign up for mabl with email verificationの要素
 プロパティに重⼤大な変更更が検出されました。 可能性の⾼高い⼀一致を使⽤用するようにテストを修正し、実⾏行行は 正常に完了了しました。変更更を確認して、正しくない場合は
 元に戻すことができます。
39. 39 90% テストメンテナンス労⼒力力の削減 *2019年年のmablの顧客調査に基づく
40. クラウドを利利⽤用したテスト実⾏行行 40
41. テストからのインサイトの増加 41
42. 42 DOM
 スナップショット
43. 43 httpアーカイブ
44. Chrome
 トレース 44
45. クラウド+データ=インサイト 45
46. パフォーマンス分析 46
47. 視覚的変更更の検出 47
48. 48 モデル主導の
 変更更検出
49. 49 50% 回帰サイクルの短縮
50. インテリジェントテストの今後 50
51. 51 「15,000回もテストしたんです。 
 なのになぜ本番稼動で不不具合が
 起きるのでしょうか?」
52. !52
53. 53 ここでユーザーが何をするか教えてください
54. ユーザーが実際に何をしているかを教えてくれる
 ツールがあったら… 54
55. Journey Name Starting URL Path Traffic Priority Coverage Sign up /signup High High Low Check out /checkout Low High None Home / High High Medium Delete Plan /plan Low Low Low New User /users Low Medium High Upgrade account/upgrade Low High High 55 主なユーザー⼿手順に対するカバレッジの改善
56. 56 カバレッジの改善 (続き)
57. 強化された⼿手動/予備テスト 57
58. 2つのアサーション - オンボーディング - ログイン Exploratory Mode Visual Change Coverage Usage Bug Reporting END SESSION Exploratory Mode Visual Change Coverage Usage Bug Reporting END SESSION
59. パイプラインのスマート化と統合化 59
60. パイプライン内のインテリジェンス ビルド テスト デプロイ デプロイ デプロイ コーディング テスト テスト QA ステージング 本番稼動 テスト 60
61. パイプライン内のインテリジェンス ビルド テスト デプロイ デプロイ デプロイ コーディング テスト テスト QA ステージング 本番稼動 テスト 61 ▪ テストは合格したか? ▪ エラーはあるか? ▪ 何が変化したか? ▪ 効果的なカバレッジはあるか? ▪ 変更更をレビューしたか? ▪ パフォーマンスは良好か? ▪ 変更更のリスクはどれくらいか?
62. インテリジェントなデプロイメント⾃自動化 ビルド テスト デプロイ デプロイ デプロイ コーディング テスト テスト QA ステージング 本番稼動 テスト 62 ▪ リスクベースのテスト ▪ リスクベースのデプロイメント ▪ 根本原因分析の⾃自動化 ▪ ロールバックの⾃自動化
63. ⼤大規模環境では分析がさらに重要に 63
64. 64 適切な対象への注⽬目 ▪ 現状は問題ないか? ▪ 何が正常か? ▪ 何が変化したか? ▪ 何が重要か?
65. 65 テストメンテナンス作業の優先順位付け データの可視化
66. 66 テストメンテナンス作業の優先順位付け モデル主導の分析
67. 67 クラスター分析
68. 最後に重要なのは常に⼈人 68
69. コーディング PR マスター QA ステージング 本番 DevOpsは現実1 ソフトウェアのテスト⽅方法の根本的変化1
70. すべてがシフトレフト ビルド テスト デプロイ デプロイ デプロイ コーディング テスト テスト QA ステージング 本番稼動 テスト 70
71. 71 新時代への参加
72. 72 「私たちは常に、
 今後2年年間に起きる変化を
 過⼤大評価し、
 今後10年年間に起きる変化を
 過⼩小評価しています。 」
73. 重要な話題 73 ▪ テスト担当者はどのようにシフトレフトするか? ▪ テスト担当者の新しい職務記述とは? ▪ オープンソースフレームワークは新時代にどのような役割を果たすのか? ▪ 垂直統合とクラス最⾼高のツールの間の最適なバランスは? ▪ テストはどの程度決定論的で独⽴立なのか?
74. 74 次の仕事のための最⾼高のツールを検討 ▪ クラウドベースのテスト ▪ スクリプトレス⾃自動化 ▪ ⾃自動修復復 ▪ ビジュアルテスト ▪ パフォーマンステスト ▪ 実ユーザー監視 ▪ 強化された予備テスト ▪ インテリジェントなデプロイメント ▪ カバレッジ分析 ▪ よりスマートなワークフロー⾃自動化 ▪ 分析主導のインサイト ▪ ファジング、ランダム化、
 クローリング
75. 75 ロードマップの作成
76. この時代を
 楽しもう! 76 ありがとうございました。