AI が自動テストの分野でどのように使われるのか

Transcript

1. OnlineTestConf Japan - 07/12/2019 AI が自動テストの分野でどのように使われるのか
2. Sam Yamashita (@sota0805) Co-Founder and Engineer Alchemist Accelerator class XX Node.js i18n WG 2
3. 3 Photo by Marvin Esteve on Unsplash 今回のプレゼンでは AI/ML の詳しい アルゴリズムについては話しません 話さないこと
4. 4 目次 1. アジャイル開発におけるテストの問題点 2. AI はただのバズワード？ 3. AI をどのようなアプローチで問題を解決するのか？ 4. テスターに対して、AIがどのような影響を与えるのか？
5. 5 1. アジャイル開発における テストの問題点 すばやく開発・リリース・改善のサイクルを回し てプロダクトを改善する際のテストの問題点につ いて説明します。 Photo by İrfan Simsar on Unsplash
6. 6 Agile DevOps Photo by Amy Elting on Unsplash
7. 7 Graph: How AI is Changing the Future of Software Testing
9. 9 11.6 秒ごとにデプロイ 
 1日 1000 回のデプロイ 
 具体的には？
10. 10 マニュアルテストがボトルネックに よし自動化だ！
11. 11 Graph: The Chasm 自動化テストを達成する際に遭遇する問題 初期値 メンテ 作成 スキル スケール
12. 12 2. AI はただのバズワード？ AI で様々な問題を解決しようとしていますがそ れはただの流行り乗っているだけなのか？につ いて説明します Photo by Rock'n Roll Monkey on Unsplash
14. 14 AI とは？ 定義 人工的に作られた人間のように振る舞うシステム それぞれの立ち位置 人工知能 機械学習 深層学習 “I believe this artificial intelligence is going to be our partner. If we misuse it, it will be a risk. If we use it right, it can be our partner.” - Masayoshi Son, a SoftBank founder 

15. 15 “ “AI technologies will be in almost every new software product by 2020.” — Gartner 100 Data and Analysis Prediction Through 2020
16. 16 YES NO Graph from World Quality Report 2018-19 (WQR) 12ヶ月に以内に AI を活用する予定はあるか？
17. 17 3. AI がどのように問題を 解決するのか？ AI が今抱えている問題をどのような方法 で解決するのかについて説明します Photo by Júnior Ferreira on Unsplash
18. 18 問題へのアプローチ方法 1. テスト作成 - 要素をコンテキストで特定する - すべてのパスを自動で生成する - 今後の問題 2. テスト実行 - 実行するシナリオの優先度を決める 3. テストメンテナンス - セルフメンテナンス - セルフヒーリング - コンピュータビジョン
19. 19 問題へのアプローチ方法 1. テスト作成、要素をコンテキストで特定する find_element_by_css_selector(button)
20. 20 問題へのアプローチ方法 1. テスト作成、要素をコンテキストで特定する find_element_by_css_selector(“ai: signup”) コンテキストを理解 ↓
21. 21 問題へのアプローチ方法 1. テスト作成、すべてのパスを自動で生成する Photo by SOFY.AI
22. 22 問題へのアプローチ方法 1. テスト作成、今後の問題 • ボットへの教師データはどうするのか？ • 教師データにもとづくボットの動作を管理するのか？ • モデルを改善することに終わりがなく、 継続的にどのようにボットを改善していくのか？
23. 23 問題へのアプローチ方法 1. テスト作成、今後の問題 • ボットへの教師データはどうするのか？ • 教師データにもとづくボットの動作を管理するのか？ • モデルを改善することに終わりがなく、 継続的にどのようにボットを改善していくのか？
24. 24 問題へのアプローチ方法 2. テスト実行、実行するシナリオの優先度を決める プロダクト大きくなってテスト実行時間が増えると 結局それがボトルネックになってしまう 必要最低限のテストだけを回すようにする。
25. 25 問題へのアプローチ方法 2. テスト実行、実行するシナリオの優先度を決める 必要最低限のテストだけを回すようにするために考えること： • この変更によってどのリグレッションテストを回すべきなのか？ • この変更によって失敗したテストは本当にこの変更が原因なのか？ • などなど多くのことを考える必要がある
26. 26 問題へのアプローチ方法 2. テスト実行、実行するシナリオの優先度を決める 必要最低限のテストだけを回すようにするためのデータ例 • 過去の履歴とそれによる結果のパターン化 • コードとの紐付け • なにが重要なテストなのか
27. 27 問題へのアプローチ方法 3. テストメンテ、Self-mentenace <button class=”” id=””> Sign up for GitHub </button>
28. 28 問題へのアプローチ方法 3. テストメンテ、Self-mentenace <button class=”” id=””> Sign up for GitHub </button>
29. 29 問題へのアプローチ方法 3. テストメンテ、Self-mentenace <button class=”” id=””> Sign up for GitHub </button> <form action=”” method=””> <button> <form>
30. 30 問題へのアプローチ方法 3. テストメンテ、Self-mentenace <button class=”” id=”” qa=””> Sign up for GitHub </button> <form action=”” method=””> <button> <form>
31. 31 問題へのアプローチ方法 3. テストメンテ、Self-mentenace <button class=”” id=”” qa=””> Sign up for GitHub </button> <form action=”” method=””> <button> <form>
32. 32 問題へのアプローチ方法 3. テストメンテ、Self-healing こっちを正とする １回目 N 回目
33. 33 問題へのアプローチ方法 3. テストメンテ、データモデリング <button class=”” id=”” qa=””> Sign up for GitHub </button> <form action=”” method=””> <button> <form> form attribute method の評価は低い button attribute qa の評価は高い
34. 34 問題へのアプローチ方法 3. テストメンテ、コンピュータビジョン ❌要素がなく見た目が崩れているため失敗
35. 35 4. AI の導入することでテ スターにどういう影響があ るのか？ 自動化を達成したあとにどういう世界 になるのかまたそのときに求められる テスターの役割について説明します Photo by Uriel Soberanes on Unsplash
36. 36 正確性の向上 Photo by Bill Oxford on Unsplash AI 導入後の世界
37. 37 “ The use of AI in testing is also likely to require newer skills and create newer roles such as AI QA strategists, data scientists, and AI test experts in QA and testing teams.” —World Quality Report 2018-19 by sogeti 求められるテスターの役割
38. 38 求められるテスターの役割 1. AI QA Strategist 2. データサイエンティスト 3. AI Test Expert
39. 39 求められるテスターの役割 1. AI QA Strategist
40. 40 2. データサイエンティスト 求められるテスターの役割 Model • 誰がどういう変更をしたのか？ ↳ その結果どうなった • リリースに何が含まれるのか？ ↳ その結果どうなった Pull Request Release Code • これを既存の OSS でのやり取りも学習する 例：
41. 41 3. AI Test Expert 求められるテスターの役割 ＋ 新しいスキル • 機械学習のアルゴリズム • 数理モデル • 自然言語処理 既存のテストスキル • 探索的テスト • 伝統的なテストスクリプト確認 • バグだし • その他・・・
42. 42 Graph from World Quality Report 2018-19 (WQR) QAに期待するスキル
43. 43 “ Our intelligence is what makes us human, and AI is an extension of that quality” — Yann LeCun, a French computer scientist
44. 44 5. 注目する企業 市場規模がとても大きいので様々な企業 がこの分野に進出しています。そのなか でも注目する企業について紹介します。
45. 120 兆円 市場規模
46. 46 Test 作成を支援する注目企業 ※ アルファベット順 社名 HQ 設立日 CEO 調達額 Appvance.ai San Francisco 2012-10 Frank Cohen $12M（シリーズB） SOFY AI Seattle 2015-10 Syed Hamid 未公開（シード） Test.ai San Francisco 2015-10 Jason Arbon $18M（シリーズA）
47. 47 社名 HQ 設立日 CEO 調達額 Appvance.ai San Francisco 2012-10 Frank Cohen $12M（シリーズB） SOFY AI Seattle 2015-10 Syed Hamid 未公開（シード） Test.ai San Francisco 2015-10 Jason Arbon $18M（シリーズA） 「How Google tests software」 Test 作成を支援する注目企業
48. 社名 HQ 設立日 CEO 調達額 Autify San Francisco 2016-9 Ryo Chikazawa $3M（シード） Functionize San Francisco 2015-8 Tamas Cser $19M（Series A） Mabl Boston 2017-1 Dan Belcher $30M（Series B） Testim San Francisco 2014-9 Oren Rubin $16M（Series B） 48 Test メンテナンスを支援する注目企業 ※ アルファベット順
49. 社名 HQ 設立日 CEO 調達額 Autify San Francisco 2016-9 Ryo Chikazawa $3M（シード） Functionize San Francisco 2015-8 Tamas Cser $19M（Series A） Mabl Boston 2017-1 Dan Belcher $30M（Series B） Testim San Francisco 2014-9 Oren Rubin $16M（Series B） 49 Test メンテナンスを支援する注目企業 ※ アルファベット順 2019-10 にサービスリリース
50. 社名 HQ 設立日 CEO 調達額 Autify San Francisco 2016-9 Ryo Chikazawa $3M（シード） Functionize San Francisco 2015-8 Tamas Cser $19M（Series A） Mabl Boston 2017-1 Dan Belcher $30M（Series B） Testim San Francisco 2014-9 Oren Rubin $16M（Series B） 50 ※ アルファベット順 前のスタートアップ Stackdriver は Google 2014年５月に買収された Test メンテナンスを支援する注目企業
51. 社名 HQ 設立日 CEO 調達額 Autify San Francisco 2016-9 Ryo Chikazawa $3M（シード） Functionize San Francisco 2015-8 Tamas Cser $19M（Series A） Mabl Boston 2017-1 Dan Belcher $30M（Series B） Testim San Francisco 2014-9 Oren Rubin $16M（Series B） 51 ※ アルファベット順 Director of R&D Applitools Test メンテナンスを支援する注目企業
52. 社名 HQ 設立日 CEO 調達額 Autify San Francisco 2016-9 Ryo Chikazawa $3M（シード） Functionize San Francisco 2015-8 Tamas Cser $19M（Series A） Mabl Boston 2017-1 Dan Belcher $30M（Series B） Testim San Francisco 2014-9 Oren Rubin $16M（Series B） 52 社名 HQ 設立日 CEO 調達額 Appvance.ai San Francisco 2012-10 Frank Cohen $12M（シリーズB） SOFY AI Seattle 2015-10 Syed Hamid 未公開（シード） Test.ai San Francisco 2015-10 Jason Arbon $18M（シリーズA） 注目企業の調達額を比較
53. ご清聴ありがとうございました! Does anyone have any questions?