Automated Analysis of Testing Reports using Machine Learning Techniques

5206c19df417b8876825b5561344c1a0?s=47 Exactpro
December 20, 2019

Automated Analysis of Testing Reports using Machine Learning Techniques

Automated Analysis of Testing Reports using Machine Learning Techniques (Ru)

Nikita Smirnov,
Development Team Manager (Sailfish), Exactpro

QA Meetup
20 December 2019, Kostroma

Video: https://youtu.be/QO10cFkeDIk

To learn more about Exactpro, visit our website https://exactpro.com/

Follow us on
LinkedIn https://www.linkedin.com/company/exactpro-systems-llc
Twitter https://twitter.com/exactpro
Facebook https://www.facebook.com/exactpro/
Instagram https://www.instagram.com/exactpro/
Vkontakte https://vk.com/exactpro_llc

Subscribe to Exactpro Vimeo channel https://vimeo.com/exactpro
Subscribe to Exactpro YouTube channel https://www.youtube.com/c/exactprosystems

5206c19df417b8876825b5561344c1a0?s=128

Exactpro

December 20, 2019
Tweet

Transcript

  1. Build Software to Test Software exactpro.com Автоматизированный анализ тестовых отчетов

    с помощью методов машинного обучения Автор: Никита Смирнов 20/12/2019
  2. 2 Build Software to Test Software exactpro.com 1. О компании

    2. Взгляд на развитие автоматизации тестирования 3. Декомпозиция задачи 4. Определение релевантного сообщения 5. Определение источника фейла 6. Планы на ближайшее будущее 7. Заключение Содержание
  3. 3 Build Software to Test Software exactpro.com Коротко об Exactpro

    Exactpro специализируется на разработке и тестировании программного обеспечения для ведущих финансовых организаций, к числу которых относятся биржи, инвестиционные банки, брокеры и поставщики технологических решений. Наши проекты - это анализ и верификация распределенных и высоконагруженных технологических платформ, систем клиринга и взаиморасчетов и систем риск-менеджмента, основанных на ультрасовременных технологиях, с целью достижения их бесперебойной работы. В этом году компании исполнилось 10 лет, за это время штат вырос с 10 человек, до 550 специалистов, работающих в офисах в Великобритании, США, Грузии и России.
  4. 4 Build Software to Test Software exactpro.com We Build Software

    to Test Software 75K messages / second from a single CPU core Measures latencies in microsecond range A variety of algoes simulating end-clients will run and see how the system performs Automated testing Compares expected and actual results Automated monitoring, analysis and reporting Automated end-to-end clearing system testing Open Source GUI Test Automation Solution
  5. 5 Build Software to Test Software exactpro.com 1. О компании

    2. Взгляд на развитие автоматизации тестирования 3. Декомпозиция задачи 4. Определение релевантного сообщения 5. Определение источника фейла 6. Планы на ближайшее будущее 7. Заключение Содержание
  6. 6 Build Software to Test Software exactpro.com Автотесты Continuous Integration

    Взгляд на развитие автоматизации
  7. 7 Build Software to Test Software exactpro.com Взгляд на развитие

    автоматизации Задачи Continuous Integration: • получить библиотеку скриптов из репозитория • настроить и запустить инструмента для тестирования • подготовить систему к тестированию • выполнить тестовых скриптов • проанализировать отчеты
  8. 8 Build Software to Test Software exactpro.com Взгляд на развитие

    автоматизации Задачи Continuous Integration: • получить библиотеку скриптов из репозитория • настроить и запустить инструмента для тестирования • подготовить систему к тестированию • выполнить тестовых скриптов • проанализировать отчеты
  9. 9 Build Software to Test Software exactpro.com Взгляд на развитие

    автоматизации Задачи Continuous Integration: • получить библиотеку скриптов из репозитория • настроить и запустить инструмента для тестирования • подготовить систему к тестированию • выполнить тестовых скриптов • проанализировать отчеты
  10. 10 Build Software to Test Software exactpro.com Взгляд на развитие

    автоматизации
  11. 11 Build Software to Test Software exactpro.com Web Binary FIX

    Market Data Database Взгляд на развитие автоматизации
  12. 12 Build Software to Test Software exactpro.com Объемы проверок: •

    тестовая библиотека: 60’000+ кейсов • 10’000 - 20’000 тестов за один прогон • 3 - 7 прогонов за спринт • функциональность системы растет • покрытие тестами расширяется Взгляд на развитие автоматизации
  13. 13 Build Software to Test Software exactpro.com Взгляд на развитие

    автоматизации
  14. 14 Build Software to Test Software exactpro.com Цели автоматизации анализа

    отчёта: • снизить трудозатраты • исключить человеческий фактор • копить знания централизованно • выработать стандарты Взгляд на развитие автоматизации
  15. 15 Build Software to Test Software exactpro.com Взгляд на развитие

    автоматизации
  16. 16 Build Software to Test Software exactpro.com vs. Взгляд на

    развитие автоматизации
  17. 17 Build Software to Test Software exactpro.com Идеальный отчет: •

    объясняет причины фейлов • приоритезирует фейлы • подсказывает пути устранения фейлов Взгляд на развитие автоматизации
  18. 18 Build Software to Test Software exactpro.com 1. О компании

    2. Взгляд на развитие автоматизации тестирования 3. Декомпозиция задачи 4. Определение релевантного сообщения 5. Определение источника фейла 6. Планы на ближайшее будущее 7. Заключение Содержание
  19. 19 Build Software to Test Software exactpro.com • Подробная аналитика

    и рекомендации ⬆ Понимание каждого фейла ⬆ Понимание источника фейла ⬆ Определение релевантного сообщения Декомпозиция задачи
  20. 20 Build Software to Test Software exactpro.com 1. О компании

    2. Взгляд на развитие автоматизации тестирования 3. Декомпозиция задачи 4. Определение релевантного сообщения 5. Определение источника фейла 6. Планы на ближайшее будущее 7. Заключение Содержание
  21. 21 Build Software to Test Software exactpro.com Определение релевантного сообщения

    send NewOrderSingle (PASSED) [0.001s] - receive ExecutionReport (PASSED) [0.001s]: + Input Parameters - Verification: Message (PASSED): Field Expected Result Actual Result Status ... ... ... ... OrdType LIMIT LIMIT PASSED Status NEW NEW PASSED ... ... ... ...
  22. 22 Build Software to Test Software exactpro.com send NewOrderSingle (PASSED)

    [0.001s] - receive ExecutionReport (FAILED) [0.421s]: + Input Parameters + Verification: Similar message [1]. Failed/Passed/Conditionally Passed/NA: 4/26/0/6 (FAILED) + Verification: Similar message [2]. Failed/Passed/Conditionally Passed/NA: 2/28/0/6 (FAILED) + Verification: Similar message [3]. Failed/Passed/Conditionally Passed/NA: 1/29/0/6 (FAILED) - Verification: Similar message [4]. Failed/Passed/Conditionally Passed/NA: 1/29/0/6 (FAILED): Field Expected Result Actual Result Status ... ... ... ... OrdType LIMIT LIMIT PASSED Status NEW REJECTED FAILED ... ... ... ... Определение релевантного сообщения
  23. 23 Build Software to Test Software exactpro.com Данные для машинного

    обучения: • разметить данные • сформировать датасет Определение релевантного сообщения
  24. 24 Build Software to Test Software exactpro.com Определение релевантного сообщения

  25. 25 Build Software to Test Software exactpro.com Методики улучшения показателей:

    • снизить размерность • по чистить датасет • провести калибровку Определение релевантного сообщения
  26. 26 Build Software to Test Software exactpro.com Определение релевантного сообщения

  27. 27 Build Software to Test Software exactpro.com Пример узкого диапазона:

    Определение релевантного сообщения
  28. 28 Build Software to Test Software exactpro.com Результат калибровки: до

    после процентаж распределение Определение релевантного сообщения
  29. 29 Build Software to Test Software exactpro.com Прогресс по метрикам:

    Определение релевантного сообщения
  30. 30 Build Software to Test Software exactpro.com Задача: • Подробная

    аналитика и рекомендации • Понимание каждого фейла • Понимание источника фейла • Определение релевантного сообщения Определение релевантного сообщения
  31. 31 Build Software to Test Software exactpro.com 1. О компании

    2. Взгляд на развитие автоматизации тестирования 3. Декомпозиция задачи 4. Определение релевантного сообщения 5. Определение источника фейла 6. Планы на ближайшее будущее 7. Заключение Содержание
  32. 32 Build Software to Test Software exactpro.com Подготовка датасета: •

    Оставили только экспертные оценки • Определили типы ситуаций • Конкретизировать задачу Определение источника фейла
  33. 33 Build Software to Test Software exactpro.com Определение источника фейла

  34. 34 Build Software to Test Software exactpro.com 1. О компании

    2. Взгляд на развитие автоматизации тестирования 3. Декомпозиция задачи 4. Определение релевантного сообщения 5. Определение источника фейла 6. Планы на ближайшее будущее 7. Заключение Содержание
  35. 35 Build Software to Test Software exactpro.com • Продолжить наращивать

    датасет • Довести классификацию фейлов до 99% точности • Усовершенствовать Data Pipeline Планы на ближайшее будущее
  36. 36 Build Software to Test Software exactpro.com Data Pipeline DS

  37. 37 Build Software to Test Software exactpro.com Спасибо!

  38. 38 Build Software to Test Software exactpro.com Содержание 1. О

    компании 2. Взгляд на развитие автоматизации тестирования 3. Декомпозиция задачи 4. Определение релевантного сообщения 5. Определение источника фейла 6. Планы на ближайшее будущее 7. Заключение
  39. 39 Build Software to Test Software exactpro.com Декомпозиция задачи Причины

    фейлов: • Логика теста • Тестовые данные • Настройки системы • Поведение системы под нагрузкой
  40. 40 Build Software to Test Software exactpro.com Декомпозиция задачи Причины

    фейлов: • логика теста • тестовые данные • настройки системы • поведение системы под нагрузкой автотест окружение
  41. 41 Build Software to Test Software exactpro.com • Подробная аналитика

    и рекомендации • Понимание каждого фейла • Понимание источника фейла • Определение релевантного сообщения Декомпозиция задачи