Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Failure Recognition in Automated Test-Cases Using ML-Techniques (RU)

Failure Recognition in Automated Test-Cases Using ML-Techniques (RU)

Failure Recognition in Automated Test-Cases Using ML-Techniques (RU)
Murad Mamedov, QA Analyst

Youcon IT-Conference
12 October 2019, Saratov

To learn more about Exactpro, visit our website https://exactpro.com/
Follow us on
LinkedIn https://www.linkedin.com/company/exactpro-systems-llc
Twitter https://twitter.com/exactpro
Facebook https://www.facebook.com/exactpro/
Instagram https://www.instagram.com/exactpro/
YouTube https://www.youtube.com/c/exactprosystems

5206c19df417b8876825b5561344c1a0?s=128

Exactpro
PRO

October 12, 2019
Tweet

Transcript

  1. Build Software to Test Software exactpro.com Анализ фейлов в автотестах

    с помощью ML-техник Мурад Мамедов, QA-аналитик Саратов, Октябрь 2019
  2. 2 Build Software to Test Software exactpro.com Содержание 1. О

    компании 2. Взгляд на развитие автоматизации тестирования 3. Как возникла потребность 4. Декомпозиция задачи 5. Определение релевантного сообщения 6. Определение источника фейла 7. Планы на ближайшее будущее 8. Заключение
  3. 3 Build Software to Test Software exactpro.com Коротко об Exactpro

    Exactpro специализируется на разработке и тестировании программного обеспечения для ведущих финансовых организаций, к числу которых относятся биржи, инвестиционные банки, брокеры и поставщики технологических решений. Наши проекты - это анализ и верификация распределенных и высоконагруженных технологических платформ, систем клиринга и взаиморасчетов и систем риск-менеджмента, основанных на ультрасовременных технологиях, с целью достижения их бесперебойной работы. В этом году компании исполнилось 10 лет, за это время штат вырос с 10 человек, до 550 специалистов, работающих в офисах в Великобритании, США, Грузии и России.
  4. 4 Build Software to Test Software exactpro.com We Build Software

    to Test Software 75K messages / second from a single CPU core Measures latencies in microsecond range A variety of algoes simulating end-clients will run and see how the system performs Automated testing Compares expected and actual results Automated monitoring, analysis and reporting Automated end-to-end clearing system testing Open Source GUI Test Automation Solution
  5. 5 Build Software to Test Software exactpro.com Содержание 1. О

    компании 2. Взгляд на развитие автоматизации тестирования 3. Как возникла потребность 4. Декомпозиция задачи 5. Определение релевантного сообщения 6. Определение источника фейла 7. Планы на ближайшее будущее 8. Заключение
  6. 6 Build Software to Test Software exactpro.com автотесты continuous integration

    Взгляд на развитие автоматизации
  7. 7 Build Software to Test Software exactpro.com Взгляд на развитие

    автоматизации Задачи CI: • получение исходного кода из репозитория • сборка проекта • выполнение тестов • развертывание готового проекта • отправка отчетов
  8. 8 Build Software to Test Software exactpro.com Взгляд на развитие

    автоматизации Задачи CI: • получение исходного кода из репозитория • сборка проекта • выполнение тестов • развертывание готового проекта • отправка отчетов
  9. 9 Build Software to Test Software exactpro.com Взгляд на развитие

    автоматизации Задачи CI: • получение исходного кода из репозитория • сборка проекта • выполнение тестов • развертывание готового проекта • отправка отчетов
  10. 10 Build Software to Test Software exactpro.com Потребности: • Снижение

    трудозатрат • Исключение человеческого фактора • Накопление знаний централизованно • Выработка стандартов Взгляд на развитие автоматизации
  11. 11 Build Software to Test Software exactpro.com Идеальный отчет: •

    Объяснение причин фейлов • Приоритизация фейлов • Рекомендации по устранению Взгляд на развитие автоматизации
  12. 12 Build Software to Test Software exactpro.com Идеальный отчет: •

    Объяснение причин фейлов • Приоритизация фейлов • Рекомендации по устранению Взгляд на развитие автоматизации Они живут в 3019
  13. 13 Build Software to Test Software exactpro.com Взгляд на развитие

    автоматизации
  14. 14 Build Software to Test Software exactpro.com vs. Взгляд на

    развитие автоматизации
  15. 15 Build Software to Test Software exactpro.com Взгляд на развитие

    автоматизации разработчик тестировщик
  16. 16 Build Software to Test Software exactpro.com Содержание 1. О

    компании 2. Взгляд на развитие автоматизации тестирования 3. Как возникла потребность 4. Декомпозиция задачи 5. Определение релевантного сообщения 6. Определение источника фейла 7. Планы на ближайшее будущее 8. Заключение
  17. 17 Build Software to Test Software exactpro.com Как возникла потребность

  18. 18 Build Software to Test Software exactpro.com Web Binary FIX

    Market Data Database Как возникла потребность
  19. 19 Build Software to Test Software exactpro.com • Тестовая библиотека:

    +60000 кейсов • 3-7 прогонов за спринт • 10-20к тестов за один прогон • Постоянная интеграция • Растущая функциональность • Расширение покрытия Как возникла потребность
  20. 20 Build Software to Test Software exactpro.com Как возникла потребность

  21. 21 Build Software to Test Software exactpro.com Содержание 1. О

    компании 2. Взгляд на развитие автоматизации тестирования 3. Как возникла потребность 4. Декомпозиция задачи 5. Определение релевантного сообщения 6. Определение источника фейла 7. Планы на ближайшее будущее 8. Заключение
  22. 22 Build Software to Test Software exactpro.com Декомпозиция задачи Причины

    фейлов: • Код теста • Тестовые данные • Статик реф-дата • Динамическая реф-дата • Поведение энва под нагрузкой
  23. 23 Build Software to Test Software exactpro.com Декомпозиция задачи Причины

    фейлов: • Код теста • Тестовые данные • Статик реф-дата • Динамическая реф-дата • Поведение энва под нагрузкой автотест окружение
  24. 24 Build Software to Test Software exactpro.com • Подробная аналитика

    и рекомендации • Понимание каждого фейла • Понимание источника фейла • Определение релевантного сообщения Декомпозиция задачи
  25. 25 Build Software to Test Software exactpro.com • Подробная аналитика

    и рекомендации ⬆ Понимание каждого фейла ⬆ Понимание источника фейла ⬆ Определение релевантного сообщения Декомпозиция задачи
  26. 26 Build Software to Test Software exactpro.com Содержание 1. О

    компании 2. Взгляд на развитие автоматизации тестирования 3. Как возникла потребность 4. Декомпозиция задачи 5. Определение релевантного сообщения 6. Определение источника фейла 7. Планы на ближайшее будущее 8. Заключение
  27. 27 Build Software to Test Software exactpro.com Определение релевантного сообщения

    send NewOrderSingle (PASSED) [0.001s] - receive ExecutionReport (PASSED) [0.001s]: + Input Parameters - Verification: Message (PASSED): Field Expected Result Actual Result Status ... ... ... ... OrdType LIMIT LIMIT PASSED Status NEW NEW PASSED ... ... ... ...
  28. 28 Build Software to Test Software exactpro.com send NewOrderSingle (PASSED)

    [0.001s] - receive ExecutionReport (FAILED) [0.421s]: + Input Parameters + Verification: Similar message [1]. Failed/Passed/Conditionally Passed/NA: 4/26/0/6 (FAILED) + Verification: Similar message [2]. Failed/Passed/Conditionally Passed/NA: 2/28/0/6 (FAILED) + Verification: Similar message [3]. Failed/Passed/Conditionally Passed/NA: 1/29/0/6 (FAILED) - Verification: Similar message [4]. Failed/Passed/Conditionally Passed/NA: 1/29/0/6 (FAILED): Field Expected Result Actual Result Status ... ... ... ... OrdType LIMIT LIMIT PASSED Status NEW REJECTED FAILED ... ... ... ... Определение релевантного сообщения
  29. 29 Build Software to Test Software exactpro.com Определение релевантного сообщения

  30. 30 Build Software to Test Software exactpro.com Определение релевантного сообщения

  31. 31 Build Software to Test Software exactpro.com Определение релевантного сообщения

  32. 32 Build Software to Test Software exactpro.com Работа с данными:

    • Разметка данных • Снижение размерности • Чистка датасета • Калибровка Определение релевантного сообщения
  33. 33 Build Software to Test Software exactpro.com Прогресс по метрикам:

    Определение релевантного сообщения
  34. 34 Build Software to Test Software exactpro.com Пример узкого диапазона:

    Определение релевантного сообщения
  35. 35 Build Software to Test Software exactpro.com Результат калибровки: до

    после процентаж распределение Определение релевантного сообщения
  36. 36 Build Software to Test Software exactpro.com Задача: • Подробная

    аналитика и рекомендации • Понимание каждого фейла • Понимание источника фейла • Определение релевантного сообщения Определение релевантного сообщения
  37. 37 Build Software to Test Software exactpro.com Содержание 1. О

    компании 2. Взгляд на развитие автоматизации тестирования 3. Как возникла потребность 4. Декомпозиция задачи 5. Определение релевантного сообщения 6. Определение источника фейла 7. Планы на ближайшее будущее 8. Заключение
  38. 38 Build Software to Test Software exactpro.com Датасет тот же,

    но: • Только True-class примеры • Ввели сигнатуры • Разбиение на типы сообщений Определение источника фейла
  39. 39 Build Software to Test Software exactpro.com Определение источника фейла

  40. 40 Build Software to Test Software exactpro.com Содержание 1. О

    компании 2. Взгляд на развитие автоматизации тестирования 3. Как возникла потребность 4. Декомпозиция задачи 5. Определение релевантного сообщения 6. Определение источника фейла 7. Планы на ближайшее будущее 8. Заключение
  41. 41 Build Software to Test Software exactpro.com • Продолжить наращивать

    датасет • Довести классификацию фейлов до 99% точности • Усовершенствовать Data Pipeline Планы на ближайшее будущее
  42. 42 Build Software to Test Software exactpro.com Data Pipeline DS

  43. 43 Build Software to Test Software exactpro.com Содержание 1. О

    компании 2. Взгляд на развитие автоматизации тестирования 3. Как возникла потребность 4. Декомпозиция задачи 5. Определение релевантного сообщения 6. Определение источника фейла 7. Планы на ближайшее будущее 8. Заключение
  44. 44 Build Software to Test Software exactpro.com Заключение КУПИТЬ 100

    АКЦИЙ ПО 2000$ TIF Side Price TimeInForce Size Price ... ... до коца дня
  45. 45 Build Software to Test Software exactpro.com QA Community Saratov

  46. 46 Build Software to Test Software exactpro.com Следите за нами

    в соцсетях
  47. 47 Build Software to Test Software exactpro.com Спасибо!