No pain, no gain. Тестируем голосовые приложения

by Redmadrobot

Slide 1

Slide 1 text

Тестируем голосовые приложения No pain, no gain 1

Slide 2

Slide 2 text

Павел Булич QA Team Lead, KODE @pavelbulich 2

Slide 3

Slide 3 text

Предыстория Голосовые приложения 3

Slide 4

Slide 4 text

Предыстория Как это было ● 2017 год - конкурс от Google на создание Actions on Google ● июль 2018 год - партнерство с Google и создание собственного инструмента Tortu.io ● осень 2018 года - первый коммерческий заказ на навык для Алисы 4

Slide 5

Slide 5 text

Предыстория Проблемы ● Новое направление ● Нет информации по тестированию ● Нет экспертизы, на которую можно опереться ● Специфичный вид тестирования (GUI не рулит) 5

Slide 6

Slide 6 text

Экспресс- ликбез Обзор голосовых интерфейсов 6

Slide 7

Slide 7 text

Экспресс- ликбез Обзор голосовых интерфейсов 7

Slide 8

Slide 8 text

Экспресс- ликбез Обзор голосовых интерфейсов 8

Slide 9

Slide 9 text

Экспресс- ликбез Схема работы 9

Slide 10

Slide 10 text

Экспресс- ликбез Схема процесса 10

Slide 11

Slide 11 text

Этапы тестирования По порядку ● Ревью схемы реализации ● Тестирование API ● Тестирование работы навыка в диалогах ● Тестирование голоса 11

Slide 12

Slide 12 text

Этапы тестирования Ревью схемы реализации 12 ● review ● API ● console ● speech

Slide 13

Slide 13 text

Этапы тестирования Ревью схемы реализации Wizard of OZ prototyping/testing 13 ● review ● API ● console ● speech

Slide 14

Slide 14 text

Этапы тестирования Тестирование API 14 ● review ● API ● console ● speech

Slide 15

Slide 15 text

Этапы тестирования Тестирование навыка в консоли 15 ● review ● API ● console ● speech

Slide 16

Slide 16 text

Этапы тестирования Тестирование навыка в консоли 16 ● review ● API ● console ● speech

Slide 17

Slide 17 text

Этапы тестирования Тестирование навыка в консоли 17 ● review ● API ● console ● speech

Slide 18

Slide 18 text

Этапы тестирования Тестирование навыка в консоли 18 ● review ● API ● console ● speech

Slide 19

Slide 19 text

Этапы тестирования Тестирование голоса 19 ● review ● API ● console ● speech

Slide 20

Slide 20 text

Этапы тестирования Тестирование голоса 20 ● review ● API ● console ● speech ○ input ○ output

Slide 21

Slide 21 text

Этапы тестирования Тестирование голоса 21 ● review ● API ● console ● speech ○ input ○ output

Slide 22

Slide 22 text

Этапы тестирования Тестирование голоса 22 ● review ● API ● console ● speech ○ input ○ output

Slide 23

Slide 23 text

Основные проблемы Больно 1. огромное количество паттернов поведения 23

Slide 24

Slide 24 text

Основные проблемы Больно 1. огромное количество паттернов поведения 24

Slide 25

Slide 25 text

Основные проблемы Больно 1. огромное количество паттернов поведения 2. сложность автоматизации тестирования конечного продукта 25

Slide 26

Slide 26 text

Основные проблемы Больно 1. огромное количество паттернов поведения 2. сложность автоматизации тестирования конечного продукта 26

Slide 27

Slide 27 text

Уменьшаем боль ● Утвердительный ответ ● Отрицательный ответ ● Неопределенные ответы ● Запрос на повтор ● Тишина ● Ввод цифровых кодов разными комбинациями ● Контекст ● Посторонние звуки ● Guirella testing Чит-лист 27

Slide 28

Slide 28 text

Выводы Куда и зачем стремимся 28

Slide 29

Slide 29 text

Выводы Куда и зачем стремимся ● Model-based testing 29

Slide 30

Slide 30 text

Выводы Куда и зачем стремимся ● Model-based testing ● Разделение ролей 30

Slide 31

Slide 31 text

Выводы Куда и зачем стремимся ● Model-based testing ● Разделение ролей ● Увеличивать компетенцию 31

Slide 32

Slide 32 text

Спасибо @pavelbulich 32 QR-код на материалы презентации