No pain, no gain. Тестируем голосовые приложения

Transcript

1. Тестируем голосовые приложения No pain, no gain 1
2. Павел Булич QA Team Lead, KODE @pavelbulich 2
3. Предыстория Голосовые приложения 3
4. Предыстория Как это было • 2017 год - конкурс от Google на создание Actions on Google • июль 2018 год - партнерство с Google и создание собственного инструмента Tortu.io • осень 2018 года - первый коммерческий заказ на навык для Алисы 4
5. Предыстория Проблемы • Новое направление • Нет информации по тестированию • Нет экспертизы, на которую можно опереться • Специфичный вид тестирования (GUI не рулит) 5
6. Экспресс- ликбез Обзор голосовых интерфейсов 6
7. Экспресс- ликбез Обзор голосовых интерфейсов 7
8. Экспресс- ликбез Обзор голосовых интерфейсов 8
9. Экспресс- ликбез Схема работы 9
10. Экспресс- ликбез Схема процесса 10
11. Этапы тестирования По порядку • Ревью схемы реализации • Тестирование API • Тестирование работы навыка в диалогах • Тестирование голоса 11
12. Этапы тестирования Ревью схемы реализации 12 • review • API • console • speech
13. Этапы тестирования Ревью схемы реализации Wizard of OZ prototyping/testing 13 • review • API • console • speech
14. Этапы тестирования Тестирование API 14 • review • API • console • speech
15. Этапы тестирования Тестирование навыка в консоли 15 • review • API • console • speech
16. Этапы тестирования Тестирование навыка в консоли 16 • review • API • console • speech
17. Этапы тестирования Тестирование навыка в консоли 17 • review • API • console • speech
18. Этапы тестирования Тестирование навыка в консоли 18 • review • API • console • speech
19. Этапы тестирования Тестирование голоса 19 • review • API • console • speech
20. Этапы тестирования Тестирование голоса 20 • review • API • console • speech ◦ input ◦ output
21. Этапы тестирования Тестирование голоса 21 • review • API • console • speech ◦ input ◦ output
22. Этапы тестирования Тестирование голоса 22 • review • API • console • speech ◦ input ◦ output
23. Основные проблемы Больно 1. огромное количество паттернов поведения 23
24. Основные проблемы Больно 1. огромное количество паттернов поведения 24
25. Основные проблемы Больно 1. огромное количество паттернов поведения 2. сложность автоматизации тестирования конечного продукта 25
26. Основные проблемы Больно 1. огромное количество паттернов поведения 2. сложность автоматизации тестирования конечного продукта 26
27. Уменьшаем боль • Утвердительный ответ • Отрицательный ответ • Неопределенные ответы • Запрос на повтор • Тишина • Ввод цифровых кодов разными комбинациями • Контекст • Посторонние звуки • Guirella testing Чит-лист 27
28. Выводы Куда и зачем стремимся 28
29. Выводы Куда и зачем стремимся • Model-based testing 29
30. Выводы Куда и зачем стремимся • Model-based testing • Разделение ролей 30
31. Выводы Куда и зачем стремимся • Model-based testing • Разделение ролей • Увеличивать компетенцию 31
32. Спасибо @pavelbulich 32 QR-код на материалы презентации