[ru] Desktop Testing Intro

Transcript

2. Тестирование десктопных приложений Алексей Вовк, руководитель группы тестирования Школа автоматизации тестирования 2016
3. Содержание • Операционные системы • Инструменты • Соседи • Хороший баг… • Автоматизация 4
4. Операционные системы OS sweet OS
5. Операционные системы 6 APP
6. ОС. Доступы 7 Аппаратные компоненты APP Программные компоненты
7. ОС. Регистрация 8 • Реестр • Библиотеки ОС • Файловая система • Меню приложений • Контекстные меню • … APP
8. ОС. Контроль 9 APP • UAC • Запись/чтение в ФС • Антивирусы • Файерволы • … ADMIN / USER
9. ОС. Учетные записи 10 APP ADMIN APP APP USER USER
10. Операционные системы 11
11. Операционные системы 12
12. Архитектура приложения 13 Ядро Интерфейс API Общая логика Взаимодействие с ОС
13. Архитектура приложения 14 OS X UI API API Ядро Linux UI API Windows UI API
14. Архитектура приложения 15 OS X UI API API Linux UI API Windows UI API Ядро Общая часть
15. Архитектура приложения 16 OS X UI API API Linux UI API Windows UI API Ядро Общая часть
16. Архитектура приложения 17 API API Ядро API API OS X UI Linux UI Windows UI Компоненты для конкретной ОС
17. Архитектура приложения 18 API API Ядро API API OS X UI Linux UI Windows UI Компоненты для конкретной ОС
18. Архитектура приложения 19 API API Ядро API API OS X UI Linux UI Windows UI Фиксы + Регресс Смоук Смоук
19. Установка приложения 20 APP Ставим на чистую ОС
20. Удаление приложения 21 APP
21. 22 APP install me Эти 500 экранов визарда расскажут вам все для начала работы! Неправильный чекбокс на 215-ом экране. Вернитесь в начало. install me install me Кажется, что-то не поставилось, сорян ?
22. Обновление приложения 23 v.1 v.2
23. Обновление и Установка поверх 24 v.1 v.2 v.1 v.2 ADMIN / USER ADMIN / USER
24. Обновление ОС 25 v.1 ОС
25. ОС. Итоги • Все ОС • Интеграция и разрешения • Учетки с разными правами • Установка и удаление • Обновления и установка поверх 26
26. Инструменты для дома, для сада
27. Виртуальные машины 28 Ничего, что я здесь?
28. Виртуальные машины 29
29. Виртуальные машины • Экономим железо • Настройка конфигурации • Снэпшоты 30
30. Снэпшоты 31 Снэпшот чистой ОС Ставим, тестируем
31. Снэпшоты 32 AV 8 ГБ 1 ТБ 2 ядра 4 ГБ 512 ГБ 4 ядра 2 ГБ 128 ГБ 1 ядро AV 2 ГБ 512 ГБ 1 ядро
32. Снэпшоты 33
33. Логи 34 20160430-140733.371 PUT "new_file.txt" 0 / 41 20160430-140735.388 PUT "new_file.txt" receiving response 20160430-140735.449 PUT "new_file.txt" 41 / 41 20160430-140735.451 PUT "new_file.txt" OK
34. Логи 35 tail -n 100 c:/app/logs/events.log grep error c:/app/logs/* tail -f c:/app/logs/* | grep error
35. Дампы 36 APP APP
36. Тестовый сервер 37 APP
37. Тестовый сервер 38 APP • Логи сервера • Настройки
38. Тестовый сервер /etc/hosts 39 123.0.1.56 server.yandex.ru IP тестового сервера Продакшен сервер
39. Тестовый сервер Debug-режим 40 Debug > Помощь Выход Тестовый сервер
40. Снифферы 41 APP Сниффер
41. Снифферы 42 tcpdump
42. Снифферы. Настройка 127.0.0.1 8888 43 APP
43. Список запросов Result Protocol URL Process 200 HTTP webdav.yandex.ru:443 yandexdisk:4816
44. Запрос Ответ
45. Сниффер. Сохранение сессии 46 Result Protocol URL 200 HTTP ya.ru 500 HTTP ya.ru 200 HTTP ya.ru 200 HTTP ya.ru file
46. СПЕЦСБОРКА
47. Специальные сборки • Отключены сертификаты • Расширенное логирование • Настройка на стенды • … 48
48. Специальные сборки 49 Спецсборки – НЕ для основных проверок
49. Инструменты. Итоги • Виртуалки (Снэпшоты!) • Логи и дампы • Снифферы • Тестовый сервер • Спецсборки 50
50. Соседи Перфоратор и Шансон
51. Соседи 52 APP other other other other other other
52. Соседи 53 Мы не мешаем другим Другие не мешают нам APP
53. Соседи. Зона конфликта • Напарники • Схожая функциональность • Системы контроля 54
54. Напарники 55 Сработаемся? Эээ… APP other
55. Схожая функциональность 56 APP other
56. Ребята из органов 57 • Антивирусы • Файерволы • Сканнеры ФС • … AV Scan FW
57. Контроль 58 APP
58. APP Контроль 59
59. Можно подготовить заранее! 60 AV 8 ГБ 1 ТБ 2 ядра 4 ГБ 512 ГБ 4 ядра 2 ГБ 128 ГБ 1 ядро AV 2 ГБ 512 ГБ 1 ядро
60. Соседи. Итоги • Конфликты • Прогнозируем и предотвращаем • Описываем и сообщаем 61
61. Хороший баг… репорт
62. Описание бага 63 BILLY BUGS
63. Описание бага • Понятное название 64
64. Описание бага • Понятное название • Шаги воспроизведения 65
65. Описание бага • Понятное название • Шаги воспроизведения • Фактический результат 66
66. Описание бага • Понятное название • Шаги воспроизведения • Фактический результат • Ожидаемый результат 67
67. Описание бага • Версия приложения 68
68. Описание бага • Версия приложения • Окружение 69
69. Описание бага • Версия приложения • Окружение • Версия и разрядность ОС 70
70. Описание бага • Версия приложения • Окружение • Версия и разрядность ОС • Антивирусы, файерволы 71
71. Описание бага • Версия приложения • Окружение • Версия и разрядность ОС • Антивирусы, файерволы • Логи и дампы 72
72. Описание бага • Снэпшот виртуалки 73
73. Описание бага • Снэпшот виртуалки • Логи сервера 74
74. Описание бага • Снэпшот виртуалки • Логи сервера • Сниффер сессия 75
75. Описание бага • Снэпшот виртуалки • Логи сервера • Сниффер сессия • Скриншоты интерфейса • … 76
76. Автоматизация два студента и лопата заменили экскаватор
77. Автоматизация • Действуем на окружение, а не само приложение • coming soon • coming soon 78
78. Действуем через окружение 79
79. Действуем через окружение 80 file.txt
80. Действуем через окружение 81 file.txt file.txt
81. Действуем через окружение 82 Взаимодействуем Взаимодействуем Проверяем
82. Преимущества • Не нужно подключаться к приложению • Стабильные • Легко поддерживать 83 Test
83. Недостатки • Ограниченный набор кейсов • Не проверяем UI 84 Test
84. Автоматизация • Действуем на окружение, а не само приложение • API десктопного приложения • coming soon 85
85. API десктопного приложения 86 API APP
86. Преимущества • Быстрые • Стабильные • Легко поддерживать 87 Test
87. Недостатки • Нужен API • API надо поддерживать и развивать • Не проверяем UI 88 Test
88. Автоматизация • Действуем на окружение, а не само приложение • API десктопного приложения • Тесты на UI 89
89. Тесты на UI 90
90. Преимущества • Проверяем сам интерфейс • Реальные пользовательские кейсы 91 Test
91. Недостатки • Медленные • Нестабильные • Сложно поддерживать 92 Test
92. Автоматизация рутинных действий • Подготовка окружения (снэпшоты, скрипты) • Генерация тестовых данных • Анализ логов • … 93
93. Автоматизация 94 UI API Env Help UI Env Help API API API
94. Полезные ссылки История ОС Apple: http://bit.ly/yaqa-osx-history Виртуальные машины, полезные советы: http://bit.ly/yaqa-vw-advices Два мира виртуальных машин: http://bit.ly/yaqa-two-vm-worlds Обзор снифферов: http://bit.ly/yaqa-sniffers Работа с Wireshark: http://bit.ly/yaqa-wireshark Сравнение автотестирования UI: http://bit.ly/yaqa-autoui-compare Sikuli: http://bit.ly/yaqa-sikuli 95
95. APP