CodeFest 2019. Михаил Косыхин (Актион Технологии) — Как улучшить эффективность не прибегая к инновациям

У нас была большая Боль: все инциденты критические, что бы ни проверяли, ресурсов тестирования не хватает, баги исправляются, но не те что нужно. И это при том, что много людей работают по 3-5 лет. Ситуация знакомая, но жить в таком мы были не согласны. Какие мы видели подходы: автоматизация, изменения от бизнеса, измерения через метрики... Всё это работает, но что даст больший эффект при сжатых сроках? Старый способ приоритизации, внезапно, оказался самым эффективным.

В докладе я расскажу, какие находки и проблемы мы увидели в разных подходах и почему выбрали именно приоритизацию как первоочередной подход; как мы организовали приоритизацию и как пришлось проявить гибкость в работе, чтобы все прошло успешно и каких результатов мы добились.

Transcript

1. Как улучшить эффективность не применяя инноваций Как хорошая приоритизация меняет трудозатраты Михаил Косыхин QA директор Актион Технологии @1
2. Привет Я Михаил Косыхин. Директор по качеству Актион Технологии. Более 10 лет в тестировании.
 Прошел путь от тестера руками до директора, заходя в аналитику и проджекты.
 Работал в стартапах, интеграторах, банках, eCommerce, а сейчас работаю в контентном бизнесе. @2
3. Двигаемся по плану • Какое наследие есть из чего состоит ландшафт • Что болело и внезапные симптомы • Как лечили • Как шел процесс по направлениям • Закрепление результатов • Итого @3
4. Двигаемся по плану • Какое наследие есть из чего состоит ландшафт @4
5. Немного о том, кто мы Актион-Технологии - это ИТ- подразделение одного из крупнейших в Европе медиахолдингов. • 200+ человек в ИТ, и мы растём • 24 года на рынке профмедиа • №1 в России и восточной Европе, в 10 раз больше ближайшего конкурента • 2500+ сотрудников • 10 млн. MAU • 8 млрд выручка рублей в год - все по-взрослому @5
6. Как выглядит бизнес @6 • Бухгалтерия • Финансы • Госфинансы и Госзаказ • Право • Кадры и охрана труда • HR и секретариат • Медицина и Культура • Образование
7. Как выглядит бизнес @7 • Бухгалтерия • Финансы • Госфинансы и Госзаказ • Право • Кадры и охрана труда • HR и секретариат • Медицина и Культура • Образование Электронные издания
8. Как выглядит бизнес @8 • Бухгалтерия • Финансы • Госфинансы и Госзаказ • Право • Кадры и охрана труда • HR и секретариат • Медицина и Культура • Образование Электронные издания Справочные системы
9. Как выглядит бизнес @9 • Бухгалтерия • Финансы • Госфинансы и Госзаказ • Право • Кадры и охрана труда • HR и секретариат • Медицина и Культура • Образование Электронные издания Справочные системы Школы
10. Что имеем • Вроде всё одинаково… @10
11. Что имеем • Вроде всё одинаково… • Но для каждой версии есть свои фишки @11
12. Что имеем • Вроде всё одинаково… • Но для каждой версии есть свои фишки • И они наследуются от базовой версии… @12
13. Что имеем • Вроде всё одинаково… • Но для каждой версии есть свои фишки • И они наследуются от базовой версии • Каждая фишка в общем вроде не важна... @13
14. Что имеем • Вроде всё одинаково… • Но для каждой версии есть свои фишки • И они наследуются от базовой версии • Каждая фишка в общем вроде не важна... • Но для конкретного направления критична @14
15. Что имеем • Вроде всё одинаково… • Но для каждой версии есть свои фишки • И они наследуются от базовой версии • Каждая фишка в общем вроде не важна... • Но для конкретного направления критична • Тысяча надстроек над тысячей деталей @15
16. Чем всё это было покрыто • 20 тестировщиков • 3 выделенных автоматизатора • Больше 5000 кейсов • Больше 2000 автоматизированных тестов @16
17. Двигаемся по плану • Какое наследие есть из чего состоит ландшафт • Что болело и внезапные симптомы @17
18. Влетающие задачи тормозили поток разработки Влетающие задачи ломали спринты и делали даже небольшие проекты, которые можно сделать за месяц, монстрами, которые разрабатывают целый год. @18
19. Расширенный список проблем • Проекты растягивались по срокам • На выходе много жалоб на качество • Команды, утопают в критичных©™ инцидентах и дефектах и не понимают за что хвататься в первую очередь • И всё это при неплохом покрытии автоматизацией @19
20. Сколько было инцидентов по месяцам Месяц Сентябрь Октябрь Электронные Издания 106 203 Школы 11 12 Справочные 110 112 @20
21. @21
22. Исход Из-за изменений в процессах, люди, привыкшие делать релизы долго, начали уходить. @22
23. Исход Из-за изменений в процессах, люди, привыкшие делать релизы долго, начали уходить. Меньше людей - меньше тестов. Меньше тестов - больше багов. @23
24. Исход Из-за изменений в процессах, люди, привыкшие делать релизы долго, начали уходить. Меньше людей - меньше тестов. Меньше тестов - больше багов. Но я увидел что почти ничего не изменилось. @24
25. @25
26. Подивились и пошли автоматизировать • Автоматизация не остановилась • Тесты поддерживали и развивали • Ожидали улучшений @26
27. Подивились и пошли автоматизировать • Автоматизация не остановилась • Тесты поддерживали и развивали • Ожидали улучшений • И мы увидели... @27
28. @28
29. @29
30. Двигаемся по плану • Какое наследие есть из чего состоит ландшафт • Что болело и внезапные симптомы • Как лечили @30
31. Всё странное становится ясным При ближайшем рассмотрении оказалось, что: • Тестов много, но нарастали они эволюционно • Автотесты флапают и их приходится постоянно перепроверять руками @31
32. Всё странное становится ясным При ближайшем рассмотрении оказалось, что: • Тестов много, но нарастали они эволюционно • Автотесты флапают и их приходится постоянно перепроверять руками • Бизнесу критично буквально ВСЁ @32
33. Всё странное становится ясным При ближайшем рассмотрении оказалось, что: • Тестов много, но нарастали они эволюционно • Автотесты флапают и их приходится постоянно перепроверять руками • Бизнесу критично буквально ВСЁ • Тесты покрывают функционал, но не имеют приоритетов @33
34. @34
35. Так жить нельзя. Но как мы хотим? • Понять, что действительно важно • Делать только то, что нужно делать сейчас • То, что делать сейчас не нужно либо убирать, либо назначать время когда надо сделать • Разговаривать о важности не на эмоциях, а на основе чётких критериев @35
36. Так жить нельзя. Но как мы хотим? • Понять, что действительно важно • Делать только то, что нужно делать сейчас • То, что делать сейчас не нужно либо убирать, либо назначать время когда надо сделать • Разговаривать о важности не на эмоциях, а на основе чётких критериев А кто у нас должен знать приоритетность?... @36
37. Сходить за экспертизой в бизнес @37
38. Три подхода с увеличением веса • Собрать и каталогизировать функциональность @38
39. Три подхода с увеличением веса • Собрать и каталогизировать функциональность • Расставить собственные приоритеты @39
40. Три подхода с увеличением веса • Собрать и каталогизировать функциональность. • Расставить собственные приоритеты • Вовлечь бизнес, чтобы приоритеты были согласованы. @40
41. Финальный подход с владельцами продуктов Самый сложный. @41
42. Финальный подход с владельцами продуктов Самый сложный. В каждом случае появлялось что-то неожиданное. @42
43. Финальный подход с владельцами продуктов Самый сложный. В каждом случае появлялось что-то неожиданное. Каждый раз что-то придумывали. @43
44. Финальный подход с владельцами продуктов Самый сложный. В каждом случае появлялось что-то неожиданное. Каждый раз что-то придумывали. И каждый раз ловили инсайты. @44
45. Двигаемся по плану • Какое наследие есть из чего состоит ландшафт • Что болело и внезапные симптомы • Как лечили • Как шел процесс по направлениям @45
46. Платформа электронные издания • Подготовка 1 месяц • Первое согласование - 2 часа • Второе согласование - 1 час • … выставление оставшихся приоритетов перенесли в офлайн @46
47. Платформа электронные издания • Подготовка 1 месяц • Первое согласование - 2 часа • Второе согласование - 1 час • … выставление оставшихся приоритетов перенесли в офлайн • Итого 6 недель @47
48. Жизнь заиграла новыми красками • Количество влетающих “А-а-а надо срочно в разработку и хотфикс” уменьшилось в 25 раз @48
49. Жизнь заиграла новыми красками • Количество влетающих “А-а-а надо срочно в разработку и хотфикс” уменьшилось в 25 раз • У тестировщиков появилось 20% времени, которые забрали от влетающих задач @49
50. Жизнь заиграла новыми красками • Количество влетающих “А-а-а надо срочно в разработку и хотфикс” уменьшилось в 25 раз • У тестировщиков появилось 20% времени, которые забрали от влетающих задач • А главное - убрались те самые хотфиксы, которые могли вполне себе ждать обычного релиза и не заставлять людей прыгать с задачи на задачу. @50
51. Платформа Школы • Подготовка 1 месяц • Первое согласование 15 минут и … FAIL • Одинаковая функциональность имеет разный приоритет @51
52. Платформа Школы • Подготовка 1 месяц • Первое согласование 15 минут и … FAIL • Одинаковая функциональность имеет разный приоритет • Как итог - ещё 3 недели на перестройку приоритизации и новый маппинг • Функционала меньше, но времени потратили больше, потому что потребовался другой подход @52
53. Платформа Школы • Количество влетающих “Это не приемлемо” меньше в 3 раза @53
54. Платформа Школы • Количество влетающих “Это не приемлемо” меньше в 3 раза • У тестировщиков появилось +10% времени, которые раньше занимали влетающие задачи @54
55. Платформа Школы • Количество влетающих “Это не приемлемо” меньше в 3 раза • У тестировщиков появилось +10% времени, которые раньше занимали влетающие задачи • Появилось понимание что важно, а что нет и почему @55
56. Платформа Школы • Количество влетающих “Это не приемлемо” меньше в 3 раза • У тестировщиков появилось +10% времени, которые раньше занимали влетающие задачи • Появилось понимание что важно, а что нет и почему • Ну и перестали тратить время на переключение между задачами @56
57. Платформа справочные системы: Поиск @57
58. Платформа справочные системы: Поиск • Утром - проверить. @58
59. Платформа справочные системы: Поиск • Утром - проверить. • Днём - проверить. @59
60. Платформа справочные системы: Поиск • Утром - проверить. • Днём - проверить. • Вечером - проверить. @60
61. Платформа справочные системы: Поиск • Утром - проверить. • Днём - проверить. • Вечером - проверить. • О всех проблемах сообщить напрямую. • Добиваться быстрейшего решения проблем. @61
62. Что происходит? • Тестируем? Да. • Несогласованные изменения делаем? Вроде нет. • Мы можем что-то пропустить? Да, но не столько же! @62
63. Давайте разбираться • Сделали свой список функциональности • Сделали на основе заводимых инцидентов дополнительный список • Расписали свои приоритеты • Выдали результат владельцу для проставления его приоритетов в режиме офлайна • 1 неделя… @63
64. Давайте разбираться • Сделали свой список функциональности • Сделали на основе заводимых инцидентов дополнительный список • Расписали свои приоритеты • Выдали результат владельцу для проставления его приоритетов в режиме офлайна • 1 неделя… • PROFIT! Поток инцидентов снизился в 4 раза. Разобрались где качество контента, которое мы не контролируем, а где качество функционала. @64
65. Нет ли рецидивов? @65
66. Двигаемся по плану • Какое наследие есть из чего состоит ландшафт • Что болело и внезапные симптомы • Как лечили • Как шел процесс по направлениям • Закрепление результатов @66
67. Поддержка помогает разработке • Управление инцидентами • Регистрация инцидентов с шагами воспроизведения • Приоритизация на уровне поддержки • SLA на фиксы в зависимости от приоритета @67
68. Цифры поддержки @68
69. А что с NPS? @69
70. А что с NPS? @70
71. Двигаемся по плану • Какое наследие есть из чего состоит ландшафт • Что болело и внезапные симптомы • Как лечили • Как шел процесс по направлениям • Закрепление результатов • Итого @71
72. @72
73. @73
74. Сколько было инцидентов по месяцам 2018-2019 Месяц Электронные Издания Школы Справочные Cентябрь 106 11 110 Октябрь 203 12 112 Ноябрь 106 1 29 Декабрь 4 5 19 Январь 1 0 19 Февраль 1 3 26 @74
75. Что мы получили в итоге • Понимание того что важно и нужно срочно исправлять, а что может ждать следующего релиза • Понимание того что можно выкинуть из регресса, а что нужно включить • План на покрытие автоматизацией • Вычеркнули из тестовых наборов более 2000 кейсов • В итоге у нас сейчас чуть больше 3000, но актуальных кейсов, половина из которых покрыта автоматизацией • Существенную экономию времени • Управление инцидентами и повышение качества поддержки @75
76. @76
77. email: qad@action-media.ru
 telegram: @TestHead
 LinkedIn: https://goo.gl/UCyHBs 
 @77
78. Backup @78
79. Языки и инструменты Management: Atlassian Data storage: M$SQL, PGSQL, MySQL Lang Dev: C#, .Net Core, PHP, JS React Lang test: Java, PHP Containerz: Docker, Nomad, Kubernetes CI: Jenkins, pilot Gitlab And other lots of stuff... @79