CodeFest 2019. Михаил Косыхин (Актион Технологии) — Как улучшить эффективность не прибегая к инновациям

16b6c87229eaf58768d25ed7b2bbbf52?s=47 CodeFest
April 06, 2019

CodeFest 2019. Михаил Косыхин (Актион Технологии) — Как улучшить эффективность не прибегая к инновациям

У нас была большая Боль: все инциденты критические, что бы ни проверяли, ресурсов тестирования не хватает, баги исправляются, но не те что нужно. И это при том, что много людей работают по 3-5 лет. Ситуация знакомая, но жить в таком мы были не согласны. Какие мы видели подходы: автоматизация, изменения от бизнеса, измерения через метрики... Всё это работает, но что даст больший эффект при сжатых сроках? Старый способ приоритизации, внезапно, оказался самым эффективным.

В докладе я расскажу, какие находки и проблемы мы увидели в разных подходах и почему выбрали именно приоритизацию как первоочередной подход; как мы организовали приоритизацию и как пришлось проявить гибкость в работе, чтобы все прошло успешно и каких результатов мы добились.

16b6c87229eaf58768d25ed7b2bbbf52?s=128

CodeFest

April 06, 2019
Tweet

Transcript

  1. Как улучшить эффективность не применяя инноваций Как хорошая приоритизация меняет

    трудозатраты Михаил Косыхин QA директор Актион Технологии @1
  2. Привет Я Михаил Косыхин. Директор по качеству Актион Технологии. Более

    10 лет в тестировании.
 Прошел путь от тестера руками до директора, заходя в аналитику и проджекты.
 Работал в стартапах, интеграторах, банках, eCommerce, а сейчас работаю в контентном бизнесе. @2
  3. Двигаемся по плану • Какое наследие есть из чего состоит

    ландшафт • Что болело и внезапные симптомы • Как лечили • Как шел процесс по направлениям • Закрепление результатов • Итого @3
  4. Двигаемся по плану • Какое наследие есть из чего состоит

    ландшафт @4
  5. Немного о том, кто мы Актион-Технологии - это ИТ- подразделение

    одного из крупнейших в Европе медиахолдингов. • 200+ человек в ИТ, и мы растём • 24 года на рынке профмедиа • №1 в России и восточной Европе, в 10 раз больше ближайшего конкурента • 2500+ сотрудников • 10 млн. MAU • 8 млрд выручка рублей в год - все по-взрослому @5
  6. Как выглядит бизнес @6 • Бухгалтерия • Финансы • Госфинансы

    и Госзаказ • Право • Кадры и охрана труда • HR и секретариат • Медицина и Культура • Образование
  7. Как выглядит бизнес @7 • Бухгалтерия • Финансы • Госфинансы

    и Госзаказ • Право • Кадры и охрана труда • HR и секретариат • Медицина и Культура • Образование Электронные издания
  8. Как выглядит бизнес @8 • Бухгалтерия • Финансы • Госфинансы

    и Госзаказ • Право • Кадры и охрана труда • HR и секретариат • Медицина и Культура • Образование Электронные издания Справочные системы
  9. Как выглядит бизнес @9 • Бухгалтерия • Финансы • Госфинансы

    и Госзаказ • Право • Кадры и охрана труда • HR и секретариат • Медицина и Культура • Образование Электронные издания Справочные системы Школы
  10. Что имеем • Вроде всё одинаково… @10

  11. Что имеем • Вроде всё одинаково… • Но для каждой

    версии есть свои фишки @11
  12. Что имеем • Вроде всё одинаково… • Но для каждой

    версии есть свои фишки • И они наследуются от базовой версии… @12
  13. Что имеем • Вроде всё одинаково… • Но для каждой

    версии есть свои фишки • И они наследуются от базовой версии • Каждая фишка в общем вроде не важна... @13
  14. Что имеем • Вроде всё одинаково… • Но для каждой

    версии есть свои фишки • И они наследуются от базовой версии • Каждая фишка в общем вроде не важна... • Но для конкретного направления критична @14
  15. Что имеем • Вроде всё одинаково… • Но для каждой

    версии есть свои фишки • И они наследуются от базовой версии • Каждая фишка в общем вроде не важна... • Но для конкретного направления критична • Тысяча надстроек над тысячей деталей @15
  16. Чем всё это было покрыто • 20 тестировщиков • 3

    выделенных автоматизатора • Больше 5000 кейсов • Больше 2000 автоматизированных тестов @16
  17. Двигаемся по плану • Какое наследие есть из чего состоит

    ландшафт • Что болело и внезапные симптомы @17
  18. Влетающие задачи тормозили поток разработки Влетающие задачи ломали спринты и

    делали даже небольшие проекты, которые можно сделать за месяц, монстрами, которые разрабатывают целый год. @18
  19. Расширенный список проблем • Проекты растягивались по срокам • На

    выходе много жалоб на качество • Команды, утопают в критичных©™ инцидентах и дефектах и не понимают за что хвататься в первую очередь • И всё это при неплохом покрытии автоматизацией @19
  20. Сколько было инцидентов по месяцам Месяц Сентябрь Октябрь Электронные Издания

    106 203 Школы 11 12 Справочные 110 112 @20
  21. @21

  22. Исход Из-за изменений в процессах, люди, привыкшие делать релизы долго,

    начали уходить. @22
  23. Исход Из-за изменений в процессах, люди, привыкшие делать релизы долго,

    начали уходить. Меньше людей - меньше тестов. Меньше тестов - больше багов. @23
  24. Исход Из-за изменений в процессах, люди, привыкшие делать релизы долго,

    начали уходить. Меньше людей - меньше тестов. Меньше тестов - больше багов. Но я увидел что почти ничего не изменилось. @24
  25. @25

  26. Подивились и пошли автоматизировать • Автоматизация не остановилась • Тесты

    поддерживали и развивали • Ожидали улучшений @26
  27. Подивились и пошли автоматизировать • Автоматизация не остановилась • Тесты

    поддерживали и развивали • Ожидали улучшений • И мы увидели... @27
  28. @28

  29. @29

  30. Двигаемся по плану • Какое наследие есть из чего состоит

    ландшафт • Что болело и внезапные симптомы • Как лечили @30
  31. Всё странное становится ясным При ближайшем рассмотрении оказалось, что: •

    Тестов много, но нарастали они эволюционно • Автотесты флапают и их приходится постоянно перепроверять руками @31
  32. Всё странное становится ясным При ближайшем рассмотрении оказалось, что: •

    Тестов много, но нарастали они эволюционно • Автотесты флапают и их приходится постоянно перепроверять руками • Бизнесу критично буквально ВСЁ @32
  33. Всё странное становится ясным При ближайшем рассмотрении оказалось, что: •

    Тестов много, но нарастали они эволюционно • Автотесты флапают и их приходится постоянно перепроверять руками • Бизнесу критично буквально ВСЁ • Тесты покрывают функционал, но не имеют приоритетов @33
  34. @34

  35. Так жить нельзя. Но как мы хотим? • Понять, что

    действительно важно • Делать только то, что нужно делать сейчас • То, что делать сейчас не нужно либо убирать, либо назначать время когда надо сделать • Разговаривать о важности не на эмоциях, а на основе чётких критериев @35
  36. Так жить нельзя. Но как мы хотим? • Понять, что

    действительно важно • Делать только то, что нужно делать сейчас • То, что делать сейчас не нужно либо убирать, либо назначать время когда надо сделать • Разговаривать о важности не на эмоциях, а на основе чётких критериев А кто у нас должен знать приоритетность?... @36
  37. Сходить за экспертизой в бизнес @37

  38. Три подхода с увеличением веса • Собрать и каталогизировать функциональность

    @38
  39. Три подхода с увеличением веса • Собрать и каталогизировать функциональность

    • Расставить собственные приоритеты @39
  40. Три подхода с увеличением веса • Собрать и каталогизировать функциональность.

    • Расставить собственные приоритеты • Вовлечь бизнес, чтобы приоритеты были согласованы. @40
  41. Финальный подход с владельцами продуктов Самый сложный. @41

  42. Финальный подход с владельцами продуктов Самый сложный. В каждом случае

    появлялось что-то неожиданное. @42
  43. Финальный подход с владельцами продуктов Самый сложный. В каждом случае

    появлялось что-то неожиданное. Каждый раз что-то придумывали. @43
  44. Финальный подход с владельцами продуктов Самый сложный. В каждом случае

    появлялось что-то неожиданное. Каждый раз что-то придумывали. И каждый раз ловили инсайты. @44
  45. Двигаемся по плану • Какое наследие есть из чего состоит

    ландшафт • Что болело и внезапные симптомы • Как лечили • Как шел процесс по направлениям @45
  46. Платформа электронные издания • Подготовка 1 месяц • Первое согласование

    - 2 часа • Второе согласование - 1 час • … выставление оставшихся приоритетов перенесли в офлайн @46
  47. Платформа электронные издания • Подготовка 1 месяц • Первое согласование

    - 2 часа • Второе согласование - 1 час • … выставление оставшихся приоритетов перенесли в офлайн • Итого 6 недель @47
  48. Жизнь заиграла новыми красками • Количество влетающих “А-а-а надо срочно

    в разработку и хотфикс” уменьшилось в 25 раз @48
  49. Жизнь заиграла новыми красками • Количество влетающих “А-а-а надо срочно

    в разработку и хотфикс” уменьшилось в 25 раз • У тестировщиков появилось 20% времени, которые забрали от влетающих задач @49
  50. Жизнь заиграла новыми красками • Количество влетающих “А-а-а надо срочно

    в разработку и хотфикс” уменьшилось в 25 раз • У тестировщиков появилось 20% времени, которые забрали от влетающих задач • А главное - убрались те самые хотфиксы, которые могли вполне себе ждать обычного релиза и не заставлять людей прыгать с задачи на задачу. @50
  51. Платформа Школы • Подготовка 1 месяц • Первое согласование 15

    минут и … FAIL • Одинаковая функциональность имеет разный приоритет @51
  52. Платформа Школы • Подготовка 1 месяц • Первое согласование 15

    минут и … FAIL • Одинаковая функциональность имеет разный приоритет • Как итог - ещё 3 недели на перестройку приоритизации и новый маппинг • Функционала меньше, но времени потратили больше, потому что потребовался другой подход @52
  53. Платформа Школы • Количество влетающих “Это не приемлемо” меньше в

    3 раза @53
  54. Платформа Школы • Количество влетающих “Это не приемлемо” меньше в

    3 раза • У тестировщиков появилось +10% времени, которые раньше занимали влетающие задачи @54
  55. Платформа Школы • Количество влетающих “Это не приемлемо” меньше в

    3 раза • У тестировщиков появилось +10% времени, которые раньше занимали влетающие задачи • Появилось понимание что важно, а что нет и почему @55
  56. Платформа Школы • Количество влетающих “Это не приемлемо” меньше в

    3 раза • У тестировщиков появилось +10% времени, которые раньше занимали влетающие задачи • Появилось понимание что важно, а что нет и почему • Ну и перестали тратить время на переключение между задачами @56
  57. Платформа справочные системы: Поиск @57

  58. Платформа справочные системы: Поиск • Утром - проверить. @58

  59. Платформа справочные системы: Поиск • Утром - проверить. • Днём

    - проверить. @59
  60. Платформа справочные системы: Поиск • Утром - проверить. • Днём

    - проверить. • Вечером - проверить. @60
  61. Платформа справочные системы: Поиск • Утром - проверить. • Днём

    - проверить. • Вечером - проверить. • О всех проблемах сообщить напрямую. • Добиваться быстрейшего решения проблем. @61
  62. Что происходит? • Тестируем? Да. • Несогласованные изменения делаем? Вроде

    нет. • Мы можем что-то пропустить? Да, но не столько же! @62
  63. Давайте разбираться • Сделали свой список функциональности • Сделали на

    основе заводимых инцидентов дополнительный список • Расписали свои приоритеты • Выдали результат владельцу для проставления его приоритетов в режиме офлайна • 1 неделя… @63
  64. Давайте разбираться • Сделали свой список функциональности • Сделали на

    основе заводимых инцидентов дополнительный список • Расписали свои приоритеты • Выдали результат владельцу для проставления его приоритетов в режиме офлайна • 1 неделя… • PROFIT! Поток инцидентов снизился в 4 раза. Разобрались где качество контента, которое мы не контролируем, а где качество функционала. @64
  65. Нет ли рецидивов? @65

  66. Двигаемся по плану • Какое наследие есть из чего состоит

    ландшафт • Что болело и внезапные симптомы • Как лечили • Как шел процесс по направлениям • Закрепление результатов @66
  67. Поддержка помогает разработке • Управление инцидентами • Регистрация инцидентов с

    шагами воспроизведения • Приоритизация на уровне поддержки • SLA на фиксы в зависимости от приоритета @67
  68. Цифры поддержки @68

  69. А что с NPS? @69

  70. А что с NPS? @70

  71. Двигаемся по плану • Какое наследие есть из чего состоит

    ландшафт • Что болело и внезапные симптомы • Как лечили • Как шел процесс по направлениям • Закрепление результатов • Итого @71
  72. @72

  73. @73

  74. Сколько было инцидентов по месяцам 2018-2019 Месяц Электронные Издания Школы

    Справочные Cентябрь 106 11 110 Октябрь 203 12 112 Ноябрь 106 1 29 Декабрь 4 5 19 Январь 1 0 19 Февраль 1 3 26 @74
  75. Что мы получили в итоге • Понимание того что важно

    и нужно срочно исправлять, а что может ждать следующего релиза • Понимание того что можно выкинуть из регресса, а что нужно включить • План на покрытие автоматизацией • Вычеркнули из тестовых наборов более 2000 кейсов • В итоге у нас сейчас чуть больше 3000, но актуальных кейсов, половина из которых покрыта автоматизацией • Существенную экономию времени • Управление инцидентами и повышение качества поддержки @75
  76. @76

  77. email: qad@action-media.ru
 telegram: @TestHead
 LinkedIn: https://goo.gl/UCyHBs 
 @77

  78. Backup @78

  79. Языки и инструменты Management: Atlassian Data storage: M$SQL, PGSQL, MySQL

    Lang Dev: C#, .Net Core, PHP, JS React Lang test: Java, PHP Containerz: Docker, Nomad, Kubernetes CI: Jenkins, pilot Gitlab And other lots of stuff... @79