Slide 1
Slide 1 text
Как улучшить эффективность
не применяя инноваций
Как хорошая приоритизация меняет трудозатраты
Михаил
Косыхин
QA директор Актион Технологии
@1
Slide 2
Slide 2 text
Привет
Я Михаил Косыхин.
Директор по качеству Актион Технологии.
Более 10 лет в тестировании.
Прошел путь от тестера руками до директора, заходя в
аналитику и проджекты.
Работал в стартапах, интеграторах, банках,
eCommerce, а сейчас работаю в контентном бизнесе.
@2
Slide 3
Slide 3 text
Двигаемся по плану
● Какое наследие есть из чего состоит ландшафт
● Что болело и внезапные симптомы
● Как лечили
● Как шел процесс по направлениям
● Закрепление результатов
● Итого
@3
Slide 4
Slide 4 text
Двигаемся по плану
● Какое наследие есть из чего состоит ландшафт
@4
Slide 5
Slide 5 text
Немного о том, кто мы
Актион-Технологии - это ИТ- подразделение одного из
крупнейших в Европе медиахолдингов.
● 200+ человек в ИТ, и мы растём
● 24 года на рынке профмедиа
● №1 в России и восточной Европе, в 10 раз больше
ближайшего конкурента
● 2500+ сотрудников
● 10 млн. MAU
● 8 млрд выручка рублей в год - все по-взрослому
@5
Slide 6
Slide 6 text
Как выглядит бизнес
@6
● Бухгалтерия
● Финансы
● Госфинансы и Госзаказ
● Право
● Кадры и охрана труда
● HR и секретариат
● Медицина и Культура
● Образование
Slide 7
Slide 7 text
Как выглядит бизнес
@7
● Бухгалтерия
● Финансы
● Госфинансы и Госзаказ
● Право
● Кадры и охрана труда
● HR и секретариат
● Медицина и Культура
● Образование
Электронные
издания
Slide 8
Slide 8 text
Как выглядит бизнес
@8
● Бухгалтерия
● Финансы
● Госфинансы и Госзаказ
● Право
● Кадры и охрана труда
● HR и секретариат
● Медицина и Культура
● Образование
Электронные
издания
Справочные
системы
Slide 9
Slide 9 text
Как выглядит бизнес
@9
● Бухгалтерия
● Финансы
● Госфинансы и Госзаказ
● Право
● Кадры и охрана труда
● HR и секретариат
● Медицина и Культура
● Образование
Электронные
издания
Справочные
системы
Школы
Slide 10
Slide 10 text
Что имеем
● Вроде всё одинаково…
@10
Slide 11
Slide 11 text
Что имеем
● Вроде всё одинаково…
● Но для каждой версии есть свои фишки
@11
Slide 12
Slide 12 text
Что имеем
● Вроде всё одинаково…
● Но для каждой версии есть свои фишки
● И они наследуются от базовой версии…
@12
Slide 13
Slide 13 text
Что имеем
● Вроде всё одинаково…
● Но для каждой версии есть свои фишки
● И они наследуются от базовой версии
● Каждая фишка в общем вроде не важна...
@13
Slide 14
Slide 14 text
Что имеем
● Вроде всё одинаково…
● Но для каждой версии есть свои фишки
● И они наследуются от базовой версии
● Каждая фишка в общем вроде не важна...
● Но для конкретного направления критична
@14
Slide 15
Slide 15 text
Что имеем
● Вроде всё одинаково…
● Но для каждой версии есть свои фишки
● И они наследуются от базовой версии
● Каждая фишка в общем вроде не важна...
● Но для конкретного направления критична
● Тысяча надстроек над тысячей деталей
@15
Slide 16
Slide 16 text
Чем всё это было покрыто
● 20 тестировщиков
● 3 выделенных автоматизатора
● Больше 5000 кейсов
● Больше 2000 автоматизированных тестов
@16
Slide 17
Slide 17 text
Двигаемся по плану
● Какое наследие есть из чего состоит ландшафт
● Что болело и внезапные симптомы
@17
Slide 18
Slide 18 text
Влетающие задачи тормозили поток разработки
Влетающие задачи ломали
спринты и делали даже
небольшие проекты, которые
можно сделать за месяц,
монстрами, которые
разрабатывают целый год.
@18
Slide 19
Slide 19 text
Расширенный список проблем
● Проекты растягивались по срокам
● На выходе много жалоб на качество
● Команды, утопают в критичных©™ инцидентах и
дефектах и не понимают за что хвататься в
первую очередь
● И всё это при неплохом покрытии автоматизацией
@19
Slide 20
Slide 20 text
Сколько было инцидентов по месяцам
Месяц Сентябрь Октябрь
Электронные
Издания
106 203
Школы 11 12
Справочные 110 112
@20
Slide 21
Slide 21 text
@21
Slide 22
Slide 22 text
Исход
Из-за изменений в процессах, люди,
привыкшие делать релизы долго, начали
уходить.
@22
Slide 23
Slide 23 text
Исход
Из-за изменений в процессах, люди,
привыкшие делать релизы долго, начали
уходить.
Меньше людей - меньше тестов. Меньше
тестов - больше багов.
@23
Slide 24
Slide 24 text
Исход
Из-за изменений в процессах, люди,
привыкшие делать релизы долго, начали
уходить.
Меньше людей - меньше тестов. Меньше
тестов - больше багов.
Но я увидел что почти ничего не
изменилось.
@24
Slide 25
Slide 25 text
@25
Slide 26
Slide 26 text
Подивились и пошли автоматизировать
● Автоматизация не остановилась
● Тесты поддерживали и развивали
● Ожидали улучшений
@26
Slide 27
Slide 27 text
Подивились и пошли автоматизировать
● Автоматизация не остановилась
● Тесты поддерживали и развивали
● Ожидали улучшений
● И мы увидели...
@27
Slide 28
Slide 28 text
@28
Slide 29
Slide 29 text
@29
Slide 30
Slide 30 text
Двигаемся по плану
● Какое наследие есть из чего состоит ландшафт
● Что болело и внезапные симптомы
● Как лечили
@30
Slide 31
Slide 31 text
Всё странное становится ясным
При ближайшем рассмотрении оказалось, что:
● Тестов много, но нарастали они эволюционно
● Автотесты флапают и их приходится постоянно
перепроверять руками
@31
Slide 32
Slide 32 text
Всё странное становится ясным
При ближайшем рассмотрении оказалось, что:
● Тестов много, но нарастали они эволюционно
● Автотесты флапают и их приходится постоянно
перепроверять руками
● Бизнесу критично буквально ВСЁ
@32
Slide 33
Slide 33 text
Всё странное становится ясным
При ближайшем рассмотрении оказалось, что:
● Тестов много, но нарастали они эволюционно
● Автотесты флапают и их приходится постоянно
перепроверять руками
● Бизнесу критично буквально ВСЁ
● Тесты покрывают функционал, но не имеют
приоритетов
@33
Slide 34
Slide 34 text
@34
Slide 35
Slide 35 text
Так жить нельзя. Но как мы хотим?
● Понять, что действительно важно
● Делать только то, что нужно делать сейчас
● То, что делать сейчас не нужно либо убирать,
либо назначать время когда надо сделать
● Разговаривать о важности не на эмоциях, а
на основе чётких критериев
@35
Slide 36
Slide 36 text
Так жить нельзя. Но как мы хотим?
● Понять, что действительно важно
● Делать только то, что нужно делать сейчас
● То, что делать сейчас не нужно либо убирать,
либо назначать время когда надо сделать
● Разговаривать о важности не на эмоциях, а
на основе чётких критериев
А кто у нас должен знать приоритетность?...
@36
Slide 37
Slide 37 text
Сходить за экспертизой в бизнес
@37
Slide 38
Slide 38 text
Три подхода с увеличением веса
● Собрать и каталогизировать функциональность
@38
Slide 39
Slide 39 text
Три подхода с увеличением веса
● Собрать и каталогизировать функциональность
● Расставить собственные приоритеты
@39
Slide 40
Slide 40 text
Три подхода с увеличением веса
● Собрать и каталогизировать функциональность.
● Расставить собственные приоритеты
● Вовлечь бизнес, чтобы приоритеты
были согласованы.
@40
Slide 41
Slide 41 text
Финальный подход с владельцами продуктов
Самый сложный.
@41
Slide 42
Slide 42 text
Финальный подход с владельцами продуктов
Самый сложный.
В каждом случае появлялось что-то неожиданное.
@42
Slide 43
Slide 43 text
Финальный подход с владельцами продуктов
Самый сложный.
В каждом случае появлялось что-то неожиданное.
Каждый раз что-то придумывали.
@43
Slide 44
Slide 44 text
Финальный подход с владельцами продуктов
Самый сложный.
В каждом случае появлялось что-то неожиданное.
Каждый раз что-то придумывали.
И каждый раз ловили инсайты.
@44
Slide 45
Slide 45 text
Двигаемся по плану
● Какое наследие есть из чего состоит ландшафт
● Что болело и внезапные симптомы
● Как лечили
● Как шел процесс по направлениям
@45
Slide 46
Slide 46 text
Платформа электронные издания
● Подготовка 1 месяц
● Первое согласование - 2 часа
● Второе согласование - 1 час
● … выставление оставшихся приоритетов
перенесли в офлайн
@46
Slide 47
Slide 47 text
Платформа электронные издания
● Подготовка 1 месяц
● Первое согласование - 2 часа
● Второе согласование - 1 час
● … выставление оставшихся приоритетов
перенесли в офлайн
● Итого 6 недель
@47
Slide 48
Slide 48 text
Жизнь заиграла новыми красками
● Количество влетающих “А-а-а надо срочно в
разработку и хотфикс” уменьшилось в 25 раз
@48
Slide 49
Slide 49 text
Жизнь заиграла новыми красками
● Количество влетающих “А-а-а надо срочно в
разработку и хотфикс” уменьшилось в 25 раз
● У тестировщиков появилось 20% времени, которые
забрали от влетающих задач
@49
Slide 50
Slide 50 text
Жизнь заиграла новыми красками
● Количество влетающих “А-а-а надо срочно в
разработку и хотфикс” уменьшилось в 25 раз
● У тестировщиков появилось 20% времени, которые
забрали от влетающих задач
● А главное - убрались те самые хотфиксы, которые
могли вполне себе ждать обычного релиза и не
заставлять людей прыгать с задачи на задачу.
@50
Slide 51
Slide 51 text
Платформа Школы
● Подготовка 1 месяц
● Первое согласование 15 минут и … FAIL
● Одинаковая функциональность имеет разный
приоритет
@51
Slide 52
Slide 52 text
Платформа Школы
● Подготовка 1 месяц
● Первое согласование 15 минут и … FAIL
● Одинаковая функциональность имеет разный
приоритет
● Как итог - ещё 3 недели на перестройку
приоритизации и новый маппинг
● Функционала меньше, но времени
потратили больше, потому что
потребовался другой подход
@52
Slide 53
Slide 53 text
Платформа Школы
● Количество влетающих “Это не приемлемо”
меньше в 3 раза
@53
Slide 54
Slide 54 text
Платформа Школы
● Количество влетающих “Это не приемлемо”
меньше в 3 раза
● У тестировщиков появилось +10% времени,
которые раньше занимали влетающие задачи
@54
Slide 55
Slide 55 text
Платформа Школы
● Количество влетающих “Это не приемлемо”
меньше в 3 раза
● У тестировщиков появилось +10% времени,
которые раньше занимали влетающие задачи
● Появилось понимание что важно, а что нет и
почему
@55
Slide 56
Slide 56 text
Платформа Школы
● Количество влетающих “Это не приемлемо”
меньше в 3 раза
● У тестировщиков появилось +10% времени,
которые раньше занимали влетающие задачи
● Появилось понимание что важно, а что нет и
почему
● Ну и перестали тратить время на
переключение между задачами
@56
Slide 57
Slide 57 text
Платформа справочные системы: Поиск
@57
Slide 58
Slide 58 text
Платформа справочные системы: Поиск
● Утром - проверить.
@58
Slide 59
Slide 59 text
Платформа справочные системы: Поиск
● Утром - проверить.
● Днём - проверить.
@59
Slide 60
Slide 60 text
Платформа справочные системы: Поиск
● Утром - проверить.
● Днём - проверить.
● Вечером - проверить.
@60
Slide 61
Slide 61 text
Платформа справочные системы: Поиск
● Утром - проверить.
● Днём - проверить.
● Вечером - проверить.
● О всех проблемах сообщить напрямую.
● Добиваться быстрейшего решения проблем.
@61
Slide 62
Slide 62 text
Что происходит?
● Тестируем? Да.
● Несогласованные изменения делаем? Вроде нет.
● Мы можем что-то пропустить? Да, но не столько же!
@62
Slide 63
Slide 63 text
Давайте разбираться
● Сделали свой список функциональности
● Сделали на основе заводимых инцидентов
дополнительный список
● Расписали свои приоритеты
● Выдали результат владельцу для проставления
его приоритетов в режиме офлайна
● 1 неделя…
@63
Slide 64
Slide 64 text
Давайте разбираться
● Сделали свой список функциональности
● Сделали на основе заводимых инцидентов
дополнительный список
● Расписали свои приоритеты
● Выдали результат владельцу для проставления
его приоритетов в режиме офлайна
● 1 неделя…
● PROFIT! Поток инцидентов снизился в 4 раза.
Разобрались где качество контента, которое мы
не контролируем, а где качество функционала.
@64
Slide 65
Slide 65 text
Нет ли рецидивов?
@65
Slide 66
Slide 66 text
Двигаемся по плану
● Какое наследие есть из чего состоит ландшафт
● Что болело и внезапные симптомы
● Как лечили
● Как шел процесс по направлениям
● Закрепление результатов
@66
Slide 67
Slide 67 text
Поддержка помогает разработке
● Управление инцидентами
● Регистрация инцидентов с шагами воспроизведения
● Приоритизация на уровне поддержки
● SLA на фиксы в зависимости от приоритета
@67
Slide 68
Slide 68 text
Цифры поддержки
@68
Slide 69
Slide 69 text
А что с NPS?
@69
Slide 70
Slide 70 text
А что с NPS?
@70
Slide 71
Slide 71 text
Двигаемся по плану
● Какое наследие есть из чего состоит ландшафт
● Что болело и внезапные симптомы
● Как лечили
● Как шел процесс по направлениям
● Закрепление результатов
● Итого
@71
Slide 72
Slide 72 text
@72
Slide 73
Slide 73 text
@73
Slide 74
Slide 74 text
Сколько было инцидентов по месяцам 2018-2019
Месяц Электронные Издания Школы Справочные
Cентябрь 106 11 110
Октябрь 203 12 112
Ноябрь 106 1 29
Декабрь 4 5 19
Январь 1 0 19
Февраль 1 3 26
@74
Slide 75
Slide 75 text
Что мы получили в итоге
● Понимание того что важно и нужно срочно исправлять, а что может
ждать следующего релиза
● Понимание того что можно выкинуть из регресса, а что нужно включить
● План на покрытие автоматизацией
● Вычеркнули из тестовых наборов более 2000 кейсов
● В итоге у нас сейчас чуть больше 3000, но актуальных кейсов, половина
из которых покрыта автоматизацией
● Существенную экономию времени
● Управление инцидентами и повышение
качества поддержки
@75
Slide 76
Slide 76 text
@76
Slide 77
Slide 77 text
email: [email protected]
telegram: @TestHead
LinkedIn: https://goo.gl/UCyHBs
@77
Slide 78
Slide 78 text
Backup
@78
Slide 79
Slide 79 text
Языки и инструменты
Management: Atlassian
Data storage: M$SQL, PGSQL, MySQL
Lang Dev: C#, .Net Core, PHP, JS React
Lang test: Java, PHP
Containerz: Docker, Nomad,
Kubernetes
CI: Jenkins, pilot
Gitlab
And other lots of stuff...
@79