Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Улучшая performance review

Egor Tolstoy
February 09, 2018

Улучшая performance review

автоматизировали процесс его проведения, изучили много паттернов и антипаттернов поведения людей и научились извлекать пользу из собранных данных помимо получения обратной связи.

Я расскажу о том, как мы итеративно развивали процесс performance review, учась на своих ошибках. А в процессе этого провели несколько раундов ревью 300 сотрудников, собрали 5200 оценок, проанализировали их и классифицировали всех участников по разным профилям.

Egor Tolstoy

February 09, 2018
Tweet

More Decks by Egor Tolstoy

Other Decks in Technology

Transcript

  1. Улучшая Performance
    Review
    Егор Толстой, Avito

    View Slide

  2. !

    View Slide

  3. "

    View Slide

  4. "

    View Slide

  5. "

    View Slide

  6. "

    View Slide

  7. универсальный процесс performance
    review для %COMPANY_NAME%

    View Slide

  8. универсальный процесс
    performance review для
    %COMPANY_NAME%
    это не нужно

    View Slide

  9. универсальный процесс
    performance review для
    %COMPANY_NAME%
    это не нужно
    устройство performance review
    в Avito

    View Slide

  10. универсальный процесс
    performance review для
    %COMPANY_NAME%
    это не нужно
    устройство performance
    review в Avito
    это будет

    View Slide

  11. универсальный процесс
    performance review для
    %COMPANY_NAME%
    это не нужно
    устройство performance
    review в Avito
    паттерны поведения, аналитика,
    конкретные практики и инсайты
    это будет

    View Slide

  12. универсальный процесс
    performance review для
    %COMPANY_NAME%
    это не нужно
    устройство performance
    review в Avito
    это будет
    паттерны поведения,
    аналитика, конкретные
    практики и инсайты
    это плюшки

    View Slide

  13. универсальный процесс
    performance review для
    %COMPANY_NAME%
    это не нужно
    устройство performance
    review в Avito
    паттерны поведения,
    аналитика, конкретные
    практики и инсайты
    это плюшки
    continuous improvement в performance
    review
    это будет

    View Slide

  14. универсальный процесс
    performance review для
    %COMPANY_NAME%
    это не нужно
    устройство performance
    review в Avito
    паттерны поведения,
    аналитика, конкретные
    практики и инсайты
    это плюшки
    а вот это – реально важно
    continuous
    improvement в
    performance review
    это будет

    View Slide

  15. улучшая
    performance
    review

    View Slide

  16. что имеем сейчас
    как развивались
    куда еще расти

    View Slide

  17. что имеем сейчас
    как развивались
    куда еще расти

    View Slide

  18. Performance review
    – это инструмент измерения
    продуктивности

    View Slide

  19. ты твой тимлид компания
    !
    "

    View Slide

  20. "

    View Slide

  21. регулярная рефлексия
    "

    View Slide

  22. "'(
    влияние на коллег

    View Slide

  23. "(
    суперкрутой фидбэк

    View Slide

  24. !

    View Slide

  25. тушение пожаров
    ! "

    View Slide

  26. эффективность команды
    !

    View Slide

  27. View Slide

  28. выравнивание целей
    сотрудника и компании
    "

    View Slide

  29. январь март май июль сентябрь ноябрь
    февраль апрель июнь август октябрь декабрь
    Q1 review
    Q2 review
    Q3 review
    Q4 review
    Процесс review

    View Slide

  30. Оцениваемый
    проводит self review
    Руководитель
    запускает процесс
    Руководитель дает
    обратную связь
    Оцениваемый
    выбирает респондентов
    Респонденты заполняют
    опросник
    Процесс review

    View Slide

  31. Оцениваемый проводит self review

    View Slide

  32. Оцениваемый выбирает респондентов
    Зиновьев Константин
    Разработчик мобильных приложений
    Менеджер
    Непосредственный руководитель
    Стейкхолдеры
    Заказчики ваших услуг
    Пиры
    Коллеги, с которыми вы работаете
    Подчиненные
    Формальные и неформальные

    View Slide

  33. Руководитель запускает процесс
    • Выполнил OKR юнита
    • Прочитал Танненбаума
    • Выступил на 5 митапах
    • Прошел все Uncharted
    • Немного задержал релиз
    Менеджер Кости
    Руководитель группы разработки

    View Slide

  34. Руководитель запускает процесс
    Менеджер Кости
    Руководитель группы разработки

    View Slide

  35. Руководитель запускает процесс

    View Slide

  36. Коллега Кости из другого юнита
    Разработчик мобильных приложений
    Респонденты заполняют опросник

    View Slide

  37. Респонденты заполняют опросник
    Коллега Кости из другого юнита
    Разработчик мобильных приложений
    • Делал редизайн карточки
    объявления в рамках OKR
    • Прочитал Танненбаума
    • Выступил на 3 митапах
    • На 5 дней задержал релиз
    Ожидания:
    • Мобильный разработчик
    • Наставник
    • Участник юнита

    View Slide

  38. Респонденты заполняют опросник
    • Делал редизайн карточки
    объявления в рамках OKR
    • Прочитал Танненбаума
    • Выступил на 3 митапах
    • На 5 дней задержал релиз
    Ожидания:
    • Мобильный разработчик
    • Наставник
    • Участник юнита
    Коллега Кости из другого юнита
    Разработчик мобильных приложений

    View Slide

  39. Респонденты заполняют опросник
    Оценка:

    «Ниже ожиданий»
    Коллега Кости из другого юнита
    Разработчик мобильных приложений
    Комментарии к оценке:

    «Вместо того, чтобы обратиться за помощью,
    неделями закапывается в проблему сам.
    Кроме того, пока не начал ориентироваться
    в компании»

    View Slide

  40. Руководитель дает обратную связь
    (Manager.Avg + Stakeholder.Avg + Peers.Avg + Subordinates.Avg)
    4

    View Slide

  41. Руководитель дает обратную связь
    Оценка,

    обратная связь,
    обсуждение
    Зиновьев Константин
    Разработчик мобильных приложений
    Менеджер Кости
    Руководитель группы разработки

    View Slide

  42. что имеем сейчас
    как развивались
    куда еще расти

    View Slide

  43. Анонимность

    View Slide

  44. Анонимность
    все видят всё
    обезличенный фидбэк
    итоги от менеджера

    View Slide

  45. Анонимность
    все видят всё
    обезличенный фидбэк
    итоги от менеджера
    Иван Петров
    Работать с Константином не стал
    бы, если бы мне дали такой
    выбор. Он никогда не попадает в
    оценки, провоцирует конфликты,
    жарит рыбу в микроволновке!
    Владимир Иванов
    Костя – самый сильный
    программист из всех, что я видел.
    Может делать и быстро, и
    качественно.

    View Slide

  46. Анонимность
    все видят всё
    обезличенный фидбэк
    итоги от менеджера
    Работать с Константином не стал бы, если
    бы мне дали такой выбор. Он никогда не
    попадает в оценки, провоцирует
    конфликты, жарит рыбу в микроволновке!
    Костя – самый сильный программист из
    всех, что я видел. Может делать и быстро,
    и качественно.

    View Slide

  47. Анонимность
    Анонимный чувак
    ???
    Комментарии к оценке:

    «В своей команде занимается только
    разработчиками и тестировщиками. На
    взаимодействие с дизайнером вообще не
    обращает внимание, а хочется, чтобы
    пытался вовлекать»

    View Slide

  48. Анонимность
    Анонимный чувак
    ???
    Комментарии к оценке:

    «Слышал мнение, что он управляет
    командой недостаточно эффективно»

    View Slide

  49. Анонимность
    все видят всё
    обезличенный фидбэк
    итоги от менеджера
    Плюсы:
    - Делает быстро
    - Делает качественно
    Минусы:
    - Не попадает в оценки
    - Конфликтный
    - Жарит рыбу

    View Slide

  50. Анонимность
    Обезличенный
    фидбэк
    Воспитательные
    работы
    Часть
    сотрудников
    видят всё
    Все видят всё, за
    редким
    исключением

    View Slide

  51. Анонимность
    Обезличенный
    фидбэк
    Воспитательные
    работы
    Часть
    сотрудников
    видят всё
    Все видят всё, за
    редким
    исключением

    View Slide

  52. Анонимность
    Обезличенный
    фидбэк
    Воспитательные
    работы
    Часть
    сотрудников
    видят всё
    Все видят всё, за
    редким
    исключением

    View Slide

  53. Анонимность
    Обезличенный
    фидбэк
    Воспитательные
    работы
    Часть
    сотрудников
    видят всё
    Все видят всё, за
    редким
    исключением

    View Slide

  54. Работа с данными

    View Slide

  55. 9.655
    оценок
    0
    1.412
    респондентов
    1
    1.015
    оцениваемых
    3 квартала

    View Slide

  56. Сколько нужно респондентов
    - Оптимальное количество
    респондентов в ревью – 9-11
    человек

    - Это средний размер
    команды плюс 2-3 внешних
    контакта

    - Есть хвосты из маленьких
    команд и менеджеров с
    большим нетворкингом

    View Slide

  57. Сколько тратить времени
    - Большинство проводят до
    11 ревью за период


    - Средняя
    продолжительность ревью –
    около 10 минут


    - С учётом фокус-фактора, у
    респондента уходит до 4
    часов в квартал на ревью

    View Slide

  58. Распределение оценок
    - Средний балл – 3,47,
    есть сильный перекос в
    сторону 4


    - Две гипотезы: не
    умеем справедливо
    оценивать, либо часть
    людей не на своих
    местах
    Q2

    View Slide

  59. Распределение оценок
    - Средний балл – 3,27


    - Доля 4 и 5 резко
    упала после
    проработки обеих
    гипотез прошлого
    квартала
    Q2
    Q3

    View Slide

  60. Распределение оценок
    - Средний балл – 3,25,
    дельта с прошлым
    кварталом – 0,02


    - Форма гистограммы
    также не меняется
    Q2
    Q3
    Q4

    View Slide

  61. Распределение оценок
    - Между последними двумя
    кварталами процесс
    стабилизировался. Основное опасение
    – большое количество 3 и очень
    малое – 2 и 1.
    Q2
    Q3
    Q4
    3,47
    3,27
    3,25

    View Slide

  62. Влияние групп на оценки
    - Гипотеза: люди склонны
    завышать оценки своей
    команде и занижать
    остальным

    - Различие между оценками
    в среднем в районе 0,03
    балла


    - На концах интервала
    расхождение не больше 0,5
    баллов в обе стороны

    View Slide

  63. Влияние ролей на оценки
    - Гипотеза: выполняемая
    роль влияет на оценки

    - Различие между оценками
    ролей достигало 0,37 на
    старте, сейчас – 0,07


    - Менеджеры – самые
    жесткие ребята

    View Slide


  64. Справедливость
    Доброта Трудолюбие

    View Slide

  65. Характеристики:

    - Дал более 4 оценок
    - Средний балл выше 4,1
    - Отсутствуют 1 и 2
    Осип Борзилов
    Оценил: 4
    Средняя: 5,00
    Оскар Белоусов
    Оценил: 4
    Средняя: 4,75
    Иван Челомцев
    Оценил: 7
    Средняя: 4,67
    Денис Султанов
    Оценил: 10
    Средняя: 4,43

    View Slide

  66. Характеристики:

    - Дал более 4 оценок
    - Средний балл ниже 2,7
    - Отсутствуют 4 и 5
    Осип Борзилов
    Оценил: 6
    Средняя: 2,50
    Оскар Белоусов
    Оценил: 6
    Средняя: 2,50
    Иван Челомцев
    Оценил: 6
    Средняя: 2,67
    Денис Султанов
    Оценил: 7
    Средняя: 2,67

    View Slide

  67. Характеристики:

    - Дал более 8 оценок
    - Средний балл – 3,0
    - Дисперсия – 0
    - Комментарий < 500 знаков
    Осип Борзилов
    Оценил: 12
    Средняя: 3
    Оскар Белоусов
    Оценил: 11
    Средняя: 3
    Иван Челомцев
    Оценил: 11
    Средняя: 3
    Денис Султанов
    Оценил: 8
    Средняя: 3
    Дисперсия: 0
    Дисперсия: 0
    Дисперсия: 0
    Дисперсия: 0

    View Slide

  68. Стратегия вырожденной группы
    - Итоговая оценка – среднее
    по группам

    - Оценка группы – среднее
    по участникам

    - Если в группе один
    оценщик, он получает очень
    большой вес
    5 коллег
    3 + 3 + 2 + 2 + 3
    1 стейкхолдер
    X
    +
    3 подчиненных
    3 + 3 + 3
    +
    2,6 + X + 3
    3
    X = 1, результат 2,2
    X = 3, результат 2,9
    X = 5, результат 3,5
    =>

    View Slide

  69. Нормализация оценок
    - score – текущая оценка
    - avg_author_score – средняя
    оценка респондента
    - 3 – средний уровень оценок
    по компании
    score - avg_author_score + 3
    if count > 3
    else score

    View Slide

  70. Нормализация оценок
    score - avg_author_score + 3
    if count > 3
    else score
    score:
    4,3
    4
    нормализованный итог: 4 - 4,3 + 3 = 2,7
    Нормализация оценок добряков
    - score – текущая оценка
    - avg_author_score – средняя
    оценка респондента
    - 3 – средний уровень оценок
    по компании

    View Slide

  71. Нормализация оценок
    score - avg_author_score + 3
    if count > 3
    else score
    score:
    4,3
    2
    нормализованный итог: 2 - 4,3 + 3 = 0,7
    Нормализация оценок добряков
    - score – текущая оценка
    - avg_author_score – средняя
    оценка респондента
    - 3 – средний уровень оценок
    по компании

    View Slide

  72. Нормализация оценок
    score - avg_author_score + 3
    if count > 3
    else score
    score:
    2,4
    2
    нормализованный итог: 2 - 2,4 + 3 = 2,6
    Нормализация оценок справедливых
    - score – текущая оценка
    - avg_author_score – средняя
    оценка респондента
    - 3 – средний уровень оценок
    по компании

    View Slide

  73. Нормализация оценок
    score - avg_author_score + 3
    if count > 3
    else score
    score:
    2,4
    4
    нормализованный итог: 4 - 2,4 + 3 = 4,6
    Нормализация оценок справедливых
    - score – текущая оценка
    - avg_author_score – средняя
    оценка респондента
    - 3 – средний уровень оценок
    по компании

    View Slide

  74. Нормализация оценок
    Perfomance score
    Сильно ниже
    ожиданий
    Ниже
    ожиданий
    Соответствует
    ожиданиям
    Превышает
    ожидания
    Сильно
    превышает
    ожидания
    Нормализованный итог
    Сильно ниже
    ожиданий
    Ниже
    ожиданий
    Соответствует
    ожиданиям
    Превышает
    ожидания
    Сильно
    превышает
    ожидания

    View Slide

  75. Нормализация оценок
    Perfomance score
    Сильно ниже
    ожиданий
    Ниже
    ожиданий
    Соответствует
    ожиданиям
    Превышает
    ожидания
    Сильно
    превышает
    ожидания
    Нормализованный итог
    Сильно ниже
    ожиданий
    Ниже
    ожиданий
    Соответствует
    ожиданиям
    Превышает
    ожидания
    Сильно
    превышает
    ожидания
    3,5
    3,3
    diff = 0,2 – всё норм

    View Slide

  76. Нормализация оценок
    Perfomance score
    Сильно ниже
    ожиданий
    Ниже
    ожиданий
    Соответствует
    ожиданиям
    Превышает
    ожидания
    Сильно
    превышает
    ожидания
    Нормализованный итог
    Сильно ниже
    ожиданий
    Ниже
    ожиданий
    Соответствует
    ожиданиям
    Превышает
    ожидания
    Сильно
    превышает
    ожидания
    3,5
    2,2
    diff = 1,3 – всё плохо

    View Slide

  77. Корректировка оценок
    Оценка:

    «Сильно превысила ожидания»
    Добряк
    Путает шкалу performance review со школьной
    системой баллов
    Комментарии к оценке:

    «Отработал строго по своим ожиданиям,
    молодец!»

    View Slide

  78. Корректировка оценок
    Оценка:

    «Сильно превысила ожидания»
    Добряк
    Комментарии к оценке:

    «Отработал строго по своим ожиданиям,
    молодец!»
    «Соответствует ожиданиям»
    Путает шкалу performance review со школьной
    системой баллов

    View Slide

  79. Паттерны поведения 7

    View Slide

  80. Оценка:

    «Сильно превысила ожидания»
    Впечатлительный
    Оценивает, основываясь на одном ярком
    впечатлении
    Комментарии к оценке:

    «Помог мне почистить айфон от вирусов. Он
    - один из лучших в компании!»

    View Slide


  81. Оценивает, основываясь на одном ярком
    впечатлении
    Диагностика:

    - Нет обоснования оценке, либо оно
    однобоко
    Таблетки:
    - Требовать детали в обосновании
    оценок
    - В течение квартала вести учет
    взаимодействиям с коллегами
    Впечатлительный

    View Slide

  82. 8
    Злопамятный
    Оценивает все время работы с сотрудником,
    а не последний квартал
    Оценка:

    «Ниже ожиданий»
    Комментарии к оценке:

    «В 2014 году, когда мы сидели в одной
    комнате, он много курил. А еще весь
    прошлый год уделял больше внимания коду,
    а не потребностям бизнеса»

    View Slide

  83. 8
    Оценивает все время работы с сотрудником,
    а не последний квартал
    Диагностика:

    - Много оценочных суждений
    - Нет деталей
    Таблетки:
    - Требовать детали в обосновании
    оценок
    - В течение квартала вести учет
    взаимодействиям с коллегами
    Злопамятный

    View Slide


  84. Конформист
    Не может оценить, но оценивает
    Оценка:

    «Соответствует ожиданиям»
    Комментарии к оценке:

    «-»

    View Slide

  85. Диагностика:

    - Бесполезный комментарий
    Таблетки:
    - Дать возможность отказаться от
    ревью
    - Выявлять любителей халявы в
    аналитике

    Конформист
    Не может оценить, но оценивает

    View Slide

  86. Оценка:

    «Соответствует ожиданиям»
    Комментарии к оценке:

    «Справляется со своими обязанностями, не
    хуже и не лучше других»

    Жалостливый
    Не дает конструктивной обратной связи,
    жалеет сотрудника

    View Slide


  87. Жалостливый
    Не дает конструктивной обратной связи,
    жалеет сотрудника
    Диагностика:

    - Систематически завышает оценки
    Таблетки:
    - Нормализация оценок
    - Бенчмаркинг отзыва относительно
    ожиданий

    View Slide

  88. Оценка:

    «Соответствует ожиданиям»
    Комментарии к оценке:

    «Он перформил как бешеный, но это
    соответствовало моим изначально сильно
    завышенным ожиданиям»

    Оценивает по субъективным ожиданиям
    Субъективный

    View Slide


  89. Субъективный
    Оценивает по субъективным ожиданиям
    Диагностика:

    - Словосочетание «мои ожидания» и
    производные от него
    Таблетки:
    - Простая система ожиданий от
    позиций и ролей

    View Slide

  90. Инструменты

    View Slide

  91. MVP (1/3)
    - Опрос на Google Form
    - Ручная рассылка по списку
    респондентов
    - Заполняется менеджером
    - Ручные напоминания

    View Slide

  92. MVP (2/3) - Сводка по команде
    - Результат синхронизируется
    вручную
    - Заполняется менеджером

    View Slide

  93. MVP (3/3) - Балансировка участников ревью
    - Контроль участия всех
    сотрудников

    View Slide

  94. Опросник Результаты Дерево
    bit.ly/2BIsXM9 bit.ly/2nJksIm bit.ly/2nIc5N4

    View Slide

  95. Сотрудник
    "
    Подбор людей
    Оценка других
    Анализ фидбэка
    20 мин
    120 мин
    10 мин
    Тимлид
    !
    Сбор данных
    Создание форм
    Рассылка форм
    Пинки людей
    Подведение итогов
    120 мин
    60 мин
    60 мин
    60 мин
    180 мин
    Хэд ов что-то
    =
    Калибровка данных
    Сбор результатов
    90 мин
    240 мин
    38,5 ч

    View Slide

  96. 38,5 ч

    View Slide

  97. View Slide

  98. что имеем сейчас
    как развивались
    куда еще расти

    View Slide

  99. Упрощение системы ожиданий
    - Описание всех позиций
    должно быть предельно
    простым
    - В идеале – описать простым
    чек-листом

    View Slide

  100. Сокращение количества полей
    - Большой процент
    респондентов заполняет
    только первое поле
    - Нужно экспериментировать
    на пользователях и проверять
    гипотезы

    View Slide

  101. Управление пиковой нагрузкой
    - Выполнять ревью всем
    одновременно – тяжело и не
    эффективно

    - Можно сглаживать нагрузку,
    распределяя разные группы
    по времени

    View Slide

  102. Попроситься в ревью
    - Иногда тебя могут забыть
    или намеренно не добавить в
    ревью
    - Дадим возможность
    предложить себя как
    ревьюера

    View Slide

  103. проведите
    эксперимент
    соберите
    данные
    обсудите на
    ретро
    Performance review
    • устройство процесса в
    Avito
    • анонимность, тулинг и
    антипаттерны
    • аналитика оценок и
    отзывов
    Егор Толстой t.me/etolstoy

    View Slide