Улучшая performance review

автоматизировали процесс его проведения, изучили много паттернов и антипаттернов поведения людей и научились извлекать пользу из собранных данных помимо получения обратной связи.

Я расскажу о том, как мы итеративно развивали процесс performance review, учась на своих ошибках. А в процессе этого провели несколько раундов ревью 300 сотрудников, собрали 5200 оценок, проанализировали их и классифицировали всех участников по разным профилям.

Transcript

1. Улучшая Performance Review Егор Толстой, Avito
2. !
3. "
4. "
5. "
6. "
7. универсальный процесс performance review для %COMPANY_NAME%
8. универсальный процесс performance review для %COMPANY_NAME% это не нужно
9. универсальный процесс performance review для %COMPANY_NAME% это не нужно устройство performance review в Avito
10. универсальный процесс performance review для %COMPANY_NAME% это не нужно устройство performance review в Avito это будет
11. универсальный процесс performance review для %COMPANY_NAME% это не нужно устройство performance review в Avito паттерны поведения, аналитика, конкретные практики и инсайты это будет
12. универсальный процесс performance review для %COMPANY_NAME% это не нужно устройство performance review в Avito это будет паттерны поведения, аналитика, конкретные практики и инсайты это плюшки
13. универсальный процесс performance review для %COMPANY_NAME% это не нужно устройство performance review в Avito паттерны поведения, аналитика, конкретные практики и инсайты это плюшки continuous improvement в performance review это будет
14. универсальный процесс performance review для %COMPANY_NAME% это не нужно устройство performance review в Avito паттерны поведения, аналитика, конкретные практики и инсайты это плюшки а вот это – реально важно continuous improvement в performance review это будет
15. улучшая performance review
16. что имеем сейчас как развивались куда еще расти
17. что имеем сейчас как развивались куда еще расти
18. Performance review – это инструмент измерения продуктивности
19. ты твой тимлид компания ! "
20. "
21. регулярная рефлексия "
22. "'( влияние на коллег
23. "( суперкрутой фидбэк
24. !
25. тушение пожаров ! "
26. эффективность команды !
28. выравнивание целей сотрудника и компании "
29. январь март май июль сентябрь ноябрь февраль апрель июнь август октябрь декабрь Q1 review Q2 review Q3 review Q4 review Процесс review
30. Оцениваемый проводит self review Руководитель запускает процесс Руководитель дает обратную связь Оцениваемый выбирает респондентов Респонденты заполняют опросник Процесс review
31. Оцениваемый проводит self review
32. Оцениваемый выбирает респондентов Зиновьев Константин Разработчик мобильных приложений Менеджер Непосредственный руководитель Стейкхолдеры Заказчики ваших услуг Пиры Коллеги, с которыми вы работаете Подчиненные Формальные и неформальные
33. Руководитель запускает процесс • Выполнил OKR юнита • Прочитал Танненбаума • Выступил на 5 митапах • Прошел все Uncharted • Немного задержал релиз Менеджер Кости Руководитель группы разработки
34. Руководитель запускает процесс Менеджер Кости Руководитель группы разработки
35. Руководитель запускает процесс
36. Коллега Кости из другого юнита Разработчик мобильных приложений Респонденты заполняют опросник
37. Респонденты заполняют опросник Коллега Кости из другого юнита Разработчик мобильных приложений • Делал редизайн карточки объявления в рамках OKR • Прочитал Танненбаума • Выступил на 3 митапах • На 5 дней задержал релиз Ожидания: • Мобильный разработчик • Наставник • Участник юнита
38. Респонденты заполняют опросник • Делал редизайн карточки объявления в рамках OKR • Прочитал Танненбаума • Выступил на 3 митапах • На 5 дней задержал релиз Ожидания: • Мобильный разработчик • Наставник • Участник юнита Коллега Кости из другого юнита Разработчик мобильных приложений
39. Респонденты заполняют опросник Оценка:
 «Ниже ожиданий» Коллега Кости из другого юнита Разработчик мобильных приложений Комментарии к оценке:
 «Вместо того, чтобы обратиться за помощью, неделями закапывается в проблему сам. Кроме того, пока не начал ориентироваться в компании»
40. Руководитель дает обратную связь (Manager.Avg + Stakeholder.Avg + Peers.Avg + Subordinates.Avg) 4
41. Руководитель дает обратную связь Оценка,
 обратная связь, обсуждение Зиновьев Константин Разработчик мобильных приложений Менеджер Кости Руководитель группы разработки
42. что имеем сейчас как развивались куда еще расти
43. Анонимность
44. Анонимность все видят всё обезличенный фидбэк итоги от менеджера
45. Анонимность все видят всё обезличенный фидбэк итоги от менеджера Иван Петров Работать с Константином не стал бы, если бы мне дали такой выбор. Он никогда не попадает в оценки, провоцирует конфликты, жарит рыбу в микроволновке! Владимир Иванов Костя – самый сильный программист из всех, что я видел. Может делать и быстро, и качественно.
46. Анонимность все видят всё обезличенный фидбэк итоги от менеджера Работать с Константином не стал бы, если бы мне дали такой выбор. Он никогда не попадает в оценки, провоцирует конфликты, жарит рыбу в микроволновке! Костя – самый сильный программист из всех, что я видел. Может делать и быстро, и качественно.
47. Анонимность Анонимный чувак ??? Комментарии к оценке:
 «В своей команде занимается только разработчиками и тестировщиками. На взаимодействие с дизайнером вообще не обращает внимание, а хочется, чтобы пытался вовлекать»
48. Анонимность Анонимный чувак ??? Комментарии к оценке:
 «Слышал мнение, что он управляет командой недостаточно эффективно»
49. Анонимность все видят всё обезличенный фидбэк итоги от менеджера Плюсы: - Делает быстро - Делает качественно Минусы: - Не попадает в оценки - Конфликтный - Жарит рыбу
50. Анонимность Обезличенный фидбэк Воспитательные работы Часть сотрудников видят всё Все видят всё, за редким исключением
51. Анонимность Обезличенный фидбэк Воспитательные работы Часть сотрудников видят всё Все видят всё, за редким исключением
52. Анонимность Обезличенный фидбэк Воспитательные работы Часть сотрудников видят всё Все видят всё, за редким исключением
53. Анонимность Обезличенный фидбэк Воспитательные работы Часть сотрудников видят всё Все видят всё, за редким исключением
54. Работа с данными
55. 9.655 оценок 0 1.412 респондентов 1 1.015 оцениваемых 3 квартала
56. Сколько нужно респондентов - Оптимальное количество респондентов в ревью – 9-11 человек
 - Это средний размер команды плюс 2-3 внешних контакта
 - Есть хвосты из маленьких команд и менеджеров с большим нетворкингом
57. Сколько тратить времени - Большинство проводят до 11 ревью за период
 
 - Средняя продолжительность ревью – около 10 минут
 
 - С учётом фокус-фактора, у респондента уходит до 4 часов в квартал на ревью
58. Распределение оценок - Средний балл – 3,47, есть сильный перекос в сторону 4
 
 - Две гипотезы: не умеем справедливо оценивать, либо часть людей не на своих местах Q2
59. Распределение оценок - Средний балл – 3,27
 
 - Доля 4 и 5 резко упала после проработки обеих гипотез прошлого квартала Q2 Q3
60. Распределение оценок - Средний балл – 3,25, дельта с прошлым кварталом – 0,02
 
 - Форма гистограммы также не меняется Q2 Q3 Q4
61. Распределение оценок - Между последними двумя кварталами процесс стабилизировался. Основное опасение – большое количество 3 и очень малое – 2 и 1. Q2 Q3 Q4 3,47 3,27 3,25
62. Влияние групп на оценки - Гипотеза: люди склонны завышать оценки своей команде и занижать остальным 
 - Различие между оценками в среднем в районе 0,03 балла
 
 - На концах интервала расхождение не больше 0,5 баллов в обе стороны
63. Влияние ролей на оценки - Гипотеза: выполняемая роль влияет на оценки 
 - Различие между оценками ролей достигало 0,37 на старте, сейчас – 0,07
 
 - Менеджеры – самые жесткие ребята
64. Справедливость Доброта Трудолюбие
65. Характеристики:
 - Дал более 4 оценок - Средний балл выше 4,1 - Отсутствуют 1 и 2 Осип Борзилов Оценил: 4 Средняя: 5,00 Оскар Белоусов Оценил: 4 Средняя: 4,75 Иван Челомцев Оценил: 7 Средняя: 4,67 Денис Султанов Оценил: 10 Средняя: 4,43
66. Характеристики:
 - Дал более 4 оценок - Средний балл ниже 2,7 - Отсутствуют 4 и 5 Осип Борзилов Оценил: 6 Средняя: 2,50 Оскар Белоусов Оценил: 6 Средняя: 2,50 Иван Челомцев Оценил: 6 Средняя: 2,67 Денис Султанов Оценил: 7 Средняя: 2,67
67. Характеристики:
 - Дал более 8 оценок - Средний балл – 3,0 - Дисперсия – 0 - Комментарий < 500 знаков Осип Борзилов Оценил: 12 Средняя: 3 Оскар Белоусов Оценил: 11 Средняя: 3 Иван Челомцев Оценил: 11 Средняя: 3 Денис Султанов Оценил: 8 Средняя: 3 Дисперсия: 0 Дисперсия: 0 Дисперсия: 0 Дисперсия: 0
68. Стратегия вырожденной группы - Итоговая оценка – среднее по группам
 - Оценка группы – среднее по участникам
 - Если в группе один оценщик, он получает очень большой вес 5 коллег 3 + 3 + 2 + 2 + 3 1 стейкхолдер X + 3 подчиненных 3 + 3 + 3 + 2,6 + X + 3 3 X = 1, результат 2,2 X = 3, результат 2,9 X = 5, результат 3,5 =>
69. Нормализация оценок - score – текущая оценка - avg_author_score – средняя оценка респондента - 3 – средний уровень оценок по компании score - avg_author_score + 3 if count > 3 else score
70. Нормализация оценок score - avg_author_score + 3 if count > 3 else score score: 4,3 4 нормализованный итог: 4 - 4,3 + 3 = 2,7 Нормализация оценок добряков - score – текущая оценка - avg_author_score – средняя оценка респондента - 3 – средний уровень оценок по компании
71. Нормализация оценок score - avg_author_score + 3 if count > 3 else score score: 4,3 2 нормализованный итог: 2 - 4,3 + 3 = 0,7 Нормализация оценок добряков - score – текущая оценка - avg_author_score – средняя оценка респондента - 3 – средний уровень оценок по компании
72. Нормализация оценок score - avg_author_score + 3 if count > 3 else score score: 2,4 2 нормализованный итог: 2 - 2,4 + 3 = 2,6 Нормализация оценок справедливых - score – текущая оценка - avg_author_score – средняя оценка респондента - 3 – средний уровень оценок по компании
73. Нормализация оценок score - avg_author_score + 3 if count > 3 else score score: 2,4 4 нормализованный итог: 4 - 2,4 + 3 = 4,6 Нормализация оценок справедливых - score – текущая оценка - avg_author_score – средняя оценка респондента - 3 – средний уровень оценок по компании
74. Нормализация оценок Perfomance score Сильно ниже ожиданий Ниже ожиданий Соответствует ожиданиям Превышает ожидания Сильно превышает ожидания Нормализованный итог Сильно ниже ожиданий Ниже ожиданий Соответствует ожиданиям Превышает ожидания Сильно превышает ожидания
75. Нормализация оценок Perfomance score Сильно ниже ожиданий Ниже ожиданий Соответствует ожиданиям Превышает ожидания Сильно превышает ожидания Нормализованный итог Сильно ниже ожиданий Ниже ожиданий Соответствует ожиданиям Превышает ожидания Сильно превышает ожидания 3,5 3,3 diff = 0,2 – всё норм
76. Нормализация оценок Perfomance score Сильно ниже ожиданий Ниже ожиданий Соответствует ожиданиям Превышает ожидания Сильно превышает ожидания Нормализованный итог Сильно ниже ожиданий Ниже ожиданий Соответствует ожиданиям Превышает ожидания Сильно превышает ожидания 3,5 2,2 diff = 1,3 – всё плохо
77. Корректировка оценок Оценка:
 «Сильно превысила ожидания» Добряк Путает шкалу performance review со школьной системой баллов Комментарии к оценке:
 «Отработал строго по своим ожиданиям, молодец!»
78. Корректировка оценок Оценка:
 «Сильно превысила ожидания» Добряк Комментарии к оценке:
 «Отработал строго по своим ожиданиям, молодец!» «Соответствует ожиданиям» Путает шкалу performance review со школьной системой баллов
79. Паттерны поведения 7
80. Оценка:
 «Сильно превысила ожидания» Впечатлительный Оценивает, основываясь на одном ярком впечатлении Комментарии к оценке:
 «Помог мне почистить айфон от вирусов. Он - один из лучших в компании!»
81. Оценивает, основываясь на одном ярком впечатлении Диагностика:
 - Нет обоснования оценке, либо оно однобоко Таблетки: - Требовать детали в обосновании оценок - В течение квартала вести учет взаимодействиям с коллегами Впечатлительный
82. 8 Злопамятный Оценивает все время работы с сотрудником, а не последний квартал Оценка:
 «Ниже ожиданий» Комментарии к оценке:
 «В 2014 году, когда мы сидели в одной комнате, он много курил. А еще весь прошлый год уделял больше внимания коду, а не потребностям бизнеса»
83. 8 Оценивает все время работы с сотрудником, а не последний квартал Диагностика:
 - Много оценочных суждений - Нет деталей Таблетки: - Требовать детали в обосновании оценок - В течение квартала вести учет взаимодействиям с коллегами Злопамятный
84. Конформист Не может оценить, но оценивает Оценка:
 «Соответствует ожиданиям» Комментарии к оценке:
 «-»
85. Диагностика:
 - Бесполезный комментарий Таблетки: - Дать возможность отказаться от ревью - Выявлять любителей халявы в аналитике Конформист Не может оценить, но оценивает
86. Оценка:
 «Соответствует ожиданиям» Комментарии к оценке:
 «Справляется со своими обязанностями, не хуже и не лучше других» Жалостливый Не дает конструктивной обратной связи, жалеет сотрудника
87. Жалостливый Не дает конструктивной обратной связи, жалеет сотрудника Диагностика:
 - Систематически завышает оценки Таблетки: - Нормализация оценок - Бенчмаркинг отзыва относительно ожиданий
88. Оценка:
 «Соответствует ожиданиям» Комментарии к оценке:
 «Он перформил как бешеный, но это соответствовало моим изначально сильно завышенным ожиданиям» Оценивает по субъективным ожиданиям Субъективный
89. Субъективный Оценивает по субъективным ожиданиям Диагностика:
 - Словосочетание «мои ожидания» и производные от него Таблетки: - Простая система ожиданий от позиций и ролей
90. Инструменты
91. MVP (1/3) - Опрос на Google Form - Ручная рассылка по списку респондентов - Заполняется менеджером - Ручные напоминания
92. MVP (2/3) - Сводка по команде - Результат синхронизируется вручную - Заполняется менеджером
93. MVP (3/3) - Балансировка участников ревью - Контроль участия всех сотрудников
94. Опросник Результаты Дерево bit.ly/2BIsXM9 bit.ly/2nJksIm bit.ly/2nIc5N4
95. Сотрудник " Подбор людей Оценка других Анализ фидбэка 20 мин 120 мин 10 мин Тимлид ! Сбор данных Создание форм Рассылка форм Пинки людей Подведение итогов 120 мин 60 мин 60 мин 60 мин 180 мин Хэд ов что-то = Калибровка данных Сбор результатов 90 мин 240 мин 38,5 ч
96. 38,5 ч
98. что имеем сейчас как развивались куда еще расти
99. Упрощение системы ожиданий - Описание всех позиций должно быть предельно простым - В идеале – описать простым чек-листом
100. Сокращение количества полей - Большой процент респондентов заполняет только первое поле - Нужно экспериментировать на пользователях и проверять гипотезы
101. Управление пиковой нагрузкой - Выполнять ревью всем одновременно – тяжело и не эффективно
 - Можно сглаживать нагрузку, распределяя разные группы по времени
102. Попроситься в ревью - Иногда тебя могут забыть или намеренно не добавить в ревью - Дадим возможность предложить себя как ревьюера
103. проведите эксперимент соберите данные обсудите на ретро Performance review • устройство процесса в Avito • анонимность, тулинг и антипаттерны • аналитика оценок и отзывов Егор Толстой t.me/etolstoy