CodeFest 2018. Егор Толстой (Avito) — Как улучшить Performance Review

Посмотрите выступление Егора: https://2018.codefest.ru/lecture/1339/

За прошедший год мы провели ревью 500 сотрудников, собрали 9655 оценок, проанализировали и классифицировали всех участников по разным профилям. А ещё мы автоматизировали процесс.

В докладе расскажу, как устроено Performance Review в Avito, как мы итеративно развивали процесс; какие делали ошибки; какие открыли для себя паттерны и антипаттерны поведения людей.

Уровень
Техлиды и менеджеры, средние и крупные команды

Transcript

1. Как улучшить Performance Review Егор Толстой Head of App Platform Engineering Avito
2. !
3. " # % & # " ' ( ! )
4. " # % & # " ' ( ! ) ↑money ↑retention ↑users ↑ads ???
5. & # ( !
6. & # ( !
7. & # ( ! " # %
8. & # ( ! " # %
9. ! ' ❤
10. Про Google Про Badoo bit.ly/2pLmveQ https://bit.ly/2IYDRh8
11. как улучшить performance review
12. что имеем сейчас как развивались куда еще расти
13. что имеем сейчас как развивались куда еще расти
14. январь март май июль сентябрь ноябрь февраль апрель июнь август октябрь декабрь Q1 review Q2 review Q3 review Q4 review Процесс review
15. Оцениваемый проводит self review Руководитель запускает процесс Руководитель дает обратную связь Оцениваемый выбирает респондентов Респонденты заполняют опросник Процесс review
16. Оцениваемый проводит self review
17. Оцениваемый проводит self review
18. Оцениваемый проводит self review
19. Оцениваемый проводит self review
20. Оцениваемый проводит self review
21. Оцениваемый проводит self review
22. Оцениваемый проводит self review
23. Оцениваемый выбирает респондентов Зиновьев Константин Разработчик мобильных приложений Менеджер Непосредственный руководитель Стейкхолдеры Заказчики ваших услуг Пиры Коллеги, с которыми вы работаете Подчиненные Формальные и неформальные
24. Руководитель запускает процесс • Выполнил OKR юнита • Прочитал Танненбаума • Выступил на 5 митапах • Прошел все Uncharted • Немного задержал релиз Менеджер Кости Руководитель группы разработки
25. Руководитель запускает процесс Менеджер Кости Руководитель группы разработки
26. Руководитель запускает процесс
27. Коллега Кости из другого юнита Разработчик мобильных приложений Респонденты заполняют опросник
28. Респонденты заполняют опросник Коллега Кости из другого юнита Разработчик мобильных приложений • Делал редизайн карточки объявления в рамках OKR • Прочитал Танненбаума • Выступил на 3 митапах • На 5 дней задержал релиз Ожидания: • Мобильный разработчик • Наставник • Участник юнита
29. Респонденты заполняют опросник • Делал редизайн карточки объявления в рамках OKR • Прочитал Танненбаума • Выступил на 3 митапах • На 5 дней задержал релиз Ожидания: • Мобильный разработчик • Наставник • Участник юнита Коллега Кости из другого юнита Разработчик мобильных приложений
30. Респонденты заполняют опросник Оценка:
 «Ниже ожиданий» Коллега Кости из другого юнита Разработчик мобильных приложений Комментарии к оценке:
 «Вместо того, чтобы обратиться за помощью, неделями закапывается в проблему сам. Кроме того, пока не начал ориентироваться в компании»
31. Руководитель дает обратную связь (Manager.Avg + Stakeholder.Avg + Peers.Avg + Subordinates.Avg) 4
32. Руководитель дает обратную связь Оценка,
 обратная связь, обсуждение Зиновьев Константин Разработчик мобильных приложений Менеджер Кости Руководитель группы разработки
33. что имеем сейчас как развивались куда еще расти
34. Анонимность
35. Анонимность все видят всё обезличенный фидбэк итоги от менеджера
36. Анонимность все видят всё обезличенный фидбэк итоги от менеджера Иван Петров Работать с Константином не стал бы, если бы мне дали такой выбор. Он никогда не попадает в оценки, провоцирует конфликты, жарит рыбу в микроволновке! Владимир Иванов Костя – самый сильный программист из всех, что я видел. Может делать и быстро, и качественно.
37. Анонимность все видят всё обезличенный фидбэк итоги от менеджера Работать с Константином не стал бы, если бы мне дали такой выбор. Он никогда не попадает в оценки, провоцирует конфликты, жарит рыбу в микроволновке! Костя – самый сильный программист из всех, что я видел. Может делать и быстро, и качественно.
38. Анонимность Анонимный чувак ??? Комментарии к оценке:
 «В своей команде занимается только разработчиками и тестировщиками. На взаимодействие с дизайнером вообще не обращает внимание, а хочется, чтобы пытался вовлекать»
39. Анонимность Анонимный чувак ??? Комментарии к оценке:
 «Слышал мнение, что он управляет командой недостаточно эффективно»
40. Анонимность все видят всё обезличенный фидбэк итоги от менеджера Плюсы: - Делает быстро - Делает качественно Минусы: - Не попадает в оценки - Конфликтный - Жарит рыбу
41. Анонимность Обезличенный фидбэк Воспитательные работы Часть сотрудников видят всё Все видят всё, за редким исключением
42. Анонимность Обезличенный фидбэк Воспитательные работы Часть сотрудников видят всё Все видят всё, за редким исключением
43. Анонимность Обезличенный фидбэк Воспитательные работы Часть сотрудников видят всё Все видят всё, за редким исключением
44. Анонимность Обезличенный фидбэк Воспитательные работы Часть сотрудников видят всё Все видят всё, за редким исключением
45. Работа с данными
46. 9.655 оценок 5 1.412 респондентов 6 1.015 оцениваемых 3 квартала
47. Сколько нужно респондентов - Оптимальное количество респондентов в ревью – 9-11 человек
 - Это средний размер команды плюс 2-3 внешних контакта
 - Есть хвосты из маленьких команд и менеджеров с большим нетворкингом
48. Сколько тратить времени - Большинство проводят до 11 ревью за период
 
 - Средняя продолжительность ревью – около 10 минут
 
 - С учётом фокус-фактора, у респондента уходит до 4 часов в квартал на ревью
49. Распределение оценок - Средний балл – 3,47, есть сильный перекос в сторону 4
 
 - Две гипотезы: не умеем справедливо оценивать, либо часть людей не на своих местах Q2
50. Распределение оценок - Средний балл – 3,27
 
 - Доля 4 и 5 резко упала после проработки обеих гипотез прошлого квартала Q2 Q3
51. Распределение оценок - Средний балл – 3,25, дельта с прошлым кварталом – 0,02
 
 - Форма гистограммы также не меняется Q2 Q3 Q4
52. Распределение оценок - Между последними двумя кварталами процесс стабилизировался. Основное опасение – большое количество 3 и очень малое – 2 и 1. Q2 Q3 Q4 3,47 3,27 3,25
53. Влияние групп на оценки - Гипотеза: люди склонны завышать оценки своей команде и занижать остальным 
 - Различие между оценками в среднем в районе 0,03 балла
 
 - На концах интервала расхождение не больше 0,5 баллов в обе стороны
54. Влияние ролей на оценки - Гипотеза: выполняемая роль влияет на оценки 
 - Различие между оценками ролей достигало 0,37 на старте, сейчас – 0,07
 
 - Менеджеры – самые жесткие ребята
55. Справедливость Доброта Трудолюбие
56. Характеристики:
 - Дал более 4 оценок - Средний балл выше 4,1 - Отсутствуют 1 и 2 Осип Борзилов Оценил: 4 Средняя: 5,00 Оскар Белоусов Оценил: 4 Средняя: 4,75 Иван Челомцев Оценил: 7 Средняя: 4,67 Денис Султанов Оценил: 10 Средняя: 4,43
57. Характеристики:
 - Дал более 4 оценок - Средний балл ниже 2,7 - Отсутствуют 4 и 5 Осип Борзилов Оценил: 6 Средняя: 2,50 Оскар Белоусов Оценил: 6 Средняя: 2,50 Иван Челомцев Оценил: 6 Средняя: 2,67 Денис Султанов Оценил: 7 Средняя: 2,67
58. Характеристики:
 - Дал более 8 оценок - Средний балл – 3,0 - Дисперсия – 0 - Комментарий < 500 знаков Осип Борзилов Оценил: 12 Средняя: 3 Оскар Белоусов Оценил: 11 Средняя: 3 Иван Челомцев Оценил: 11 Средняя: 3 Денис Султанов Оценил: 8 Средняя: 3 Дисперсия: 0 Дисперсия: 0 Дисперсия: 0 Дисперсия: 0
59. Стратегия вырожденной группы - Итоговая оценка – среднее по группам
 - Оценка группы – среднее по участникам
 - Если в группе один оценщик, он получает очень большой вес 5 коллег 3 + 3 + 2 + 2 + 3 1 стейкхолдер X + 3 подчиненных 3 + 3 + 3 + 2,6 + X + 3 3 X = 1, результат 2,2 X = 3, результат 2,9 X = 5, результат 3,5 =>
60. Нормализация оценок - score – текущая оценка - avg_author_score – средняя оценка респондента - 3 – средний уровень оценок по компании score - avg_author_score + 3 if count > 3 else score
61. Нормализация оценок score - avg_author_score + 3 if count > 3 else score score: 4,3 4 нормализованный итог: 4 - 4,3 + 3 = 2,7 Нормализация оценок добряков - score – текущая оценка - avg_author_score – средняя оценка респондента - 3 – средний уровень оценок по компании
62. Нормализация оценок score - avg_author_score + 3 if count > 3 else score score: 4,3 2 нормализованный итог: 2 - 4,3 + 3 = 0,7 Нормализация оценок добряков - score – текущая оценка - avg_author_score – средняя оценка респондента - 3 – средний уровень оценок по компании
63. Нормализация оценок score - avg_author_score + 3 if count > 3 else score score: 2,4 2 нормализованный итог: 2 - 2,4 + 3 = 2,6 Нормализация оценок справедливых - score – текущая оценка - avg_author_score – средняя оценка респондента - 3 – средний уровень оценок по компании
64. Нормализация оценок score - avg_author_score + 3 if count > 3 else score score: 2,4 4 нормализованный итог: 4 - 2,4 + 3 = 4,6 Нормализация оценок справедливых - score – текущая оценка - avg_author_score – средняя оценка респондента - 3 – средний уровень оценок по компании
65. Нормализация оценок Perfomance score Сильно ниже ожиданий Ниже ожиданий Соответствует ожиданиям Превышает ожидания Сильно превышает ожидания Нормализованный итог Сильно ниже ожиданий Ниже ожиданий Соответствует ожиданиям Превышает ожидания Сильно превышает ожидания
66. Нормализация оценок Perfomance score Сильно ниже ожиданий Ниже ожиданий Соответствует ожиданиям Превышает ожидания Сильно превышает ожидания Нормализованный итог Сильно ниже ожиданий Ниже ожиданий Соответствует ожиданиям Превышает ожидания Сильно превышает ожидания 3,5 3,3 diff = 0,2 – всё норм
67. Нормализация оценок Perfomance score Сильно ниже ожиданий Ниже ожиданий Соответствует ожиданиям Превышает ожидания Сильно превышает ожидания Нормализованный итог Сильно ниже ожиданий Ниже ожиданий Соответствует ожиданиям Превышает ожидания Сильно превышает ожидания 3,5 2,2 diff = 1,3 – всё плохо
68. Корректировка оценок Оценка:
 «Сильно превысила ожидания» Добряк Путает шкалу performance review со школьной системой баллов Комментарии к оценке:
 «Отработал строго по своим ожиданиям, молодец!»
69. Корректировка оценок Оценка:
 «Сильно превысила ожидания» Добряк Комментарии к оценке:
 «Отработал строго по своим ожиданиям, молодец!» «Соответствует ожиданиям» Путает шкалу performance review со школьной системой баллов
70. Инструменты
71. MVP (1/3) - Опрос на Google Form - Ручная рассылка по списку респондентов - Заполняется менеджером - Ручные напоминания
72. MVP (2/3) - Сводка по команде - Результат синхронизируется вручную - Заполняется менеджером
73. MVP (3/3) - Балансировка участников ревью - Контроль участия всех сотрудников
74. Опросник Результаты Дерево bit.ly/2BIsXM9 bit.ly/2nJksIm bit.ly/2nIc5N4
75. Сотрудник # Подбор людей Оценка других Анализ фидбэка 20 мин 120 мин 10 мин Тимлид " Сбор данных Создание форм Рассылка форм Пинки людей Подведение итогов 120 мин 60 мин 60 мин 60 мин 180 мин Хэд ов что-то ; Калибровка данных Сбор результатов 90 мин 240 мин 38,5 ч
76. 38,5 ч
78. что имеем сейчас как развивались куда еще расти
79. Упрощение системы ожиданий - Описание всех позиций должно быть предельно простым - В идеале – описать простым чек-листом
80. Сокращение количества полей - Большой процент респондентов заполняет только первое поле - Нужно экспериментировать на пользователях и проверять гипотезы
81. Управление пиковой нагрузкой - Выполнять ревью всем одновременно – тяжело и не эффективно
 - Можно сглаживать нагрузку, распределяя разные группы по времени
82. Попроситься в ревью - Иногда тебя могут забыть или намеренно не добавить в ревью - Дадим возможность предложить себя как ревьюера
83. проведите эксперимент соберите данные обсудите на ретро Performance review • устройство процесса в Avito • анонимность, тулинг и антипаттерны • аналитика оценок и отзывов Егор Толстой t.me/etolstoy