Улучшая performance review

автоматизировали процесс его проведения, изучили много паттернов и антипаттернов поведения людей и научились извлекать пользу из собранных данных помимо получения обратной связи.

Я расскажу о том, как мы итеративно развивали процесс performance review, учась на своих ошибках. А в процессе этого провели несколько раундов ревью 300 сотрудников, собрали 5200 оценок, проанализировали их и классифицировали всех участников по разным профилям.

Transcript

1. Улучшая Performance
   Review
   Егор Толстой, Avito
   

   View Slide

2. !
   

   View Slide

3. "
   

   View Slide

4. "
   

   View Slide

5. "
   

   View Slide

6. "
   

   View Slide

7. универсальный процесс performance
   review для %COMPANY_NAME%
   

   View Slide

8. универсальный процесс
   performance review для
   %COMPANY_NAME%
   это не нужно
   

   View Slide

9. универсальный процесс
   performance review для
   %COMPANY_NAME%
   это не нужно
   устройство performance review
   в Avito
   

   View Slide

10. универсальный процесс
    performance review для
    %COMPANY_NAME%
    это не нужно
    устройство performance
    review в Avito
    это будет
    

    View Slide

11. универсальный процесс
    performance review для
    %COMPANY_NAME%
    это не нужно
    устройство performance
    review в Avito
    паттерны поведения, аналитика,
    конкретные практики и инсайты
    это будет
    

    View Slide

12. универсальный процесс
    performance review для
    %COMPANY_NAME%
    это не нужно
    устройство performance
    review в Avito
    это будет
    паттерны поведения,
    аналитика, конкретные
    практики и инсайты
    это плюшки
    

    View Slide

13. универсальный процесс
    performance review для
    %COMPANY_NAME%
    это не нужно
    устройство performance
    review в Avito
    паттерны поведения,
    аналитика, конкретные
    практики и инсайты
    это плюшки
    continuous improvement в performance
    review
    это будет
    

    View Slide

14. универсальный процесс
    performance review для
    %COMPANY_NAME%
    это не нужно
    устройство performance
    review в Avito
    паттерны поведения,
    аналитика, конкретные
    практики и инсайты
    это плюшки
    а вот это – реально важно
    continuous
    improvement в
    performance review
    это будет
    

    View Slide

15. улучшая
    performance
    review
    

    View Slide

16. что имеем сейчас
    как развивались
    куда еще расти
    

    View Slide

17. что имеем сейчас
    как развивались
    куда еще расти
    

    View Slide

18. Performance review
    – это инструмент измерения
    продуктивности
    

    View Slide

19. ты твой тимлид компания
    !
    "
    

    View Slide

20. "
    

    View Slide

21. регулярная рефлексия
    "
    

    View Slide

22. "'(
    влияние на коллег
    

    View Slide

23. "(
    суперкрутой фидбэк
    

    View Slide

24. !
    

    View Slide

25. тушение пожаров
    ! "
    

    View Slide

26. эффективность команды
    !
    

    View Slide

27. View Slide

28. выравнивание целей
    сотрудника и компании
    "
    

    View Slide

29. январь март май июль сентябрь ноябрь
    февраль апрель июнь август октябрь декабрь
    Q1 review
    Q2 review
    Q3 review
    Q4 review
    Процесс review
    

    View Slide

30. Оцениваемый
    проводит self review
    Руководитель
    запускает процесс
    Руководитель дает
    обратную связь
    Оцениваемый
    выбирает респондентов
    Респонденты заполняют
    опросник
    Процесс review
    

    View Slide

31. Оцениваемый проводит self review
    

    View Slide

32. Оцениваемый выбирает респондентов
    Зиновьев Константин
    Разработчик мобильных приложений
    Менеджер
    Непосредственный руководитель
    Стейкхолдеры
    Заказчики ваших услуг
    Пиры
    Коллеги, с которыми вы работаете
    Подчиненные
    Формальные и неформальные
    

    View Slide

33. Руководитель запускает процесс
    • Выполнил OKR юнита
    • Прочитал Танненбаума
    • Выступил на 5 митапах
    • Прошел все Uncharted
    • Немного задержал релиз
    Менеджер Кости
    Руководитель группы разработки
    

    View Slide

34. Руководитель запускает процесс
    Менеджер Кости
    Руководитель группы разработки
    

    View Slide

35. Руководитель запускает процесс
    

    View Slide

36. Коллега Кости из другого юнита
    Разработчик мобильных приложений
    Респонденты заполняют опросник
    

    View Slide

37. Респонденты заполняют опросник
    Коллега Кости из другого юнита
    Разработчик мобильных приложений
    • Делал редизайн карточки
    объявления в рамках OKR
    • Прочитал Танненбаума
    • Выступил на 3 митапах
    • На 5 дней задержал релиз
    Ожидания:
    • Мобильный разработчик
    • Наставник
    • Участник юнита
    

    View Slide

38. Респонденты заполняют опросник
    • Делал редизайн карточки
    объявления в рамках OKR
    • Прочитал Танненбаума
    • Выступил на 3 митапах
    • На 5 дней задержал релиз
    Ожидания:
    • Мобильный разработчик
    • Наставник
    • Участник юнита
    Коллега Кости из другого юнита
    Разработчик мобильных приложений
    

    View Slide

39. Респонденты заполняют опросник
    Оценка:

    «Ниже ожиданий»
    Коллега Кости из другого юнита
    Разработчик мобильных приложений
    Комментарии к оценке:

    «Вместо того, чтобы обратиться за помощью,
    неделями закапывается в проблему сам.
    Кроме того, пока не начал ориентироваться
    в компании»
    

    View Slide

40. Руководитель дает обратную связь
    (Manager.Avg + Stakeholder.Avg + Peers.Avg + Subordinates.Avg)
    4
    

    View Slide

41. Руководитель дает обратную связь
    Оценка,

    обратная связь,
    обсуждение
    Зиновьев Константин
    Разработчик мобильных приложений
    Менеджер Кости
    Руководитель группы разработки
    

    View Slide

42. что имеем сейчас
    как развивались
    куда еще расти
    

    View Slide

43. Анонимность
    

    View Slide

44. Анонимность
    все видят всё
    обезличенный фидбэк
    итоги от менеджера
    

    View Slide

45. Анонимность
    все видят всё
    обезличенный фидбэк
    итоги от менеджера
    Иван Петров
    Работать с Константином не стал
    бы, если бы мне дали такой
    выбор. Он никогда не попадает в
    оценки, провоцирует конфликты,
    жарит рыбу в микроволновке!
    Владимир Иванов
    Костя – самый сильный
    программист из всех, что я видел.
    Может делать и быстро, и
    качественно.
    

    View Slide

46. Анонимность
    все видят всё
    обезличенный фидбэк
    итоги от менеджера
    Работать с Константином не стал бы, если
    бы мне дали такой выбор. Он никогда не
    попадает в оценки, провоцирует
    конфликты, жарит рыбу в микроволновке!
    Костя – самый сильный программист из
    всех, что я видел. Может делать и быстро,
    и качественно.
    

    View Slide

47. Анонимность
    Анонимный чувак
    ???
    Комментарии к оценке:

    «В своей команде занимается только
    разработчиками и тестировщиками. На
    взаимодействие с дизайнером вообще не
    обращает внимание, а хочется, чтобы
    пытался вовлекать»
    

    View Slide

48. Анонимность
    Анонимный чувак
    ???
    Комментарии к оценке:

    «Слышал мнение, что он управляет
    командой недостаточно эффективно»
    

    View Slide

49. Анонимность
    все видят всё
    обезличенный фидбэк
    итоги от менеджера
    Плюсы:
    - Делает быстро
    - Делает качественно
    Минусы:
    - Не попадает в оценки
    - Конфликтный
    - Жарит рыбу
    

    View Slide

50. Анонимность
    Обезличенный
    фидбэк
    Воспитательные
    работы
    Часть
    сотрудников
    видят всё
    Все видят всё, за
    редким
    исключением
    

    View Slide

51. Анонимность
    Обезличенный
    фидбэк
    Воспитательные
    работы
    Часть
    сотрудников
    видят всё
    Все видят всё, за
    редким
    исключением
    

    View Slide

52. Анонимность
    Обезличенный
    фидбэк
    Воспитательные
    работы
    Часть
    сотрудников
    видят всё
    Все видят всё, за
    редким
    исключением
    

    View Slide

53. Анонимность
    Обезличенный
    фидбэк
    Воспитательные
    работы
    Часть
    сотрудников
    видят всё
    Все видят всё, за
    редким
    исключением
    

    View Slide

54. Работа с данными
    

    View Slide

55. 9.655
    оценок
    0
    1.412
    респондентов
    1
    1.015
    оцениваемых
    3 квартала
    

    View Slide

56. Сколько нужно респондентов
    - Оптимальное количество
    респондентов в ревью – 9-11
    человек

    - Это средний размер
    команды плюс 2-3 внешних
    контакта

    - Есть хвосты из маленьких
    команд и менеджеров с
    большим нетворкингом
    

    View Slide

57. Сколько тратить времени
    - Большинство проводят до
    11 ревью за период

    

    - Средняя
    продолжительность ревью –
    около 10 минут

    

    - С учётом фокус-фактора, у
    респондента уходит до 4
    часов в квартал на ревью
    

    View Slide

58. Распределение оценок
    - Средний балл – 3,47,
    есть сильный перекос в
    сторону 4

    

    - Две гипотезы: не
    умеем справедливо
    оценивать, либо часть
    людей не на своих
    местах
    Q2
    

    View Slide

59. Распределение оценок
    - Средний балл – 3,27

    

    - Доля 4 и 5 резко
    упала после
    проработки обеих
    гипотез прошлого
    квартала
    Q2
    Q3
    

    View Slide

60. Распределение оценок
    - Средний балл – 3,25,
    дельта с прошлым
    кварталом – 0,02

    

    - Форма гистограммы
    также не меняется
    Q2
    Q3
    Q4
    

    View Slide

61. Распределение оценок
    - Между последними двумя
    кварталами процесс
    стабилизировался. Основное опасение
    – большое количество 3 и очень
    малое – 2 и 1.
    Q2
    Q3
    Q4
    3,47
    3,27
    3,25
    

    View Slide

62. Влияние групп на оценки
    - Гипотеза: люди склонны
    завышать оценки своей
    команде и занижать
    остальным
    

    - Различие между оценками
    в среднем в районе 0,03
    балла

    

    - На концах интервала
    расхождение не больше 0,5
    баллов в обе стороны
    

    View Slide

63. Влияние ролей на оценки
    - Гипотеза: выполняемая
    роль влияет на оценки
    

    - Различие между оценками
    ролей достигало 0,37 на
    старте, сейчас – 0,07

    

    - Менеджеры – самые
    жесткие ребята
    

    View Slide

64. 
    Справедливость
    Доброта Трудолюбие
    

    View Slide

65. Характеристики:

    - Дал более 4 оценок
    - Средний балл выше 4,1
    - Отсутствуют 1 и 2
    Осип Борзилов
    Оценил: 4
    Средняя: 5,00
    Оскар Белоусов
    Оценил: 4
    Средняя: 4,75
    Иван Челомцев
    Оценил: 7
    Средняя: 4,67
    Денис Султанов
    Оценил: 10
    Средняя: 4,43
    
    

    View Slide

66. Характеристики:

    - Дал более 4 оценок
    - Средний балл ниже 2,7
    - Отсутствуют 4 и 5
    Осип Борзилов
    Оценил: 6
    Средняя: 2,50
    Оскар Белоусов
    Оценил: 6
    Средняя: 2,50
    Иван Челомцев
    Оценил: 6
    Средняя: 2,67
    Денис Султанов
    Оценил: 7
    Средняя: 2,67
    
    

    View Slide

67. Характеристики:

    - Дал более 8 оценок
    - Средний балл – 3,0
    - Дисперсия – 0
    - Комментарий < 500 знаков
    Осип Борзилов
    Оценил: 12
    Средняя: 3
    Оскар Белоусов
    Оценил: 11
    Средняя: 3
    Иван Челомцев
    Оценил: 11
    Средняя: 3
    Денис Султанов
    Оценил: 8
    Средняя: 3
    Дисперсия: 0
    Дисперсия: 0
    Дисперсия: 0
    Дисперсия: 0
    

    View Slide

68. Стратегия вырожденной группы
    - Итоговая оценка – среднее
    по группам

    - Оценка группы – среднее
    по участникам

    - Если в группе один
    оценщик, он получает очень
    большой вес
    5 коллег
    3 + 3 + 2 + 2 + 3
    1 стейкхолдер
    X
    +
    3 подчиненных
    3 + 3 + 3
    +
    2,6 + X + 3
    3
    X = 1, результат 2,2
    X = 3, результат 2,9
    X = 5, результат 3,5
    =>
    

    View Slide

69. Нормализация оценок
    - score – текущая оценка
    - avg_author_score – средняя
    оценка респондента
    - 3 – средний уровень оценок
    по компании
    score - avg_author_score + 3
    if count > 3
    else score
    

    View Slide

70. Нормализация оценок
    score - avg_author_score + 3
    if count > 3
    else score
    score:
    4,3
    4
    нормализованный итог: 4 - 4,3 + 3 = 2,7
    Нормализация оценок добряков
    - score – текущая оценка
    - avg_author_score – средняя
    оценка респондента
    - 3 – средний уровень оценок
    по компании
    

    View Slide

71. Нормализация оценок
    score - avg_author_score + 3
    if count > 3
    else score
    score:
    4,3
    2
    нормализованный итог: 2 - 4,3 + 3 = 0,7
    Нормализация оценок добряков
    - score – текущая оценка
    - avg_author_score – средняя
    оценка респондента
    - 3 – средний уровень оценок
    по компании
    

    View Slide

72. Нормализация оценок
    score - avg_author_score + 3
    if count > 3
    else score
    score:
    2,4
    2
    нормализованный итог: 2 - 2,4 + 3 = 2,6
    Нормализация оценок справедливых
    - score – текущая оценка
    - avg_author_score – средняя
    оценка респондента
    - 3 – средний уровень оценок
    по компании
    

    View Slide

73. Нормализация оценок
    score - avg_author_score + 3
    if count > 3
    else score
    score:
    2,4
    4
    нормализованный итог: 4 - 2,4 + 3 = 4,6
    Нормализация оценок справедливых
    - score – текущая оценка
    - avg_author_score – средняя
    оценка респондента
    - 3 – средний уровень оценок
    по компании
    

    View Slide

74. Нормализация оценок
    Perfomance score
    Сильно ниже
    ожиданий
    Ниже
    ожиданий
    Соответствует
    ожиданиям
    Превышает
    ожидания
    Сильно
    превышает
    ожидания
    Нормализованный итог
    Сильно ниже
    ожиданий
    Ниже
    ожиданий
    Соответствует
    ожиданиям
    Превышает
    ожидания
    Сильно
    превышает
    ожидания
    

    View Slide

75. Нормализация оценок
    Perfomance score
    Сильно ниже
    ожиданий
    Ниже
    ожиданий
    Соответствует
    ожиданиям
    Превышает
    ожидания
    Сильно
    превышает
    ожидания
    Нормализованный итог
    Сильно ниже
    ожиданий
    Ниже
    ожиданий
    Соответствует
    ожиданиям
    Превышает
    ожидания
    Сильно
    превышает
    ожидания
    3,5
    3,3
    diff = 0,2 – всё норм
    

    View Slide

76. Нормализация оценок
    Perfomance score
    Сильно ниже
    ожиданий
    Ниже
    ожиданий
    Соответствует
    ожиданиям
    Превышает
    ожидания
    Сильно
    превышает
    ожидания
    Нормализованный итог
    Сильно ниже
    ожиданий
    Ниже
    ожиданий
    Соответствует
    ожиданиям
    Превышает
    ожидания
    Сильно
    превышает
    ожидания
    3,5
    2,2
    diff = 1,3 – всё плохо
    

    View Slide

77. Корректировка оценок
    Оценка:

    «Сильно превысила ожидания»
    Добряк
    Путает шкалу performance review со школьной
    системой баллов
    Комментарии к оценке:

    «Отработал строго по своим ожиданиям,
    молодец!»
    

    View Slide

78. Корректировка оценок
    Оценка:

    «Сильно превысила ожидания»
    Добряк
    Комментарии к оценке:

    «Отработал строго по своим ожиданиям,
    молодец!»
    «Соответствует ожиданиям»
    Путает шкалу performance review со школьной
    системой баллов
    

    View Slide

79. Паттерны поведения 7
    

    View Slide

80. Оценка:

    «Сильно превысила ожидания»
    Впечатлительный
    Оценивает, основываясь на одном ярком
    впечатлении
    Комментарии к оценке:

    «Помог мне почистить айфон от вирусов. Он
    - один из лучших в компании!»
    

    View Slide

81. 
    Оценивает, основываясь на одном ярком
    впечатлении
    Диагностика:

    - Нет обоснования оценке, либо оно
    однобоко
    Таблетки:
    - Требовать детали в обосновании
    оценок
    - В течение квартала вести учет
    взаимодействиям с коллегами
    Впечатлительный
    

    View Slide

82. 8
    Злопамятный
    Оценивает все время работы с сотрудником,
    а не последний квартал
    Оценка:

    «Ниже ожиданий»
    Комментарии к оценке:

    «В 2014 году, когда мы сидели в одной
    комнате, он много курил. А еще весь
    прошлый год уделял больше внимания коду,
    а не потребностям бизнеса»
    

    View Slide

83. 8
    Оценивает все время работы с сотрудником,
    а не последний квартал
    Диагностика:

    - Много оценочных суждений
    - Нет деталей
    Таблетки:
    - Требовать детали в обосновании
    оценок
    - В течение квартала вести учет
    взаимодействиям с коллегами
    Злопамятный
    

    View Slide

84. 
    Конформист
    Не может оценить, но оценивает
    Оценка:

    «Соответствует ожиданиям»
    Комментарии к оценке:

    «-»
    

    View Slide

85. Диагностика:

    - Бесполезный комментарий
    Таблетки:
    - Дать возможность отказаться от
    ревью
    - Выявлять любителей халявы в
    аналитике
    
    Конформист
    Не может оценить, но оценивает
    

    View Slide

86. Оценка:

    «Соответствует ожиданиям»
    Комментарии к оценке:

    «Справляется со своими обязанностями, не
    хуже и не лучше других»
    
    Жалостливый
    Не дает конструктивной обратной связи,
    жалеет сотрудника
    

    View Slide

87. 
    Жалостливый
    Не дает конструктивной обратной связи,
    жалеет сотрудника
    Диагностика:

    - Систематически завышает оценки
    Таблетки:
    - Нормализация оценок
    - Бенчмаркинг отзыва относительно
    ожиданий
    

    View Slide

88. Оценка:

    «Соответствует ожиданиям»
    Комментарии к оценке:

    «Он перформил как бешеный, но это
    соответствовало моим изначально сильно
    завышенным ожиданиям»
    
    Оценивает по субъективным ожиданиям
    Субъективный
    

    View Slide

89. 
    Субъективный
    Оценивает по субъективным ожиданиям
    Диагностика:

    - Словосочетание «мои ожидания» и
    производные от него
    Таблетки:
    - Простая система ожиданий от
    позиций и ролей
    

    View Slide

90. Инструменты
    

    View Slide

91. MVP (1/3)
    - Опрос на Google Form
    - Ручная рассылка по списку
    респондентов
    - Заполняется менеджером
    - Ручные напоминания
    

    View Slide

92. MVP (2/3) - Сводка по команде
    - Результат синхронизируется
    вручную
    - Заполняется менеджером
    

    View Slide

93. MVP (3/3) - Балансировка участников ревью
    - Контроль участия всех
    сотрудников
    

    View Slide

94. Опросник Результаты Дерево
    bit.ly/2BIsXM9 bit.ly/2nJksIm bit.ly/2nIc5N4
    

    View Slide

95. Сотрудник
    "
    Подбор людей
    Оценка других
    Анализ фидбэка
    20 мин
    120 мин
    10 мин
    Тимлид
    !
    Сбор данных
    Создание форм
    Рассылка форм
    Пинки людей
    Подведение итогов
    120 мин
    60 мин
    60 мин
    60 мин
    180 мин
    Хэд ов что-то
    =
    Калибровка данных
    Сбор результатов
    90 мин
    240 мин
    38,5 ч
    

    View Slide

96. 38,5 ч
    

    View Slide

97. View Slide

98. что имеем сейчас
    как развивались
    куда еще расти
    

    View Slide

99. Упрощение системы ожиданий
    - Описание всех позиций
    должно быть предельно
    простым
    - В идеале – описать простым
    чек-листом
    

    View Slide

100. Сокращение количества полей
     - Большой процент
     респондентов заполняет
     только первое поле
     - Нужно экспериментировать
     на пользователях и проверять
     гипотезы
     

     View Slide

101. Управление пиковой нагрузкой
     - Выполнять ревью всем
     одновременно – тяжело и не
     эффективно

     - Можно сглаживать нагрузку,
     распределяя разные группы
     по времени
     

     View Slide

102. Попроситься в ревью
     - Иногда тебя могут забыть
     или намеренно не добавить в
     ревью
     - Дадим возможность
     предложить себя как
     ревьюера
     

     View Slide

103. проведите
     эксперимент
     соберите
     данные
     обсудите на
     ретро
     Performance review
     • устройство процесса в
     Avito
     • анонимность, тулинг и
     антипаттерны
     • аналитика оценок и
     отзывов
     Егор Толстой t.me/etolstoy
     

     View Slide