CodeFest 2018. Егор Толстой (Avito) — Как улучшить Performance Review

Посмотрите выступление Егора: https://2018.codefest.ru/lecture/1339/

За прошедший год мы провели ревью 500 сотрудников, собрали 9655 оценок, проанализировали и классифицировали всех участников по разным профилям. А ещё мы автоматизировали процесс.

В докладе расскажу, как устроено Performance Review в Avito, как мы итеративно развивали процесс; какие делали ошибки; какие открыли для себя паттерны и антипаттерны поведения людей.

Уровень
Техлиды и менеджеры, средние и крупные команды

Transcript

1. Как улучшить Performance
   Review
   Егор Толстой Head of App Platform
   Engineering
   Avito
   

   View Slide

2. !
   

   View Slide

3. "
   #
   
   %
   &
   #
   "
   '
   ( ! )
   

   View Slide

4. "
   #
   
   %
   &
   #
   "
   '
   ( ! )
   ↑money
   ↑retention
   ↑users
   ↑ads
   ???
   

   View Slide

5. &
   #
   ( !
   

   View Slide

6. &
   #
   ( !
   
   

   View Slide

7. &
   #
   ( !
   
   "
   # %
   

   View Slide

8. &
   #
   ( !
   
   
   "
   # %
   

   View Slide

9. 
   
   ! '
   
   
   ❤
   

   View Slide

10. 
    
    Про Google Про Badoo
    bit.ly/2pLmveQ https://bit.ly/2IYDRh8
    

    View Slide

11. как улучшить
    performance
    review
    

    View Slide

12. что имеем сейчас
    как развивались
    куда еще расти
    

    View Slide

13. что имеем сейчас
    как развивались
    куда еще расти
    

    View Slide

14. январь март май июль сентябрь ноябрь
    февраль апрель июнь август октябрь декабрь
    Q1 review
    Q2 review
    Q3 review
    Q4 review
    Процесс review
    

    View Slide

15. Оцениваемый
    проводит self review
    Руководитель
    запускает процесс
    Руководитель дает
    обратную связь
    Оцениваемый
    выбирает респондентов
    Респонденты заполняют
    опросник
    Процесс review
    

    View Slide

16. Оцениваемый проводит self review
    

    View Slide

17. Оцениваемый проводит self review
    

    View Slide

18. Оцениваемый проводит self review
    

    View Slide

19. Оцениваемый проводит self review
    

    View Slide

20. Оцениваемый проводит self review
    

    View Slide

21. Оцениваемый проводит self review
    

    View Slide

22. Оцениваемый проводит self review
    

    View Slide

23. Оцениваемый выбирает респондентов
    Зиновьев Константин
    Разработчик мобильных приложений
    Менеджер
    Непосредственный руководитель
    Стейкхолдеры
    Заказчики ваших услуг
    Пиры
    Коллеги, с которыми вы работаете
    Подчиненные
    Формальные и неформальные
    

    View Slide

24. Руководитель запускает процесс
    • Выполнил OKR юнита
    • Прочитал Танненбаума
    • Выступил на 5 митапах
    • Прошел все Uncharted
    • Немного задержал релиз
    Менеджер Кости
    Руководитель группы разработки
    

    View Slide

25. Руководитель запускает процесс
    Менеджер Кости
    Руководитель группы разработки
    

    View Slide

26. Руководитель запускает процесс
    

    View Slide

27. Коллега Кости из другого юнита
    Разработчик мобильных приложений
    Респонденты заполняют опросник
    

    View Slide

28. Респонденты заполняют опросник
    Коллега Кости из другого юнита
    Разработчик мобильных приложений
    • Делал редизайн карточки
    объявления в рамках OKR
    • Прочитал Танненбаума
    • Выступил на 3 митапах
    • На 5 дней задержал релиз
    Ожидания:
    • Мобильный разработчик
    • Наставник
    • Участник юнита
    

    View Slide

29. Респонденты заполняют опросник
    • Делал редизайн карточки
    объявления в рамках OKR
    • Прочитал Танненбаума
    • Выступил на 3 митапах
    • На 5 дней задержал релиз
    Ожидания:
    • Мобильный разработчик
    • Наставник
    • Участник юнита
    Коллега Кости из другого юнита
    Разработчик мобильных приложений
    

    View Slide

30. Респонденты заполняют опросник
    Оценка:

    «Ниже ожиданий»
    Коллега Кости из другого юнита
    Разработчик мобильных приложений
    Комментарии к оценке:

    «Вместо того, чтобы обратиться за помощью,
    неделями закапывается в проблему сам.
    Кроме того, пока не начал ориентироваться
    в компании»
    

    View Slide

31. Руководитель дает обратную связь
    (Manager.Avg + Stakeholder.Avg + Peers.Avg + Subordinates.Avg)
    4
    

    View Slide

32. Руководитель дает обратную связь
    Оценка,

    обратная связь,
    обсуждение
    Зиновьев Константин
    Разработчик мобильных приложений
    Менеджер Кости
    Руководитель группы разработки
    

    View Slide

33. что имеем сейчас
    как развивались
    куда еще расти
    

    View Slide

34. Анонимность
    

    View Slide

35. Анонимность
    все видят всё
    обезличенный фидбэк
    итоги от менеджера
    

    View Slide

36. Анонимность
    все видят всё
    обезличенный фидбэк
    итоги от менеджера
    Иван Петров
    Работать с Константином не стал
    бы, если бы мне дали такой
    выбор. Он никогда не попадает в
    оценки, провоцирует конфликты,
    жарит рыбу в микроволновке!
    Владимир Иванов
    Костя – самый сильный
    программист из всех, что я видел.
    Может делать и быстро, и
    качественно.
    

    View Slide

37. Анонимность
    все видят всё
    обезличенный фидбэк
    итоги от менеджера
    Работать с Константином не стал бы, если
    бы мне дали такой выбор. Он никогда не
    попадает в оценки, провоцирует
    конфликты, жарит рыбу в микроволновке!
    Костя – самый сильный программист из
    всех, что я видел. Может делать и быстро,
    и качественно.
    

    View Slide

38. Анонимность
    Анонимный чувак
    ???
    Комментарии к оценке:

    «В своей команде занимается только
    разработчиками и тестировщиками. На
    взаимодействие с дизайнером вообще не
    обращает внимание, а хочется, чтобы
    пытался вовлекать»
    

    View Slide

39. Анонимность
    Анонимный чувак
    ???
    Комментарии к оценке:

    «Слышал мнение, что он управляет
    командой недостаточно эффективно»
    

    View Slide

40. Анонимность
    все видят всё
    обезличенный фидбэк
    итоги от менеджера
    Плюсы:
    - Делает быстро
    - Делает качественно
    Минусы:
    - Не попадает в оценки
    - Конфликтный
    - Жарит рыбу
    

    View Slide

41. Анонимность
    Обезличенный
    фидбэк
    Воспитательные
    работы
    Часть
    сотрудников
    видят всё
    Все видят всё, за
    редким
    исключением
    

    View Slide

42. Анонимность
    Обезличенный
    фидбэк
    Воспитательные
    работы
    Часть
    сотрудников
    видят всё
    Все видят всё, за
    редким
    исключением
    

    View Slide

43. Анонимность
    Обезличенный
    фидбэк
    Воспитательные
    работы
    Часть
    сотрудников
    видят всё
    Все видят всё, за
    редким
    исключением
    

    View Slide

44. Анонимность
    Обезличенный
    фидбэк
    Воспитательные
    работы
    Часть
    сотрудников
    видят всё
    Все видят всё, за
    редким
    исключением
    

    View Slide

45. Работа с данными
    

    View Slide

46. 9.655
    оценок
    5
    1.412
    респондентов
    6
    1.015
    оцениваемых
    3 квартала
    

    View Slide

47. Сколько нужно респондентов
    - Оптимальное количество
    респондентов в ревью – 9-11
    человек

    - Это средний размер
    команды плюс 2-3 внешних
    контакта

    - Есть хвосты из маленьких
    команд и менеджеров с
    большим нетворкингом
    

    View Slide

48. Сколько тратить времени
    - Большинство проводят до
    11 ревью за период

    

    - Средняя
    продолжительность ревью –
    около 10 минут

    

    - С учётом фокус-фактора, у
    респондента уходит до 4
    часов в квартал на ревью
    

    View Slide

49. Распределение оценок
    - Средний балл – 3,47,
    есть сильный перекос в
    сторону 4

    

    - Две гипотезы: не
    умеем справедливо
    оценивать, либо часть
    людей не на своих
    местах
    Q2
    

    View Slide

50. Распределение оценок
    - Средний балл – 3,27

    

    - Доля 4 и 5 резко
    упала после
    проработки обеих
    гипотез прошлого
    квартала
    Q2
    Q3
    

    View Slide

51. Распределение оценок
    - Средний балл – 3,25,
    дельта с прошлым
    кварталом – 0,02

    

    - Форма гистограммы
    также не меняется
    Q2
    Q3
    Q4
    

    View Slide

52. Распределение оценок
    - Между последними двумя
    кварталами процесс
    стабилизировался. Основное опасение
    – большое количество 3 и очень
    малое – 2 и 1.
    Q2
    Q3
    Q4
    3,47
    3,27
    3,25
    

    View Slide

53. Влияние групп на оценки
    - Гипотеза: люди склонны
    завышать оценки своей
    команде и занижать
    остальным
    

    - Различие между оценками
    в среднем в районе 0,03
    балла

    

    - На концах интервала
    расхождение не больше 0,5
    баллов в обе стороны
    

    View Slide

54. Влияние ролей на оценки
    - Гипотеза: выполняемая
    роль влияет на оценки
    

    - Различие между оценками
    ролей достигало 0,37 на
    старте, сейчас – 0,07

    

    - Менеджеры – самые
    жесткие ребята
    

    View Slide

55. 
    Справедливость
    Доброта Трудолюбие
    

    View Slide

56. Характеристики:

    - Дал более 4 оценок
    - Средний балл выше 4,1
    - Отсутствуют 1 и 2
    Осип Борзилов
    Оценил: 4
    Средняя: 5,00
    Оскар Белоусов
    Оценил: 4
    Средняя: 4,75
    Иван Челомцев
    Оценил: 7
    Средняя: 4,67
    Денис Султанов
    Оценил: 10
    Средняя: 4,43
    
    

    View Slide

57. Характеристики:

    - Дал более 4 оценок
    - Средний балл ниже 2,7
    - Отсутствуют 4 и 5
    Осип Борзилов
    Оценил: 6
    Средняя: 2,50
    Оскар Белоусов
    Оценил: 6
    Средняя: 2,50
    Иван Челомцев
    Оценил: 6
    Средняя: 2,67
    Денис Султанов
    Оценил: 7
    Средняя: 2,67
    
    

    View Slide

58. Характеристики:

    - Дал более 8 оценок
    - Средний балл – 3,0
    - Дисперсия – 0
    - Комментарий < 500 знаков
    Осип Борзилов
    Оценил: 12
    Средняя: 3
    Оскар Белоусов
    Оценил: 11
    Средняя: 3
    Иван Челомцев
    Оценил: 11
    Средняя: 3
    Денис Султанов
    Оценил: 8
    Средняя: 3
    Дисперсия: 0
    Дисперсия: 0
    Дисперсия: 0
    Дисперсия: 0
    

    View Slide

59. Стратегия вырожденной группы
    - Итоговая оценка – среднее
    по группам

    - Оценка группы – среднее
    по участникам

    - Если в группе один
    оценщик, он получает очень
    большой вес
    5 коллег
    3 + 3 + 2 + 2 + 3
    1 стейкхолдер
    X
    +
    3 подчиненных
    3 + 3 + 3
    +
    2,6 + X + 3
    3
    X = 1, результат 2,2
    X = 3, результат 2,9
    X = 5, результат 3,5
    =>
    

    View Slide

60. Нормализация оценок
    - score – текущая оценка
    - avg_author_score – средняя
    оценка респондента
    - 3 – средний уровень оценок
    по компании
    score - avg_author_score + 3
    if count > 3
    else score
    

    View Slide

61. Нормализация оценок
    score - avg_author_score + 3
    if count > 3
    else score
    score:
    4,3
    4
    нормализованный итог: 4 - 4,3 + 3 = 2,7
    Нормализация оценок добряков
    - score – текущая оценка
    - avg_author_score – средняя
    оценка респондента
    - 3 – средний уровень оценок
    по компании
    

    View Slide

62. Нормализация оценок
    score - avg_author_score + 3
    if count > 3
    else score
    score:
    4,3
    2
    нормализованный итог: 2 - 4,3 + 3 = 0,7
    Нормализация оценок добряков
    - score – текущая оценка
    - avg_author_score – средняя
    оценка респондента
    - 3 – средний уровень оценок
    по компании
    

    View Slide

63. Нормализация оценок
    score - avg_author_score + 3
    if count > 3
    else score
    score:
    2,4
    2
    нормализованный итог: 2 - 2,4 + 3 = 2,6
    Нормализация оценок справедливых
    - score – текущая оценка
    - avg_author_score – средняя
    оценка респондента
    - 3 – средний уровень оценок
    по компании
    

    View Slide

64. Нормализация оценок
    score - avg_author_score + 3
    if count > 3
    else score
    score:
    2,4
    4
    нормализованный итог: 4 - 2,4 + 3 = 4,6
    Нормализация оценок справедливых
    - score – текущая оценка
    - avg_author_score – средняя
    оценка респондента
    - 3 – средний уровень оценок
    по компании
    

    View Slide

65. Нормализация оценок
    Perfomance score
    Сильно ниже
    ожиданий
    Ниже
    ожиданий
    Соответствует
    ожиданиям
    Превышает
    ожидания
    Сильно
    превышает
    ожидания
    Нормализованный итог
    Сильно ниже
    ожиданий
    Ниже
    ожиданий
    Соответствует
    ожиданиям
    Превышает
    ожидания
    Сильно
    превышает
    ожидания
    

    View Slide

66. Нормализация оценок
    Perfomance score
    Сильно ниже
    ожиданий
    Ниже
    ожиданий
    Соответствует
    ожиданиям
    Превышает
    ожидания
    Сильно
    превышает
    ожидания
    Нормализованный итог
    Сильно ниже
    ожиданий
    Ниже
    ожиданий
    Соответствует
    ожиданиям
    Превышает
    ожидания
    Сильно
    превышает
    ожидания
    3,5
    3,3
    diff = 0,2 – всё норм
    

    View Slide

67. Нормализация оценок
    Perfomance score
    Сильно ниже
    ожиданий
    Ниже
    ожиданий
    Соответствует
    ожиданиям
    Превышает
    ожидания
    Сильно
    превышает
    ожидания
    Нормализованный итог
    Сильно ниже
    ожиданий
    Ниже
    ожиданий
    Соответствует
    ожиданиям
    Превышает
    ожидания
    Сильно
    превышает
    ожидания
    3,5
    2,2
    diff = 1,3 – всё плохо
    

    View Slide

68. Корректировка оценок
    Оценка:

    «Сильно превысила ожидания»
    Добряк
    Путает шкалу performance review со школьной
    системой баллов
    Комментарии к оценке:

    «Отработал строго по своим ожиданиям,
    молодец!»
    

    View Slide

69. Корректировка оценок
    Оценка:

    «Сильно превысила ожидания»
    Добряк
    Комментарии к оценке:

    «Отработал строго по своим ожиданиям,
    молодец!»
    «Соответствует ожиданиям»
    Путает шкалу performance review со школьной
    системой баллов
    

    View Slide

70. Инструменты
    

    View Slide

71. MVP (1/3)
    - Опрос на Google Form
    - Ручная рассылка по списку
    респондентов
    - Заполняется менеджером
    - Ручные напоминания
    

    View Slide

72. MVP (2/3) - Сводка по команде
    - Результат синхронизируется
    вручную
    - Заполняется менеджером
    

    View Slide

73. MVP (3/3) - Балансировка участников ревью
    - Контроль участия всех
    сотрудников
    

    View Slide

74. Опросник Результаты Дерево
    bit.ly/2BIsXM9 bit.ly/2nJksIm bit.ly/2nIc5N4
    

    View Slide

75. Сотрудник
    #
    Подбор людей
    Оценка других
    Анализ фидбэка
    20 мин
    120 мин
    10 мин
    Тимлид
    "
    Сбор данных
    Создание форм
    Рассылка форм
    Пинки людей
    Подведение итогов
    120 мин
    60 мин
    60 мин
    60 мин
    180 мин
    Хэд ов что-то
    ;
    Калибровка данных
    Сбор результатов
    90 мин
    240 мин
    38,5 ч
    

    View Slide

76. 38,5 ч
    

    View Slide

77. View Slide

78. что имеем сейчас
    как развивались
    куда еще расти
    

    View Slide

79. Упрощение системы ожиданий
    - Описание всех позиций
    должно быть предельно
    простым
    - В идеале – описать простым
    чек-листом
    

    View Slide

80. Сокращение количества полей
    - Большой процент
    респондентов заполняет
    только первое поле
    - Нужно экспериментировать
    на пользователях и проверять
    гипотезы
    

    View Slide

81. Управление пиковой нагрузкой
    - Выполнять ревью всем
    одновременно – тяжело и не
    эффективно

    - Можно сглаживать нагрузку,
    распределяя разные группы
    по времени
    

    View Slide

82. Попроситься в ревью
    - Иногда тебя могут забыть
    или намеренно не добавить в
    ревью
    - Дадим возможность
    предложить себя как
    ревьюера
    

    View Slide

83. проведите
    эксперимент
    соберите
    данные
    обсудите на
    ретро
    Performance review
    • устройство процесса в
    Avito
    • анонимность, тулинг и
    антипаттерны
    • аналитика оценок и
    отзывов
    Егор Толстой t.me/etolstoy
    

    View Slide