Upgrade to Pro — share decks privately, control downloads, hide ads and more …

CodeFest 2018. Егор Толстой (Avito) — Как улучшить Performance Review

16b6c87229eaf58768d25ed7b2bbbf52?s=47 CodeFest
April 05, 2018

CodeFest 2018. Егор Толстой (Avito) — Как улучшить Performance Review

Посмотрите выступление Егора: https://2018.codefest.ru/lecture/1339/

За прошедший год мы провели ревью 500 сотрудников, собрали 9655 оценок, проанализировали и классифицировали всех участников по разным профилям. А ещё мы автоматизировали процесс.

В докладе расскажу, как устроено Performance Review в Avito, как мы итеративно развивали процесс; какие делали ошибки; какие открыли для себя паттерны и антипаттерны поведения людей.

Уровень
Техлиды и менеджеры, средние и крупные команды

16b6c87229eaf58768d25ed7b2bbbf52?s=128

CodeFest

April 05, 2018
Tweet

Transcript

  1. Как улучшить Performance Review Егор Толстой Head of App Platform

    Engineering Avito
  2. !

  3. " # % & # " ' ( ! )

  4. " # % & # " ' ( ! )

    ↑money ↑retention ↑users ↑ads ???
  5. & # ( !

  6. & # ( !

  7. & # ( ! " # %

  8. & # ( ! " # %

  9. ! ' ❤

  10. Про Google Про Badoo bit.ly/2pLmveQ https://bit.ly/2IYDRh8

  11. как улучшить performance review

  12. что имеем сейчас как развивались куда еще расти

  13. что имеем сейчас как развивались куда еще расти

  14. январь март май июль сентябрь ноябрь февраль апрель июнь август

    октябрь декабрь Q1 review Q2 review Q3 review Q4 review Процесс review
  15. Оцениваемый проводит self review Руководитель запускает процесс Руководитель дает обратную

    связь Оцениваемый выбирает респондентов Респонденты заполняют опросник Процесс review
  16. Оцениваемый проводит self review

  17. Оцениваемый проводит self review

  18. Оцениваемый проводит self review

  19. Оцениваемый проводит self review

  20. Оцениваемый проводит self review

  21. Оцениваемый проводит self review

  22. Оцениваемый проводит self review

  23. Оцениваемый выбирает респондентов Зиновьев Константин Разработчик мобильных приложений Менеджер Непосредственный

    руководитель Стейкхолдеры Заказчики ваших услуг Пиры Коллеги, с которыми вы работаете Подчиненные Формальные и неформальные
  24. Руководитель запускает процесс • Выполнил OKR юнита • Прочитал Танненбаума

    • Выступил на 5 митапах • Прошел все Uncharted • Немного задержал релиз Менеджер Кости Руководитель группы разработки
  25. Руководитель запускает процесс Менеджер Кости Руководитель группы разработки

  26. Руководитель запускает процесс

  27. Коллега Кости из другого юнита Разработчик мобильных приложений Респонденты заполняют

    опросник
  28. Респонденты заполняют опросник Коллега Кости из другого юнита Разработчик мобильных

    приложений • Делал редизайн карточки объявления в рамках OKR • Прочитал Танненбаума • Выступил на 3 митапах • На 5 дней задержал релиз Ожидания: • Мобильный разработчик • Наставник • Участник юнита
  29. Респонденты заполняют опросник • Делал редизайн карточки объявления в рамках

    OKR • Прочитал Танненбаума • Выступил на 3 митапах • На 5 дней задержал релиз Ожидания: • Мобильный разработчик • Наставник • Участник юнита Коллега Кости из другого юнита Разработчик мобильных приложений
  30. Респонденты заполняют опросник Оценка:
 «Ниже ожиданий» Коллега Кости из другого

    юнита Разработчик мобильных приложений Комментарии к оценке:
 «Вместо того, чтобы обратиться за помощью, неделями закапывается в проблему сам. Кроме того, пока не начал ориентироваться в компании»
  31. Руководитель дает обратную связь (Manager.Avg + Stakeholder.Avg + Peers.Avg +

    Subordinates.Avg) 4
  32. Руководитель дает обратную связь Оценка,
 обратная связь, обсуждение Зиновьев Константин

    Разработчик мобильных приложений Менеджер Кости Руководитель группы разработки
  33. что имеем сейчас как развивались куда еще расти

  34. Анонимность

  35. Анонимность все видят всё обезличенный фидбэк итоги от менеджера

  36. Анонимность все видят всё обезличенный фидбэк итоги от менеджера Иван

    Петров Работать с Константином не стал бы, если бы мне дали такой выбор. Он никогда не попадает в оценки, провоцирует конфликты, жарит рыбу в микроволновке! Владимир Иванов Костя – самый сильный программист из всех, что я видел. Может делать и быстро, и качественно.
  37. Анонимность все видят всё обезличенный фидбэк итоги от менеджера Работать

    с Константином не стал бы, если бы мне дали такой выбор. Он никогда не попадает в оценки, провоцирует конфликты, жарит рыбу в микроволновке! Костя – самый сильный программист из всех, что я видел. Может делать и быстро, и качественно.
  38. Анонимность Анонимный чувак ??? Комментарии к оценке:
 «В своей команде

    занимается только разработчиками и тестировщиками. На взаимодействие с дизайнером вообще не обращает внимание, а хочется, чтобы пытался вовлекать»
  39. Анонимность Анонимный чувак ??? Комментарии к оценке:
 «Слышал мнение, что

    он управляет командой недостаточно эффективно»
  40. Анонимность все видят всё обезличенный фидбэк итоги от менеджера Плюсы:

    - Делает быстро - Делает качественно Минусы: - Не попадает в оценки - Конфликтный - Жарит рыбу
  41. Анонимность Обезличенный фидбэк Воспитательные работы Часть сотрудников видят всё Все

    видят всё, за редким исключением
  42. Анонимность Обезличенный фидбэк Воспитательные работы Часть сотрудников видят всё Все

    видят всё, за редким исключением
  43. Анонимность Обезличенный фидбэк Воспитательные работы Часть сотрудников видят всё Все

    видят всё, за редким исключением
  44. Анонимность Обезличенный фидбэк Воспитательные работы Часть сотрудников видят всё Все

    видят всё, за редким исключением
  45. Работа с данными

  46. 9.655 оценок 5 1.412 респондентов 6 1.015 оцениваемых 3 квартала

  47. Сколько нужно респондентов - Оптимальное количество респондентов в ревью –

    9-11 человек
 - Это средний размер команды плюс 2-3 внешних контакта
 - Есть хвосты из маленьких команд и менеджеров с большим нетворкингом
  48. Сколько тратить времени - Большинство проводят до 11 ревью за

    период
 
 - Средняя продолжительность ревью – около 10 минут
 
 - С учётом фокус-фактора, у респондента уходит до 4 часов в квартал на ревью
  49. Распределение оценок - Средний балл – 3,47, есть сильный перекос

    в сторону 4
 
 - Две гипотезы: не умеем справедливо оценивать, либо часть людей не на своих местах Q2
  50. Распределение оценок - Средний балл – 3,27
 
 - Доля

    4 и 5 резко упала после проработки обеих гипотез прошлого квартала Q2 Q3
  51. Распределение оценок - Средний балл – 3,25, дельта с прошлым

    кварталом – 0,02
 
 - Форма гистограммы также не меняется Q2 Q3 Q4
  52. Распределение оценок - Между последними двумя кварталами процесс стабилизировался. Основное

    опасение – большое количество 3 и очень малое – 2 и 1. Q2 Q3 Q4 3,47 3,27 3,25
  53. Влияние групп на оценки - Гипотеза: люди склонны завышать оценки

    своей команде и занижать остальным 
 - Различие между оценками в среднем в районе 0,03 балла
 
 - На концах интервала расхождение не больше 0,5 баллов в обе стороны
  54. Влияние ролей на оценки - Гипотеза: выполняемая роль влияет на

    оценки 
 - Различие между оценками ролей достигало 0,37 на старте, сейчас – 0,07
 
 - Менеджеры – самые жесткие ребята
  55. Справедливость Доброта Трудолюбие

  56. Характеристики:
 - Дал более 4 оценок - Средний балл выше

    4,1 - Отсутствуют 1 и 2 Осип Борзилов Оценил: 4 Средняя: 5,00 Оскар Белоусов Оценил: 4 Средняя: 4,75 Иван Челомцев Оценил: 7 Средняя: 4,67 Денис Султанов Оценил: 10 Средняя: 4,43
  57. Характеристики:
 - Дал более 4 оценок - Средний балл ниже

    2,7 - Отсутствуют 4 и 5 Осип Борзилов Оценил: 6 Средняя: 2,50 Оскар Белоусов Оценил: 6 Средняя: 2,50 Иван Челомцев Оценил: 6 Средняя: 2,67 Денис Султанов Оценил: 7 Средняя: 2,67
  58. Характеристики:
 - Дал более 8 оценок - Средний балл –

    3,0 - Дисперсия – 0 - Комментарий < 500 знаков Осип Борзилов Оценил: 12 Средняя: 3 Оскар Белоусов Оценил: 11 Средняя: 3 Иван Челомцев Оценил: 11 Средняя: 3 Денис Султанов Оценил: 8 Средняя: 3 Дисперсия: 0 Дисперсия: 0 Дисперсия: 0 Дисперсия: 0
  59. Стратегия вырожденной группы - Итоговая оценка – среднее по группам


    - Оценка группы – среднее по участникам
 - Если в группе один оценщик, он получает очень большой вес 5 коллег 3 + 3 + 2 + 2 + 3 1 стейкхолдер X + 3 подчиненных 3 + 3 + 3 + 2,6 + X + 3 3 X = 1, результат 2,2 X = 3, результат 2,9 X = 5, результат 3,5 =>
  60. Нормализация оценок - score – текущая оценка - avg_author_score –

    средняя оценка респондента - 3 – средний уровень оценок по компании score - avg_author_score + 3 if count > 3 else score
  61. Нормализация оценок score - avg_author_score + 3 if count >

    3 else score score: 4,3 4 нормализованный итог: 4 - 4,3 + 3 = 2,7 Нормализация оценок добряков - score – текущая оценка - avg_author_score – средняя оценка респондента - 3 – средний уровень оценок по компании
  62. Нормализация оценок score - avg_author_score + 3 if count >

    3 else score score: 4,3 2 нормализованный итог: 2 - 4,3 + 3 = 0,7 Нормализация оценок добряков - score – текущая оценка - avg_author_score – средняя оценка респондента - 3 – средний уровень оценок по компании
  63. Нормализация оценок score - avg_author_score + 3 if count >

    3 else score score: 2,4 2 нормализованный итог: 2 - 2,4 + 3 = 2,6 Нормализация оценок справедливых - score – текущая оценка - avg_author_score – средняя оценка респондента - 3 – средний уровень оценок по компании
  64. Нормализация оценок score - avg_author_score + 3 if count >

    3 else score score: 2,4 4 нормализованный итог: 4 - 2,4 + 3 = 4,6 Нормализация оценок справедливых - score – текущая оценка - avg_author_score – средняя оценка респондента - 3 – средний уровень оценок по компании
  65. Нормализация оценок Perfomance score Сильно ниже ожиданий Ниже ожиданий Соответствует

    ожиданиям Превышает ожидания Сильно превышает ожидания Нормализованный итог Сильно ниже ожиданий Ниже ожиданий Соответствует ожиданиям Превышает ожидания Сильно превышает ожидания
  66. Нормализация оценок Perfomance score Сильно ниже ожиданий Ниже ожиданий Соответствует

    ожиданиям Превышает ожидания Сильно превышает ожидания Нормализованный итог Сильно ниже ожиданий Ниже ожиданий Соответствует ожиданиям Превышает ожидания Сильно превышает ожидания 3,5 3,3 diff = 0,2 – всё норм
  67. Нормализация оценок Perfomance score Сильно ниже ожиданий Ниже ожиданий Соответствует

    ожиданиям Превышает ожидания Сильно превышает ожидания Нормализованный итог Сильно ниже ожиданий Ниже ожиданий Соответствует ожиданиям Превышает ожидания Сильно превышает ожидания 3,5 2,2 diff = 1,3 – всё плохо
  68. Корректировка оценок Оценка:
 «Сильно превысила ожидания» Добряк Путает шкалу performance

    review со школьной системой баллов Комментарии к оценке:
 «Отработал строго по своим ожиданиям, молодец!»
  69. Корректировка оценок Оценка:
 «Сильно превысила ожидания» Добряк Комментарии к оценке:


    «Отработал строго по своим ожиданиям, молодец!» «Соответствует ожиданиям» Путает шкалу performance review со школьной системой баллов
  70. Инструменты

  71. MVP (1/3) - Опрос на Google Form - Ручная рассылка

    по списку респондентов - Заполняется менеджером - Ручные напоминания
  72. MVP (2/3) - Сводка по команде - Результат синхронизируется вручную

    - Заполняется менеджером
  73. MVP (3/3) - Балансировка участников ревью - Контроль участия всех

    сотрудников
  74. Опросник Результаты Дерево bit.ly/2BIsXM9 bit.ly/2nJksIm bit.ly/2nIc5N4

  75. Сотрудник # Подбор людей Оценка других Анализ фидбэка 20 мин

    120 мин 10 мин Тимлид " Сбор данных Создание форм Рассылка форм Пинки людей Подведение итогов 120 мин 60 мин 60 мин 60 мин 180 мин Хэд ов что-то ; Калибровка данных Сбор результатов 90 мин 240 мин 38,5 ч
  76. 38,5 ч

  77. None
  78. что имеем сейчас как развивались куда еще расти

  79. Упрощение системы ожиданий - Описание всех позиций должно быть предельно

    простым - В идеале – описать простым чек-листом
  80. Сокращение количества полей - Большой процент респондентов заполняет только первое

    поле - Нужно экспериментировать на пользователях и проверять гипотезы
  81. Управление пиковой нагрузкой - Выполнять ревью всем одновременно – тяжело

    и не эффективно
 - Можно сглаживать нагрузку, распределяя разные группы по времени
  82. Попроситься в ревью - Иногда тебя могут забыть или намеренно

    не добавить в ревью - Дадим возможность предложить себя как ревьюера
  83. проведите эксперимент соберите данные обсудите на ретро Performance review •

    устройство процесса в Avito • анонимность, тулинг и антипаттерны • аналитика оценок и отзывов Егор Толстой t.me/etolstoy