Upgrade to Pro — share decks privately, control downloads, hide ads and more …

CodeFest 2018. Егор Толстой (Avito) — Как улучшить Performance Review

CodeFest
April 05, 2018

CodeFest 2018. Егор Толстой (Avito) — Как улучшить Performance Review

Посмотрите выступление Егора: https://2018.codefest.ru/lecture/1339/

За прошедший год мы провели ревью 500 сотрудников, собрали 9655 оценок, проанализировали и классифицировали всех участников по разным профилям. А ещё мы автоматизировали процесс.

В докладе расскажу, как устроено Performance Review в Avito, как мы итеративно развивали процесс; какие делали ошибки; какие открыли для себя паттерны и антипаттерны поведения людей.

Уровень
Техлиды и менеджеры, средние и крупные команды

CodeFest

April 05, 2018
Tweet

More Decks by CodeFest

Other Decks in Education

Transcript

  1. Как улучшить Performance
    Review
    Егор Толстой Head of App Platform
    Engineering
    Avito

    View full-size slide

  2. "
    #

    %
    &
    #
    "
    '
    ( ! )

    View full-size slide

  3. "
    #

    %
    &
    #
    "
    '
    ( ! )
    ↑money
    ↑retention
    ↑users
    ↑ads
    ???

    View full-size slide



  4. Про Google Про Badoo
    bit.ly/2pLmveQ https://bit.ly/2IYDRh8

    View full-size slide

  5. как улучшить
    performance
    review

    View full-size slide

  6. что имеем сейчас
    как развивались
    куда еще расти

    View full-size slide

  7. что имеем сейчас
    как развивались
    куда еще расти

    View full-size slide

  8. январь март май июль сентябрь ноябрь
    февраль апрель июнь август октябрь декабрь
    Q1 review
    Q2 review
    Q3 review
    Q4 review
    Процесс review

    View full-size slide

  9. Оцениваемый
    проводит self review
    Руководитель
    запускает процесс
    Руководитель дает
    обратную связь
    Оцениваемый
    выбирает респондентов
    Респонденты заполняют
    опросник
    Процесс review

    View full-size slide

  10. Оцениваемый проводит self review

    View full-size slide

  11. Оцениваемый проводит self review

    View full-size slide

  12. Оцениваемый проводит self review

    View full-size slide

  13. Оцениваемый проводит self review

    View full-size slide

  14. Оцениваемый проводит self review

    View full-size slide

  15. Оцениваемый проводит self review

    View full-size slide

  16. Оцениваемый проводит self review

    View full-size slide

  17. Оцениваемый выбирает респондентов
    Зиновьев Константин
    Разработчик мобильных приложений
    Менеджер
    Непосредственный руководитель
    Стейкхолдеры
    Заказчики ваших услуг
    Пиры
    Коллеги, с которыми вы работаете
    Подчиненные
    Формальные и неформальные

    View full-size slide

  18. Руководитель запускает процесс
    • Выполнил OKR юнита
    • Прочитал Танненбаума
    • Выступил на 5 митапах
    • Прошел все Uncharted
    • Немного задержал релиз
    Менеджер Кости
    Руководитель группы разработки

    View full-size slide

  19. Руководитель запускает процесс
    Менеджер Кости
    Руководитель группы разработки

    View full-size slide

  20. Руководитель запускает процесс

    View full-size slide

  21. Коллега Кости из другого юнита
    Разработчик мобильных приложений
    Респонденты заполняют опросник

    View full-size slide

  22. Респонденты заполняют опросник
    Коллега Кости из другого юнита
    Разработчик мобильных приложений
    • Делал редизайн карточки
    объявления в рамках OKR
    • Прочитал Танненбаума
    • Выступил на 3 митапах
    • На 5 дней задержал релиз
    Ожидания:
    • Мобильный разработчик
    • Наставник
    • Участник юнита

    View full-size slide

  23. Респонденты заполняют опросник
    • Делал редизайн карточки
    объявления в рамках OKR
    • Прочитал Танненбаума
    • Выступил на 3 митапах
    • На 5 дней задержал релиз
    Ожидания:
    • Мобильный разработчик
    • Наставник
    • Участник юнита
    Коллега Кости из другого юнита
    Разработчик мобильных приложений

    View full-size slide

  24. Респонденты заполняют опросник
    Оценка:

    «Ниже ожиданий»
    Коллега Кости из другого юнита
    Разработчик мобильных приложений
    Комментарии к оценке:

    «Вместо того, чтобы обратиться за помощью,
    неделями закапывается в проблему сам.
    Кроме того, пока не начал ориентироваться
    в компании»

    View full-size slide

  25. Руководитель дает обратную связь
    (Manager.Avg + Stakeholder.Avg + Peers.Avg + Subordinates.Avg)
    4

    View full-size slide

  26. Руководитель дает обратную связь
    Оценка,

    обратная связь,
    обсуждение
    Зиновьев Константин
    Разработчик мобильных приложений
    Менеджер Кости
    Руководитель группы разработки

    View full-size slide

  27. что имеем сейчас
    как развивались
    куда еще расти

    View full-size slide

  28. Анонимность

    View full-size slide

  29. Анонимность
    все видят всё
    обезличенный фидбэк
    итоги от менеджера

    View full-size slide

  30. Анонимность
    все видят всё
    обезличенный фидбэк
    итоги от менеджера
    Иван Петров
    Работать с Константином не стал
    бы, если бы мне дали такой
    выбор. Он никогда не попадает в
    оценки, провоцирует конфликты,
    жарит рыбу в микроволновке!
    Владимир Иванов
    Костя – самый сильный
    программист из всех, что я видел.
    Может делать и быстро, и
    качественно.

    View full-size slide

  31. Анонимность
    все видят всё
    обезличенный фидбэк
    итоги от менеджера
    Работать с Константином не стал бы, если
    бы мне дали такой выбор. Он никогда не
    попадает в оценки, провоцирует
    конфликты, жарит рыбу в микроволновке!
    Костя – самый сильный программист из
    всех, что я видел. Может делать и быстро,
    и качественно.

    View full-size slide

  32. Анонимность
    Анонимный чувак
    ???
    Комментарии к оценке:

    «В своей команде занимается только
    разработчиками и тестировщиками. На
    взаимодействие с дизайнером вообще не
    обращает внимание, а хочется, чтобы
    пытался вовлекать»

    View full-size slide

  33. Анонимность
    Анонимный чувак
    ???
    Комментарии к оценке:

    «Слышал мнение, что он управляет
    командой недостаточно эффективно»

    View full-size slide

  34. Анонимность
    все видят всё
    обезличенный фидбэк
    итоги от менеджера
    Плюсы:
    - Делает быстро
    - Делает качественно
    Минусы:
    - Не попадает в оценки
    - Конфликтный
    - Жарит рыбу

    View full-size slide

  35. Анонимность
    Обезличенный
    фидбэк
    Воспитательные
    работы
    Часть
    сотрудников
    видят всё
    Все видят всё, за
    редким
    исключением

    View full-size slide

  36. Анонимность
    Обезличенный
    фидбэк
    Воспитательные
    работы
    Часть
    сотрудников
    видят всё
    Все видят всё, за
    редким
    исключением

    View full-size slide

  37. Анонимность
    Обезличенный
    фидбэк
    Воспитательные
    работы
    Часть
    сотрудников
    видят всё
    Все видят всё, за
    редким
    исключением

    View full-size slide

  38. Анонимность
    Обезличенный
    фидбэк
    Воспитательные
    работы
    Часть
    сотрудников
    видят всё
    Все видят всё, за
    редким
    исключением

    View full-size slide

  39. Работа с данными

    View full-size slide

  40. 9.655
    оценок
    5
    1.412
    респондентов
    6
    1.015
    оцениваемых
    3 квартала

    View full-size slide

  41. Сколько нужно респондентов
    - Оптимальное количество
    респондентов в ревью – 9-11
    человек

    - Это средний размер
    команды плюс 2-3 внешних
    контакта

    - Есть хвосты из маленьких
    команд и менеджеров с
    большим нетворкингом

    View full-size slide

  42. Сколько тратить времени
    - Большинство проводят до
    11 ревью за период


    - Средняя
    продолжительность ревью –
    около 10 минут


    - С учётом фокус-фактора, у
    респондента уходит до 4
    часов в квартал на ревью

    View full-size slide

  43. Распределение оценок
    - Средний балл – 3,47,
    есть сильный перекос в
    сторону 4


    - Две гипотезы: не
    умеем справедливо
    оценивать, либо часть
    людей не на своих
    местах
    Q2

    View full-size slide

  44. Распределение оценок
    - Средний балл – 3,27


    - Доля 4 и 5 резко
    упала после
    проработки обеих
    гипотез прошлого
    квартала
    Q2
    Q3

    View full-size slide

  45. Распределение оценок
    - Средний балл – 3,25,
    дельта с прошлым
    кварталом – 0,02


    - Форма гистограммы
    также не меняется
    Q2
    Q3
    Q4

    View full-size slide

  46. Распределение оценок
    - Между последними двумя
    кварталами процесс
    стабилизировался. Основное опасение
    – большое количество 3 и очень
    малое – 2 и 1.
    Q2
    Q3
    Q4
    3,47
    3,27
    3,25

    View full-size slide

  47. Влияние групп на оценки
    - Гипотеза: люди склонны
    завышать оценки своей
    команде и занижать
    остальным

    - Различие между оценками
    в среднем в районе 0,03
    балла


    - На концах интервала
    расхождение не больше 0,5
    баллов в обе стороны

    View full-size slide

  48. Влияние ролей на оценки
    - Гипотеза: выполняемая
    роль влияет на оценки

    - Различие между оценками
    ролей достигало 0,37 на
    старте, сейчас – 0,07


    - Менеджеры – самые
    жесткие ребята

    View full-size slide


  49. Справедливость
    Доброта Трудолюбие

    View full-size slide

  50. Характеристики:

    - Дал более 4 оценок
    - Средний балл выше 4,1
    - Отсутствуют 1 и 2
    Осип Борзилов
    Оценил: 4
    Средняя: 5,00
    Оскар Белоусов
    Оценил: 4
    Средняя: 4,75
    Иван Челомцев
    Оценил: 7
    Средняя: 4,67
    Денис Султанов
    Оценил: 10
    Средняя: 4,43

    View full-size slide

  51. Характеристики:

    - Дал более 4 оценок
    - Средний балл ниже 2,7
    - Отсутствуют 4 и 5
    Осип Борзилов
    Оценил: 6
    Средняя: 2,50
    Оскар Белоусов
    Оценил: 6
    Средняя: 2,50
    Иван Челомцев
    Оценил: 6
    Средняя: 2,67
    Денис Султанов
    Оценил: 7
    Средняя: 2,67

    View full-size slide

  52. Характеристики:

    - Дал более 8 оценок
    - Средний балл – 3,0
    - Дисперсия – 0
    - Комментарий < 500 знаков
    Осип Борзилов
    Оценил: 12
    Средняя: 3
    Оскар Белоусов
    Оценил: 11
    Средняя: 3
    Иван Челомцев
    Оценил: 11
    Средняя: 3
    Денис Султанов
    Оценил: 8
    Средняя: 3
    Дисперсия: 0
    Дисперсия: 0
    Дисперсия: 0
    Дисперсия: 0

    View full-size slide

  53. Стратегия вырожденной группы
    - Итоговая оценка – среднее
    по группам

    - Оценка группы – среднее
    по участникам

    - Если в группе один
    оценщик, он получает очень
    большой вес
    5 коллег
    3 + 3 + 2 + 2 + 3
    1 стейкхолдер
    X
    +
    3 подчиненных
    3 + 3 + 3
    +
    2,6 + X + 3
    3
    X = 1, результат 2,2
    X = 3, результат 2,9
    X = 5, результат 3,5
    =>

    View full-size slide

  54. Нормализация оценок
    - score – текущая оценка
    - avg_author_score – средняя
    оценка респондента
    - 3 – средний уровень оценок
    по компании
    score - avg_author_score + 3
    if count > 3
    else score

    View full-size slide

  55. Нормализация оценок
    score - avg_author_score + 3
    if count > 3
    else score
    score:
    4,3
    4
    нормализованный итог: 4 - 4,3 + 3 = 2,7
    Нормализация оценок добряков
    - score – текущая оценка
    - avg_author_score – средняя
    оценка респондента
    - 3 – средний уровень оценок
    по компании

    View full-size slide

  56. Нормализация оценок
    score - avg_author_score + 3
    if count > 3
    else score
    score:
    4,3
    2
    нормализованный итог: 2 - 4,3 + 3 = 0,7
    Нормализация оценок добряков
    - score – текущая оценка
    - avg_author_score – средняя
    оценка респондента
    - 3 – средний уровень оценок
    по компании

    View full-size slide

  57. Нормализация оценок
    score - avg_author_score + 3
    if count > 3
    else score
    score:
    2,4
    2
    нормализованный итог: 2 - 2,4 + 3 = 2,6
    Нормализация оценок справедливых
    - score – текущая оценка
    - avg_author_score – средняя
    оценка респондента
    - 3 – средний уровень оценок
    по компании

    View full-size slide

  58. Нормализация оценок
    score - avg_author_score + 3
    if count > 3
    else score
    score:
    2,4
    4
    нормализованный итог: 4 - 2,4 + 3 = 4,6
    Нормализация оценок справедливых
    - score – текущая оценка
    - avg_author_score – средняя
    оценка респондента
    - 3 – средний уровень оценок
    по компании

    View full-size slide

  59. Нормализация оценок
    Perfomance score
    Сильно ниже
    ожиданий
    Ниже
    ожиданий
    Соответствует
    ожиданиям
    Превышает
    ожидания
    Сильно
    превышает
    ожидания
    Нормализованный итог
    Сильно ниже
    ожиданий
    Ниже
    ожиданий
    Соответствует
    ожиданиям
    Превышает
    ожидания
    Сильно
    превышает
    ожидания

    View full-size slide

  60. Нормализация оценок
    Perfomance score
    Сильно ниже
    ожиданий
    Ниже
    ожиданий
    Соответствует
    ожиданиям
    Превышает
    ожидания
    Сильно
    превышает
    ожидания
    Нормализованный итог
    Сильно ниже
    ожиданий
    Ниже
    ожиданий
    Соответствует
    ожиданиям
    Превышает
    ожидания
    Сильно
    превышает
    ожидания
    3,5
    3,3
    diff = 0,2 – всё норм

    View full-size slide

  61. Нормализация оценок
    Perfomance score
    Сильно ниже
    ожиданий
    Ниже
    ожиданий
    Соответствует
    ожиданиям
    Превышает
    ожидания
    Сильно
    превышает
    ожидания
    Нормализованный итог
    Сильно ниже
    ожиданий
    Ниже
    ожиданий
    Соответствует
    ожиданиям
    Превышает
    ожидания
    Сильно
    превышает
    ожидания
    3,5
    2,2
    diff = 1,3 – всё плохо

    View full-size slide

  62. Корректировка оценок
    Оценка:

    «Сильно превысила ожидания»
    Добряк
    Путает шкалу performance review со школьной
    системой баллов
    Комментарии к оценке:

    «Отработал строго по своим ожиданиям,
    молодец!»

    View full-size slide

  63. Корректировка оценок
    Оценка:

    «Сильно превысила ожидания»
    Добряк
    Комментарии к оценке:

    «Отработал строго по своим ожиданиям,
    молодец!»
    «Соответствует ожиданиям»
    Путает шкалу performance review со школьной
    системой баллов

    View full-size slide

  64. Инструменты

    View full-size slide

  65. MVP (1/3)
    - Опрос на Google Form
    - Ручная рассылка по списку
    респондентов
    - Заполняется менеджером
    - Ручные напоминания

    View full-size slide

  66. MVP (2/3) - Сводка по команде
    - Результат синхронизируется
    вручную
    - Заполняется менеджером

    View full-size slide

  67. MVP (3/3) - Балансировка участников ревью
    - Контроль участия всех
    сотрудников

    View full-size slide

  68. Опросник Результаты Дерево
    bit.ly/2BIsXM9 bit.ly/2nJksIm bit.ly/2nIc5N4

    View full-size slide

  69. Сотрудник
    #
    Подбор людей
    Оценка других
    Анализ фидбэка
    20 мин
    120 мин
    10 мин
    Тимлид
    "
    Сбор данных
    Создание форм
    Рассылка форм
    Пинки людей
    Подведение итогов
    120 мин
    60 мин
    60 мин
    60 мин
    180 мин
    Хэд ов что-то
    ;
    Калибровка данных
    Сбор результатов
    90 мин
    240 мин
    38,5 ч

    View full-size slide

  70. что имеем сейчас
    как развивались
    куда еще расти

    View full-size slide

  71. Упрощение системы ожиданий
    - Описание всех позиций
    должно быть предельно
    простым
    - В идеале – описать простым
    чек-листом

    View full-size slide

  72. Сокращение количества полей
    - Большой процент
    респондентов заполняет
    только первое поле
    - Нужно экспериментировать
    на пользователях и проверять
    гипотезы

    View full-size slide

  73. Управление пиковой нагрузкой
    - Выполнять ревью всем
    одновременно – тяжело и не
    эффективно

    - Можно сглаживать нагрузку,
    распределяя разные группы
    по времени

    View full-size slide

  74. Попроситься в ревью
    - Иногда тебя могут забыть
    или намеренно не добавить в
    ревью
    - Дадим возможность
    предложить себя как
    ревьюера

    View full-size slide

  75. проведите
    эксперимент
    соберите
    данные
    обсудите на
    ретро
    Performance review
    • устройство процесса в
    Avito
    • анонимность, тулинг и
    антипаттерны
    • аналитика оценок и
    отзывов
    Егор Толстой t.me/etolstoy

    View full-size slide