~研修の効果測定ってみなさんどうしてます？~ メルカリ新卒研修の効果測定にもがいている話

by afroscript

Slide 1

Slide 1 text

~研修の効果測定ってみなさんどうしてます？~ メルカリ新卒研修の効果測定にもがいている話 @afroscript 2019.12.16 Engineering Onboarding Meetup

Slide 2

Slide 2 text

Who am I ?? ■Name : 　木下雄策(31歳・from 福岡) @afroscript10 / note ■Career : 　九州大学大学院で宇宙の研究　2013年 ~　Leverages (Levtech -> teratail (DevRel->事業部長) ) 　2019年 ~　メルカリ　　　　　レザーギフト専門店「 GIFT & LEATHER」 ■Work : 　日本発のグローバルテックカンパニーをつくる！　　　→ MercariのEngineering Oﬃce 　”おくりもの”で、人生を豊かに。　　　→ GIFT & LEATHERを今年立ち上げ (兼業社長) ■Others : 　・Swift愛好会 / Kotlin愛好会 / EOM_jpの運営　・Gs' ACADEMY2期生　・スノボとバスケと宇宙と Three.jsが好き　・最近パパになりました

Slide 3

Slide 3 text

onboardingといえば、

Slide 4

Slide 4 text

onboardingといえば、研修や講義形式で行う場合も多いのではないでしょうか？

Slide 5

Slide 5 text

が、しかし

Slide 6

Slide 6 text

研修の効果測定って難しくないですか？

Slide 7

Slide 7 text

今日はメルカリの新卒研修を例に、研修の効果測定に悩んでる話です。

Slide 8

Slide 8 text

まだ「これだ！」という方法がないので、研修の効果測定はどうしていくべきかをディスカッションできれば幸いですmm

Slide 9

Slide 9 text

メルカリにおけるエンジニアの Onboardingの全体像

Slide 10

Slide 10 text

Engineer Onboarding in mercari Company Onboarding New Grads on-boarding (DevDojo) Engineer Orientation Team Onboarding 中 Mid Career New Grads 新基本的には新卒と中途の垣根なく採用しているが、新卒はポテンシャル採用もあるため Onboardingは一部別々（ただし、新卒研修は人によってスキップ可）最大2ヶ月 1 day 配属

Slide 11

Slide 11 text

Engineer Onboarding in mercari Company Onboarding New Grads on-boarding (DevDojo) Engineer Orientation Team Onboarding 中 Mid Career New Grads 新今日は主に、新卒エンジニアのためのOnboardingトレーニング「DevDojo」の効果測定について話します最大2ヶ月 1 day 配属ココ

Slide 12

Slide 12 text

DevDojoの全体像 (春)

Slide 13

Slide 13 text

Onboarding for New grads (春) Fundamental Training Scrum Training Advanced Training Mentoring Program 全社研修メルカリとしては初めての本格的な新卒トレーニングだった2019年4月のDevDojo概要はこんな感じ

Slide 14

Slide 14 text

Onboarding for New grads (春) Fundamental Training Scrum Training Advanced Training Mentoring Program 全社研修 Fundamental Training: 1週間でメルカリで使われている技術に一通り触れてみるトレーニング。詳細はこちら。

Slide 15

Slide 15 text

Onboarding for New grads (春) Fundamental Training Scrum Training Advanced Training Mentoring Program 全社研修 Scrum Training: スクラムについての基礎講義に加え、5,6人のグループで企画を立て、実際に3 sprintで開発してプレゼンする。参考記事

Slide 16

Slide 16 text

Onboarding for New grads (春) Fundamental Training Scrum Training Advanced Training Mentoring Program 全社研修 Advanced Training: 配属されるチームに特化した専門知識の基礎を、主にオンライン教材で習得。現場マネージャーと相談しつつ、受講するテーマを自分で選択

Slide 17

Slide 17 text

Onboarding for New grads (春) Fundamental Training Scrum Training Advanced Training Mentoring Program 全社研修 Mentoring Program: DevDojo期間中の新卒のメンタリング+モニタリング、および研修そのものの効果測定を行う

Slide 18

Slide 18 text

研修結果をどのように測定するか？(春)

Slide 19

Slide 19 text

カークパトリックの4段階評価モデルというのを参考にしてみた

Slide 20

Slide 20 text

Slide 21

Slide 21 text

カークパトリックの4段階評価モデル研修結果は次の4つのレベルで評価できる ● レベル1「反応レベル」：研修は面白かったか ● レベル2「学習レベル」：知識やスキルが理解されたか ● レベル3「実行レベル」：学習内容を実行したか ● レベル4「成果レベル」：プロセスパフォーマンスが変わったか ● (レベル5「ROIレベル」：結果としての業績が上がったか) 参考：研修効果測定のノウハウ研修後すぐに測定可能長期的な測定が必要 & 新卒に対しては研修以前がなく測定難しい

Slide 22

Slide 22 text

カークパトリックの4段階評価モデル研修結果は次の4つのレベルで評価できる ● レベル1「反応レベル」：研修は面白かったか ● レベル2「学習レベル」：知識やスキルが理解されたか ● レベル3「実行レベル」：学習内容を実行したか ● レベル4「成果レベル」：プロセスパフォーマンスが変わったか ● (レベル5「ROIレベル」：結果としての業績が上がったか) 参考：研修効果測定のノウハウ時間の都合上、4月のDevDojoはLv.1, 2にフォーカスすることに。（僕の入社が3月だったので...）研修後すぐに測定可能長期的な測定が必要 & 新卒に対しては研修以前がなく測定難しい

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Mentoring Programの実際の中身(4月) 下記によるメンタリング+モニタリングを行う → 隔週で配属先チームEMとsync ● 研修に関するSurvey ○ 講義Survey ■ 研修の満足度と理由 / 理解度と理由、学んだこと、感想 ○ 研修全体Survey ■ 研修全体の満足度と理由、良かった点や学び、改善してほしい点や不明点、感想 ● 自己評価シート ○ （そもそもQuarterでのOKRを設定させる） ○ Weeklyで目標設定 ○ Valueに沿ったDailyの振り返り(途中から任意) ○ Weeklyの振り返り

Slide 25

Slide 25 text

Slide 26

Slide 26 text

実施してみてどうだったか？

Slide 27

Slide 27 text

よかった点 ● 満足度 / 理解度のSurvey結果から、講義ごとの良し悪しはある程度測定できた ○ カークパトリックのLv1,2は測定できて、講義ごとの PDCAは回せた。理解度は自己評価だけど。

Slide 28

Slide 28 text

よかった点 ● 満足度 / 理解度のSurvey結果から、講義ごとの良し悪しはある程度測定できた ○ カークパトリックのLv1,2は測定できて、講義ごとの PDCAは回せた。理解度は自己評価だけど。 ● 自己評価シートで、わりと細かくどんなことをやってるか、どんなことを感じているかを吸い上げることができた ○ 基本的には日次で情報を吸い上げることができた

Slide 29

Slide 29 text

よくなかった点 ● 記入する項目が多く、新卒にとって入力に手間がかかる ○ 記入漏れが多く発生 ○ こちらのリマインドも大変だし、お互い面倒

Slide 30

Slide 30 text

よくなかった点 ● 記入する項目が多く、新卒にとって入力に手間がかかる ○ 記入漏れが多く発生 ○ こちらのリマインドも大変だし、お互い面倒 ● 定性データ大量問題 ○ データ多すぎて集計大変すぎだし、結局何集計すべきだったかが曖昧だった

Slide 31

Slide 31 text

Slide 32

Slide 32 text

よくなかった点 ● 記入する項目が多く、新卒にとって入力に手間がかかる ○ 記入漏れが多く発生 ○ こちらのリマインドも大変だし、お互い面倒 ● 定性データ大量問題 ○ データ多すぎて集計大変すぎだし、結局何集計すべきだったかが曖昧だった ● 研修の理解度 / 満足度って本当に正しいの？ ○ 理解度 / 満足度の平均値で研修の良し悪しを判断するのって本当に妥当なのか？ ○ →メルカリは、全員を底上げするより、上位がさらに伸びることでそれにつられて全体のレベルが上がっていくようにしたい ○ →参加者全員の理解度 / 満足度がそこそこ高い研修よりも、研修を通じた成長度や評価が高い人が高く評価する研修がいいものなはず。

Slide 33

Slide 33 text

Slide 34

Slide 34 text

秋のDevDojoではどう改善を試みたか？

Slide 35

Slide 35 text

秋のDevDojoではどう改善を試みたか？ ● 自己評価シートの撤廃

Slide 36

Slide 36 text

秋のDevDojoではどう改善を試みたか？ ● 自己評価シートの撤廃 ● 研修Surveyの簡略化 ○ 研修の満足度 / 理解度とその理由のみ

Slide 37

Slide 37 text

秋のDevDojoではどう改善を試みたか？ ● 自己評価シートの撤廃 ● 研修Surveyの簡略化 ○ 研修の満足度 / 理解度とその理由のみ ● Engineer Ladderを最終的な評価軸としする ○ 夏にEngineer Ladderなるものができた (まだβ版) ○ メルカリのエンジニアとして必要とされる能力とそれぞれの各レベル感が定義してある ○ これに沿った評価が伸びるか伸びないかが最終的な研修のよしあしを決めるものとした

Slide 38

Slide 38 text

Slide 39

Slide 39 text

こんなアウトプットがほしい ● 個人の評価とその変化 (=成長)が可視化される ● 評価の高低に関連付けて各講義の満足度 / 理解度を評価

Slide 40

Slide 40 text

秋の効果測定はどうだったか？

Slide 41

Slide 41 text

秋の効果測定はどうだったか？ ● 諸事情で「DevDojo期間中にLadderに沿って複数回評価する」が実施されず...orz ● また、12月から僕が育休のため、秋のDevDojoの結果はまだ集計できてない

Slide 42

Slide 42 text

今後やりたいこと

Slide 43

Slide 43 text

次回やりたいこと ● DevDojo期間中にLadderに沿って複数回評価するをちゃんとやりたい... ● 各チームが配属時に求めるレベルをもっと明確にしたい ○ ハードスキル面 ■ どの技術がどのレベルが求められるのか？ ○ ソフトスキル面 ■ Ladderのどのレベルまでを求めるのか？ ● 配属されたあとのアウトプットや成長とDevDojoの関連性を追っていきたい

Slide 44

Slide 44 text

ご静聴ありがとうございました。