~研修の効果測定ってみなさんどうしてます？~ メルカリ新卒研修の 効果測定にもがいている話

Transcript

1. ~研修の効果測定ってみなさんどうしてます？~ メルカリ新卒研修の 効果測定にもがいている話 @afroscript 2019.12.16 Engineering Onboarding Meetup
2. Who am I ?? ▪Name : 　木下 雄策(31歳・from 福岡) @afroscript10 / note ▪Career : 　九州大学大学院で宇宙の研究 　2013年 ~　Leverages (Levtech -> teratail (DevRel->事業部長) ) 　2019年 ~　メルカリ 　　　　　 レザーギフト専門店「 GIFT & LEATHER」 ▪Work : 　日本発のグローバルテックカンパニーをつくる！ 　　　→ MercariのEngineering Office 　”おくりもの”で、人生を豊かに。 　　　→ GIFT & LEATHERを今年立ち上げ (兼業社長) ▪Others : 　・Swift愛好会 / Kotlin愛好会 / EOM_jpの運営 　・Gs' ACADEMY2期生 　・スノボとバスケと宇宙と Three.jsが好き 　・最近パパになりました
3. onboardingといえば、
4. onboardingといえば、 研修や講義形式で行う場合も 多いのではないでしょうか？
5. が、しかし
6. 研修の効果測定って難しくないですか？
7. 今日はメルカリの新卒研修を例に、 研修の効果測定に悩んでる話です。
8. まだ「これだ！」という方法がないので、 研修の効果測定はどうしていくべきかを ディスカッションできれば幸いですmm
9. メルカリにおける エンジニアの Onboardingの全体像
10. Engineer Onboarding in mercari Company Onboarding New Grads on-boarding (DevDojo) Engineer Orientation Team Onboarding 中 Mid Career New Grads 新 基本的には新卒と中途の垣根なく採用しているが、新卒はポテンシャル採用もあるため Onboardingは一部別々（ただし、新卒研修は人によってスキップ可） 最大2ヶ月 1 day 配属
11. Engineer Onboarding in mercari Company Onboarding New Grads on-boarding (DevDojo) Engineer Orientation Team Onboarding 中 Mid Career New Grads 新 今日は主に、新卒エンジニアのためのOnboardingトレーニング「DevDojo」の効果測定 について話します 最大2ヶ月 1 day 配属 ココ
12. DevDojoの全体像 (春)
13. Onboarding for New grads (春) Fundamental Training Scrum Training Advanced Training Mentoring Program 全社研修 メルカリとしては初めての本格的な新卒トレーニングだった2019年4月のDevDojo概要 はこんな感じ
14. Onboarding for New grads (春) Fundamental Training Scrum Training Advanced Training Mentoring Program 全社研修 Fundamental Training: 1週間でメルカリで使われている技術に一通り触れてみるトレー ニング。詳細はこちら。
15. Onboarding for New grads (春) Fundamental Training Scrum Training Advanced Training Mentoring Program 全社研修 Scrum Training: スクラムについての基礎講義に加え、5,6人のグループで企画を立て、 実際に3 sprintで開発してプレゼンする。参考記事
16. Onboarding for New grads (春) Fundamental Training Scrum Training Advanced Training Mentoring Program 全社研修 Advanced Training: 配属されるチームに特化した専門知識の基礎を、主にオンライン教 材で習得。現場マネージャーと相談しつつ、受講するテーマを自分で選択
17. Onboarding for New grads (春) Fundamental Training Scrum Training Advanced Training Mentoring Program 全社研修 Mentoring Program: DevDojo期間中の新卒のメンタリング+モニタリング、および研修 そのものの効果測定を行う
18. 研修結果をどのように測 定するか？(春)
19. カークパトリックの4段階評価モデル というのを参考にしてみた
20. カークパトリックの4段階評価モデル 研修結果は次の4つのレベルで評価できる • レベル1「反応レベル」：研修は面白かったか • レベル2「学習レベル」：知識やスキルが理解されたか • レベル3「実行レベル」：学習内容を実行したか • レベル4「成果レベル」：プロセスパフォーマンスが変わったか • (レベル5「ROIレベル」：結果としての業績が上がったか) 参考：研修効果測定のノウハウ
21. カークパトリックの4段階評価モデル 研修結果は次の4つのレベルで評価できる • レベル1「反応レベル」：研修は面白かったか • レベル2「学習レベル」：知識やスキルが理解されたか • レベル3「実行レベル」：学習内容を実行したか • レベル4「成果レベル」：プロセスパフォーマンスが変わったか • (レベル5「ROIレベル」：結果としての業績が上がったか) 参考：研修効果測定のノウハウ 研修後すぐに測定可能 長期的な測定が必要 & 新卒に対しては研修以前 がなく測定難しい
22. カークパトリックの4段階評価モデル 研修結果は次の4つのレベルで評価できる • レベル1「反応レベル」：研修は面白かったか • レベル2「学習レベル」：知識やスキルが理解されたか • レベル3「実行レベル」：学習内容を実行したか • レベル4「成果レベル」：プロセスパフォーマンスが変わったか • (レベル5「ROIレベル」：結果としての業績が上がったか) 参考：研修効果測定のノウハウ 時間の都合上、4月のDevDojoはLv.1, 2にフォーカスすることに。（僕 の入社が3月だったので...） 研修後すぐに測定可能 長期的な測定が必要 & 新卒に対しては研修以前 がなく測定難しい
23. Mentoring Programの実際の中身(4月) 下記によるメンタリング+モニタリングを行う → 隔週で配属先チームEMとsync • 研修に関するSurvey ◦ 講義Survey ▪ 研修の満足度と理由 / 理解度と理由、学んだこと、感想 ◦ 研修全体Survey ▪ 研修全体の満足度と理由、良かった点や学び、改善してほしい点や不明点、感想
24. Mentoring Programの実際の中身(4月) 下記によるメンタリング+モニタリングを行う → 隔週で配属先チームEMとsync • 研修に関するSurvey ◦ 講義Survey ▪ 研修の満足度と理由 / 理解度と理由、学んだこと、感想 ◦ 研修全体Survey ▪ 研修全体の満足度と理由、良かった点や学び、改善してほしい点や不明点、感想 • 自己評価シート ◦ （そもそもQuarterでのOKRを設定させる） ◦ Weeklyで目標設定 ◦ Valueに沿ったDailyの振り返り(途中から任意) ◦ Weeklyの振り返り
25. Mentoring Programの実際の中身(4月) 下記によるメンタリング+モニタリングを行う → 隔週で配属先チームEMとsync • 研修に関するSurvey ◦ 講義Survey ▪ 研修の満足度と理由 / 理解度と理由、学んだこと、感想 ◦ 研修全体Survey ▪ 研修全体の満足度と理由、良かった点や学び、改善してほしい点や不明点、感想 • 自己評価シート ◦ （そもそもQuarterでのOKRを設定させる） ◦ Weeklyで目標設定 ◦ Valueに沿ったDailyの振り返り(途中から任意) ◦ Weeklyの振り返り • Weekly 1on1 ◦ 自己評価シートを元にメンタリング
26. 実施してみて どうだったか？
27. よかった点 • 満足度 / 理解度のSurvey結果から、講義ごとの良し悪しはある程度測定できた ◦ カークパトリックのLv1,2は測定できて、講義ごとの PDCAは回せた。理解度は自己評価だけど。
28. よかった点 • 満足度 / 理解度のSurvey結果から、講義ごとの良し悪しはある程度測定できた ◦ カークパトリックのLv1,2は測定できて、講義ごとの PDCAは回せた。理解度は自己評価だけど。 • 自己評価シートで、わりと細かくどんなことをやってるか、どんなことを感じているか を吸い上げることができた ◦ 基本的には日次で情報を吸い上げることができた
29. よくなかった点 • 記入する項目が多く、新卒にとって入力に手間がかかる ◦ 記入漏れが多く発生 ◦ こちらのリマインドも大変だし、お互い面倒
30. よくなかった点 • 記入する項目が多く、新卒にとって入力に手間がかかる ◦ 記入漏れが多く発生 ◦ こちらのリマインドも大変だし、お互い面倒 • 定性データ大量問題 ◦ データ多すぎて集計大変すぎだし、結局何集計すべきだったかが曖昧だった
31. よくなかった点 • 記入する項目が多く、新卒にとって入力に手間がかかる ◦ 記入漏れが多く発生 ◦ こちらのリマインドも大変だし、お互い面倒 • 定性データ大量問題 ◦ データ多すぎて集計大変すぎだし、結局何集計すべきだったかが曖昧だった • 研修の理解度 / 満足度って本当に正しいの？ ◦ 理解度 / 満足度の平均値で研修の良し悪しを判断するのって本当に妥当なのか？
32. よくなかった点 • 記入する項目が多く、新卒にとって入力に手間がかかる ◦ 記入漏れが多く発生 ◦ こちらのリマインドも大変だし、お互い面倒 • 定性データ大量問題 ◦ データ多すぎて集計大変すぎだし、結局何集計すべきだったかが曖昧だった • 研修の理解度 / 満足度って本当に正しいの？ ◦ 理解度 / 満足度の平均値で研修の良し悪しを判断するのって本当に妥当なのか？ ◦ →メルカリは、全員を底上げするより、上位がさらに伸びることでそれにつられて全体のレベルが上 がっていくようにしたい ◦ →参加者全員の理解度 / 満足度がそこそこ高い研修よりも、研修を通じた成長度や評価が高い人 が高く評価する研修がいいものなはず。
33. よくなかった点 • 記入する項目が多く、新卒にとって入力に手間がかかる ◦ 記入漏れが多く発生 ◦ こちらのリマインドも大変だし、お互い面倒 • 定性データ大量問題 ◦ データ多すぎて集計大変すぎだし、結局何集計すべきだったかが曖昧だった • 研修の理解度 / 満足度って本当に正しいの？ ◦ 理解度 / 満足度の平均値で研修の良し悪しを判断するのって本当に妥当なのか？ ◦ →メルカリは、全員を底上げするより、上位がさらに伸びることでそれにつられて全体のレベルが上 がっていくようにしたい ◦ →参加者全員の理解度 / 満足度がそこそこ高い研修よりも、研修を通じた成長度や評価が高い人 が高く評価する研修がいいものなはず。 • 結局研修全体を通じて成長してるかどうか分かりづらい問題 ◦ 研修の本来の目的は新卒が成長することなはず ◦ 各講義のよしあしは分かったが、新卒の成長具合は定性的 &あやふやにしか分からない
34. 秋のDevDojoでは どう改善を試みたか？
35. 秋のDevDojoではどう改善を試みたか？ • 自己評価シートの撤廃
36. 秋のDevDojoではどう改善を試みたか？ • 自己評価シートの撤廃 • 研修Surveyの簡略化 ◦ 研修の満足度 / 理解度とその理由のみ
37. 秋のDevDojoではどう改善を試みたか？ • 自己評価シートの撤廃 • 研修Surveyの簡略化 ◦ 研修の満足度 / 理解度とその理由のみ • Engineer Ladderを最終的な評価軸としする ◦ 夏にEngineer Ladderなるものができた (まだβ版) ◦ メルカリのエンジニアとして必要とされる能力とそれぞれの各レベル感が定義してある ◦ これに沿った評価が伸びるか伸びないかが最終的な研修のよしあしを決めるものとした
38. 秋のDevDojoではどう改善を試みたか？ • 自己評価シートの撤廃 • 研修Surveyの簡略化 ◦ 研修の満足度 / 理解度とその理由のみ • Engineer Ladderを最終的な評価軸としする ◦ 夏にEngineer Ladderなるものができた (まだβ版) ◦ メルカリのエンジニアとして必要とされる能力とそれぞれの各レベル感が定義してある ◦ これに沿った評価が伸びるか伸びないかが最終的な研修のよしあしを決めるものとした • DevDojo期間中に複数回評価を実施し、成長の度合いを追えるようにする
39. こんなアウトプットがほしい • 個人の評価とその変化 (=成長)が可視 化される • 評価の高低に関連付けて各講義の満 足度 / 理解度を評価
40. 秋の効果測定は どうだったか？
41. 秋の効果測定はどうだったか？ • 諸事情で「DevDojo期間中にLadderに沿って複数回評価する」が実施されず...orz • また、12月から僕が育休のため、秋のDevDojoの結果はまだ集計できてない
42. 今後やりたいこと
43. 次回やりたいこと • DevDojo期間中にLadderに沿って複数回評価するをちゃんとやりたい... • 各チームが配属時に求めるレベルをもっと明確にしたい ◦ ハードスキル面 ▪ どの技術がどのレベルが求められるのか？ ◦ ソフトスキル面 ▪ Ladderのどのレベルまでを求めるのか？ • 配属されたあとのアウトプットや成長とDevDojoの関連性を追っていきたい
44. ご静聴ありがとうございました。