なぜ「技術力評価会」の評価者はペアなのか? - 8年半で378組の評価者ペアが835回評価した事例からみるペアの効果 - / The VOYAGE GROUP technical assessment system is made by all engineers. and the effect of pair assessment.

2020年2月13日にデブサミ2020( https://event.shoeisha.jp/devsumi/20200213 )で登壇したときのスライドの公開版です。

最初はペアの効果にもっとフォーカスしようと思っていたのですが、作ってみるとペアの話だけではなく、エンジニア全体で「ともにつくる」評価制度の話になりました。

1. なぜ「技術⼒評価会」の 評価者はペアなのか？ VOYAGE GROUP 取締役CTO 小賀 昌法 (@makoga) Feb 13, 2020 @Developers Summit 2020 8年半で378組の評価者ペアが835回評価した 事例からみるペアの効果
3. 事 業 貢 献 評 価 技 術 ⼒ 評 価 VOYAGE GROUPは2011年までは 上⻑だけが評価する制度でした。 上長だけが評価する制度
4. 事業部A 事業部B 事業部C 事業部D 「ともにつくる」評価制度 2020年現在では、ほぼ全てのエンジニアが関わる 「ともにつくる」評価制度になりました。 事 業 貢 献 評 価
5. 事業部A 事業部B 事業部C 事業部D １回⽬ １回⽬ ２回⽬ ２回⽬ ３回⽬ ３回⽬ ４回⽬ ４回⽬ 「ともにつくる」評価制度 たとえば、左下の⼈は 2年間で8⼈から技術⼒評価をされました。 事 業 貢 献 評 価
6. ・難しいと思いますか？ ・何が原因なのでしょうか？ エンジニアの技術力評価
7. 原因１: バイアス ・ハロー効果 ・寛大化傾向 ・中心化傾向 ・極端化傾向 エンジニアに限らず、一般的にバイアスが働く ・論理的誤差 ・対比誤差 ・イメージ考課
8. 原因２: 技術の多様化 ・フロントエンド(Web, iOS, Android) ・クラウドサービス(AWS, GCP, etc) ・データサイエンス ・プライバシー ・等々… 技術は多様化しており、技術マネージャは全ての技術 においてメンバーより詳しいわけではない。 現在では1つのシステムに 必要な技術は多岐にわたる。 https://www.gartner.com/jp/newsroom/press-releases/pr-20190830
9. 原因３: 評価スキル向上機会の不足 ・考え方を引き出すスキルを成長させる機会 ・よりよいフィードバックのための成長機会 １on１を実施している企業は多い などの仕組み化に取り組んでいる企業は少ないのでは？ しかし…
10. 原因４: 同じ人が長く評価することでの偏り ある側面からだけ詳細に見えている リスクはないでしょうか？ 優秀なマネージャほど 同じ部署に長く在籍して いることが多い。 その場合
11. もっと有益な情報を集め 部門の責任者や 各チームのマネージャだけで 全てを理解するのは難しい。 1人だけで評価するのではなく いろいろな角度から評価し、 適切な評価につなげていく。
12. エンジニアの技術力評価が難しい原因 ・原因１：バイアス ・原因２：技術の多様化 ・原因３：評価スキル向上機会の不足 ・原因４：同じ人が評価することによる偏り
13. エンジニアの技術力評価が難しい原因 ・原因１：バイアス ・原因２：技術の多様化 ・原因３：評価スキル向上機会の不足 ・原因４：同じ人が評価することによる偏り これらの原因に対して、技術力評価会という 「ともにつくる」制度は効果がありました。
14. Agenda Part 1. 評価と人事制度 Part 2. 技術力評価会の概要 Part 3. ペアで評価すること、 組み合わせを毎回変えることの効果
15. Agenda Part 1. 評価と人事制度 Part 2. 技術力評価会の概要 Part 3. ペアで評価すること、 組み合わせを 毎回変えることの効果 まずは評価と⼈事制度。 評価というのは⼈事制度の1つなので 最初に全体像をつかんでおきます。
16. １．評価と人事制度 ・等級制度（グレード制度） ・評価制度 ・報酬制度 ⼀般的に、⼈事制度にはこの3つがあると思います。
17. １．評価と人事制度 https://globis.jp/article/2122 “経営理念やビジョンは企業の 存在意義や使命を普遍的な形 で表したものであり、経営戦 略はそれを具現化するための 基本的な枠組みだ。” “経営戦略は全社戦略、事業戦 略、機能戦略から構成される。 それぞれの戦略レベルにおい て、経営理念やビジョンとの ⼀貫性や、他の戦略レベルと の整合性を持たせることが重 要だ。”
18. １．評価と人事制度 ・経営戦略を実現するために必要な人材の定義 ・高いグレードの人が増えれば戦略を実現できる可能性が 高まるように設計する ・戦略に応じて制度を見直していく グレード制度
19. １．評価と人事制度 ・エンジニア職のグレートは４段階 ・誰がどのグレードなのかは 社内に公開されている グレードの例: VOYAGE GROUP グレード4 グレード3 グレード2 グレード1
20. １．評価と人事制度 グレードの例: VOYAGE GROUP 事業貢献 能⼒ CREED グレード4 グレード3 グレード2 グレード1 ଓ͖͸"+*50Ͱʂ ฐࣾͷࣗຫͷࣾ಺όʔ"+*50Ͱͷ ΠϕϯτͰ͸͓ݟͤ͠·͢ɻ
21. １．評価と人事制度 ・評価を「給料を決めるためのもの」だけだと 捉えている人もいますが、そうではない ・「その人がどのグレードなのか」 「上のグレードに上がるには何が必要か」を 見極めることが評価制度の重要なポイント ・評価を通じて成長を促すという考え方 評価制度
22. １．評価と人事制度 評価制度の例: VOYAGE GROUP ・半年に１度実施 ・事業貢献 x 能力 x CCFB の総合評価 ˞$$'#
    IUUQTWPZBHFHSPVQDPNDVMUVSFHSPXUIDDGC
23. １．評価と人事制度 ・従業員にいくら給与＋賞与＋αを支払うかの基準を決めておく ・グレード制度および評価制度と密接に結びついている企業もあるが、 評価制度とは別物 報酬制度
24. １．評価と人事制度 報酬制度の例 ใ ु ใ ु ใ ु ೥ྸɺۈଓ೥਺ ೥ޭংྻ ۉ౳ׂ ใ ु ใ ु ใ ु  
25. Agenda Part 1. 評価と人事制度 Part 2. 技術力評価会の概要 Part 3. ペアで評価すること、 組み合わせを毎回変えることの効果
26. ２．技術力評価会の概要 ・エンジニアによるチームを越えた能力（技術力）評価の仕組み ・評価結果は昇格に大きく影響する ・半年に1度実施 ・2011年から継続 技術力評価会とは
27. ２．技術力評価会の概要 1. コアコンセプト 2. 評価の流れ 3. 全体の流れ 4. 仕組みの詳細 技術力評価会とは
28. ２．技術力評価会の概要 1. コアコンセプト 2. 評価の流れ 3. 全体の流れ 4. 仕組みの詳細 技術力評価会とは
29. ２．技術力評価会の概要 チームを超えた技術力評価 部署A 部署B 部署C 能力評価 能 力 評 価 事業貢献 評価
30. ２．技術力評価会の概要 チームを超えた技術力評価 部署A 部署B 部署C 能力評価 能 力 評 価
31. ２．技術力評価会の概要 1. コアコンセプト 2. 評価の流れ 3. 全体の流れ 4. 仕組みの詳細 技術力評価会とは
32. ２．技術力評価会の概要 ・評価者は2人 ・被評価者には、評価委員とサポーターが付く ・事前準備 → 当日 → 後日 評価の流れ
33. ２．技術力評価会の概要 ・評価委員は被評価者に 技術力評価会でどんな内容を 話す予定なのかをヒアリングする 評価の流れ 事業部A 事業部B 事業部C 事業部D ヒ ア リ ン グ 事前準備
34. ２．技術力評価会の概要 ・他チームから評価者を選定 ・選定は評価委員が行う ・選定結果はCTOが確認 評価の流れ 事業部A 事業部B 事業部C 事業部D 選定 選 定 事前準備
35. ２．技術力評価会の概要 ・被評価者はサポーターに評価してもらう内容を相談する ・必要があれば同僚にすぶりを行う ・被評価者は評価会の1週間前に資料を提出 評価の流れ 事前準備
36. ２．技術力評価会の概要 評価の流れ ・１時間３０分 - 被評価者のプレゼン（３０分） - 評価者との質疑応答（６０分） 当日
37. ２．技術力評価会の概要 評価の流れ Xxxxx Xxxxx Xxxxx Xxxxx Xxxxx Xxxxx Xxxxx Xxxxx ・評価者は評価結果を CTO、担当評価委員、 もう1人の評価者に共有し、 4人ですり合わせ 後日
38. ２．技術力評価会の概要 ・評価者2人が対面で 被評価者にフィードバック ・被評価者は結果レポートを 事前に読んでおく 評価の流れ Xxxxx Xxxxx Xxxxx Xxxxx Xxxxx Xxxxx Xxxxx Xxxxx 後日
39. ２．技術力評価会の概要 1. コアコンセプト 2. 評価の流れ 3. 全体の流れ 4. 仕組みの詳細 技術力評価会とは
40. ２．技術力評価会の概要 全体の流れ 全体準備、 ガイダンス 全体 フィードバック 評価会 実施 評価結果 すり合わせ 被評価者への フィードバック 全体 ふりかえり 2018年〜 事前 準備
41. 2015年3⽉にCTOが、グレードの ⾼いエンジニアを10⼈ほど集め、 技術⼒評価会の改善案について議論 エンジニア全員に声をかけ オープンにディスカッションする ことにした。 ２．技術力評価会の概要 全体の流れ 全体ふりかえりのきっかけ
42. ２．技術力評価会の概要 全体の流れ 全体ふりかえりの抜粋
43. ２．技術力評価会の概要 ・エンジニアによるチームを越えた能力（技術力）評価の仕組み ・評価結果は昇格に大きく影響する ・半年に1度実施 ・2011年から継続 技術力評価会とは 再掲
44. ２．技術力評価会の概要 ・エンジニアによるチームを越えた能力（技術力）評価の仕組み ・評価結果は昇格に大きく影響する ・半年に1度実施 ⇒ 2年間で8人から評価される ・2011年から継続 技術力評価会とは 全体の流れ
45. 事 業 貢 献 事業部A 事業部B 事業部C 事業部D 技 術 ⼒ 評 価 技 術 ⼒ 評 価 ճ໨  ೥ؒͰਓҎ্͔ΒධՁ͞ΕΔ
46. 事 業 貢 献 事業部A 事業部B 事業部C 事業部D 技 術 ⼒ 評 価 技 術 ⼒ 評 価 ճ໨  ೥ؒͰਓҎ্͔ΒධՁ͞ΕΔ
47. 事 業 貢 献 事業部A 事業部B 事業部C 事業部D 技 術 ⼒ 評 価 技 術 ⼒ 評 価 ճ໨  ೥ؒͰਓҎ্͔ΒධՁ͞ΕΔ
48. 事 業 貢 献 事業部A 事業部B 事業部C 事業部D 技 術 ⼒ 評 価 技 術 ⼒ 評 価 ճ໨  ೥ؒͰਓҎ্͔ΒධՁ͞ΕΔ
49. ２．技術力評価会の概要 1. コアコンセプト 2. 評価の流れ 3. 全体の流れ 4. 仕組みの詳細 技術力評価会とは
50. ２．技術力評価会の概要 評価軸 ・事業・サービスの理解度 ・プロジェクトごとの要件、 制約の理解度 ・変更容易性 ・可用性 ・性能 ・セキュリティ ・テスト容易性 ・実現力 ・スコープ定義 ・システム構築・運用 ・プロジェクトマネジメント ・改善力 ・システム的な改善 ・ビジネス的な改善 2011年の評価軸 2013年の評価軸
51. ２．技術力評価会の概要 評価軸 ・実現力 ・スコープ定義 ・システム構築・運用 ・プロジェクトマネジメント ・改善力 ・システム的な改善 ・ビジネス的な改善 2013年の評価軸 ・実現力 ・何が課題で何が必要と考えたか。 ・構築・運用したシステムは妥当か。 ・プロジェクトの進め方は妥当か。 ・改善力 ・システム的な改善は妥当か。 ・ビジネス的な改善への貢献は妥当か。 2014年の評価軸
52. ２．技術力評価会の概要 評価軸 開始から2年後に大幅に見直し、 さらにその1年後に文章を変更した。 ・実現力 ・スコープ定義 ・システム構築・運用 ・プロジェクトマネジメント ・改善力 ・システム的な改善 ・ビジネス的な改善 2013年の評価軸 ・実現力 ・何が課題で何が必要と考えたか。 ・構築・運用したシステムは妥当か。 ・プロジェクトの進め方は妥当か。 ・改善力 ・システム的な改善は妥当か。 ・ビジネス的な改善への貢献は妥当か。 2014年の評価軸 ・事業・サービスの理解度 ・プロジェクトごとの要件、 制約の理解度 ・変更容易性 ・可用性 ・性能 ・セキュリティ ・テスト容易性 2011年の評価軸
53. ２．技術力評価会の概要 評価結果テンプレート 2015年から点数を廃止し、 しっかり文章を書くように ▪結果(5段階、5が一番良い) - サービスの理解度 ：(点数＋コメント) - 要件・制約の理解度：(点数＋コメント) - 変更容易性 ：(点数＋コメント) - 可用性 ：(点数＋コメント) - 性能 ：(点数＋コメント) - セキュリティ ：(点数＋コメント) - テスト容易性 ：(点数＋コメント) - 総評： ▪総評 （しっかり書く） ▪成長へのアドバイス （しっかり書く） ---- （以降は任意） 各評価軸への具体的なコメント ▪実現力1: 何が課題で何が必要と考えたか。 ・[+] 良かった点 ・[?] 気になった点 ・補足 ▪実現力2: ・・・ ▪改善力1: ・・・ 2011年 2015年
54. ２．技術力評価会の概要 評価結果の公開 GitHubで 評価結果を 社内に公開
55. ２．技術力評価会の概要 評価結果の公開 被評価者 ５１１人 x 評価者 ２人ずつ ＋ 社外評価者 １,０５０以上 の評価結果が社内に 公開されている。 （2020年2月時点）
56. ２．技術力評価会の概要 ・社外から強い人を招聘 ・社内評価者2人＋社外評価者の3人で評価 ・狙い - 新しい視点や気付きが得られる機会を増やす - 自分たちでは気づけないバイアスを知りたい 社外評価者
57. もっと技術⼒評価会を知りたい⼈へ • エンジニアの技術⼒評価は難しい? - 7年間運⽤してきた技術⼒評価制度の改善の歴史 - Ø 「5分でわかる技術⼒評価会」の元ネタで、ページ数は2倍くらい。 • 適切な技術⼒評価をするために⼯夫していること。プレゼンスキルだけが⾼い⼈が過剰に評価されないた めに。 Ø 上記「エンジニアの技術⼒評価は難しい︖」を公開したときにもらった「プレゼンスキルだけが⾼い ⼈が過剰に評価されるのでは︖」的なコメントへの回答。 • #phpcon2018 でVOYAGE GROUPのエンジニア評価制度ってどんな感じなのか再演しました︕（資料・ 動画あり） Ø ミニ再演の動画リンクがあります。動画だと雰囲気が伝わりやすいですね。 • 技術⼒評価会、外部評価者運営レポート Ø 急遽開催された社外評価者の持ち込み評価会についても記載されてます。 • VOYAGEのエンジニア評価制度の全貌。「技術⼒評価会」による、⼈が育つ組織の作り⽅ Speaker Deckの説明欄に下記説明と資料へのリンクを記載してあります。
58. Agenda Part 1. 評価と人事制度 Part 2. 技術力評価会の概要 Part 3. ペアで評価すること、 組み合わせを毎回変えることの効果
59. エンジニアの技術力評価が難しい原因 ・原因１：バイアス ・原因２：技術の多様化 ・原因３：評価スキル向上機会の不足 ・原因４：同じ人が評価することによる偏り 再掲
60. 原因１: バイアス ・ハロー効果 ・寛大化傾向 ・中心化傾向 ・極端化傾向 エンジニアに限らず、一般的にバイアスが働く ・論理的誤差 ・対比誤差 ・イメージ考課 再掲
61. https://www.kaonavi.jp/dictionary/qahyoka_jinjihyokabias-2/ 原因１: バイアス 対策
62. 技術⼒評価会で評価者を経験したことのある⼈を対象としたアンケート結果
63. 技術⼒評価会で評価者を経験したことのある⼈の中で 技術⼒評価会以外でも評価者を経験したことのある⼈を対象としたアンケート結果
64. 技術⼒評価会で評価者を経験したことのある⼈を対象としたアンケート結果
65. 原因２: 技術の多様化 ・フロントエンド(Web, iOS, Android) ・クラウドサービス(AWS, GCP, etc) ・データサイエンス ・プライバシー ・等々… 技術は多様化しており、技術マネージャは全ての技術 においてメンバーより詳しいわけではない。 現在では1つのシステムに 必要な技術は多岐にわたる。 https://www.gartner.com/jp/newsroom/press-releases/pr-20190830 再掲
66. 事業部A 事業部B 事業部C 事業部D 選定 選 定 原因２: 技術の多様化 対策 被評価者の強みに合わせて、評価者をアサイン ・被評価者の強みに合わせて、 その技術に強い人をアサイン ・上記の人の弱みを補完できる人とペアを組む ・社内にいない場合は社外から招聘
67. 原因３: 評価スキル向上機会の不足 ・考え方を引き出すスキルを成長させる機会 ・よりよいフィードバックのための成長機会 １on１を実施している企業は多い などの仕組み化に取り組んでいる企業は少ないのでは？ しかし… 再掲
68. 対策 複数の立場で評価結果をすり合わせ ・評価者ペアは結果をすり合わせる ・さらに、CTO+評価委員+評価者2人の 4人ですり合わせを行う 原因３: 評価スキル向上機会の不足 Xxxxx Xxxxx Xxxxx Xxxx x Xxxxx Xxxxx Xxxxx Xxxxx
69. 技術⼒評価会で評価者を経験したことのある⼈を対象としたアンケート結果
70. 評価者の声 – ペアによる評価スキル向上 ・他の評価者の考え方が分かる良い場だと思う ・自分が聞かない角度の質問が出ると学びになる ・着眼点の違いに気がつくことができた ・自身の評価が客観的で論理的であるか、 評価の軸がずれてないかなど、確認するようになった
71. 原因４: 同じ人が長く評価することでの偏り ある側面からだけ詳細に見えている リスクはないでしょうか？ 優秀なマネージャほど 同じ部署に長く在籍して いることが多い。 その場合 再掲
72. 原因2: 技術の多様化 技術力評価会の評価者は毎回異なる 事業部A 事業部B 事業部C 事業部D １回⽬ １回⽬ ２回⽬ ２回⽬ ３回⽬ ３回⽬ ４回⽬ ４回⽬ 原因４: 同じ人が長く評価することでの偏り 対策
73. その他の声 評価者へのアンケート
74. ・関わりの少ない人と接する機会 ・伝え方がより良くなったり、具体的になったり ・一緒に評価した人と価値観のやりとりをするので 仲良くなることが多そう、経験的に ・仕事観や情熱を感じることができる ・他部署のエンジニアとの接点が増えて嬉しい 評価者の声 – ペアによる良い点
75. ・上長以外の視点を入れられる ・評価という仕事のノウハウ共有が生まれ、 新しい人を受け入れる面でも良さそう ・責任を適度に分散できるので、 自分を棚上げしていろいろということができる 評価者の声 – ペアによる良い点
76. ・日程調整コスト ・ペア評価者の価値観に引っ張られてしまうのが懸念 ・似たような評価者ペアだと指摘が被ることがあり、 そのまま同調して評価会中に批判の色が強くなることがある 評価者の声 – ペアによる悪い点
77. ・一方の評価者の質疑応答が長くなりすぎて、 他方の評価者が十分な質疑応答ができない ・評価レポート(の内容)が被るときもある ・評価者ペアの考えがバラけすぎると、 被評価者が混乱する可能性がある 評価者の声 – ペアによる悪い点
78. まとめ
79. エンジニアの技術力評価が難しい原因 ・原因１：バイアス ・原因２：技術の多様化 ・原因３：評価スキル向上機会の不足 ・原因４：同じ人が評価することによる偏り 再掲
80. エンジニアの技術力評価が難しい原因 ・原因１：バイアス ・原因２：技術の多様化 ・原因３：評価スキル向上 機会の不足 ・原因４：同じ人が評価 することによる 偏り 評価者をペアにし、 組み合わせを毎回変更し、 「ともにつくる」ことは 大きな効果がありました。