なぜ「技術力評価会」の評価者はペアなのか? - 8年半で378組の評価者ペアが835回評価した事例からみるペアの効果 - / The VOYAGE GROUP technical assessment system is made by all engineers. and the effect of pair assessment.

by KOGA Masanori

Slide 1

Slide 1 text

なぜ「技術⼒評価会」の評価者はペアなのか？ VOYAGE GROUP 取締役CTO 小賀昌法 (@makoga) Feb 13, 2020 @Developers Summit 2020 8年半で378組の評価者ペアが835回評価した事例からみるペアの効果

Slide 2

Slide 2 text

No content

Slide 3

Slide 3 text

事業貢献評価技術⼒評価 VOYAGE GROUPは2011年までは上⻑だけが評価する制度でした。上長だけが評価する制度

Slide 4

Slide 4 text

事業部A 事業部B 事業部C 事業部D 「ともにつくる」評価制度 2020年現在では、ほぼ全てのエンジニアが関わる「ともにつくる」評価制度になりました。事業貢献評価

Slide 5

Slide 5 text

事業部A 事業部B 事業部C 事業部D １回⽬１回⽬２回⽬２回⽬３回⽬３回⽬４回⽬４回⽬「ともにつくる」評価制度たとえば、左下の⼈は 2年間で8⼈から技術⼒評価をされました。事業貢献評価

Slide 6

Slide 6 text

・難しいと思いますか？・何が原因なのでしょうか？エンジニアの技術力評価

Slide 7

Slide 7 text

原因１: バイアス・ハロー効果・寛大化傾向・中心化傾向・極端化傾向エンジニアに限らず、一般的にバイアスが働く・論理的誤差・対比誤差・イメージ考課

Slide 8

Slide 8 text

原因２: 技術の多様化・フロントエンド(Web, iOS, Android) ・クラウドサービス(AWS, GCP, etc) ・データサイエンス・プライバシー・等々… 技術は多様化しており、技術マネージャは全ての技術においてメンバーより詳しいわけではない。現在では1つのシステムに必要な技術は多岐にわたる。 https://www.gartner.com/jp/newsroom/press-releases/pr-20190830

Slide 9

Slide 9 text

原因３: 評価スキル向上機会の不足・考え方を引き出すスキルを成長させる機会・よりよいフィードバックのための成長機会１on１を実施している企業は多いなどの仕組み化に取り組んでいる企業は少ないのでは？しかし…

Slide 10

Slide 10 text

原因４: 同じ人が長く評価することでの偏りある側面からだけ詳細に見えているリスクはないでしょうか？優秀なマネージャほど同じ部署に長く在籍していることが多い。その場合

Slide 11

Slide 11 text

もっと有益な情報を集め部門の責任者や各チームのマネージャだけで全てを理解するのは難しい。 1人だけで評価するのではなくいろいろな角度から評価し、適切な評価につなげていく。

Slide 12

Slide 12 text

エンジニアの技術力評価が難しい原因・原因１：バイアス・原因２：技術の多様化・原因３：評価スキル向上機会の不足・原因４：同じ人が評価することによる偏り

Slide 13

Slide 13 text

エンジニアの技術力評価が難しい原因・原因１：バイアス・原因２：技術の多様化・原因３：評価スキル向上機会の不足・原因４：同じ人が評価することによる偏りこれらの原因に対して、技術力評価会という「ともにつくる」制度は効果がありました。

Slide 14

Slide 14 text

Agenda Part 1. 評価と人事制度 Part 2. 技術力評価会の概要 Part 3. ペアで評価すること、組み合わせを毎回変えることの効果

Slide 15

Slide 15 text

Agenda Part 1. 評価と人事制度 Part 2. 技術力評価会の概要 Part 3. ペアで評価すること、組み合わせを毎回変えることの効果まずは評価と⼈事制度。評価というのは⼈事制度の1つなので最初に全体像をつかんでおきます。

Slide 16

Slide 16 text

１．評価と人事制度・等級制度（グレード制度）・評価制度・報酬制度⼀般的に、⼈事制度にはこの3つがあると思います。

Slide 17

Slide 17 text

１．評価と人事制度 https://globis.jp/article/2122 “経営理念やビジョンは企業の存在意義や使命を普遍的な形で表したものであり、経営戦略はそれを具現化するための基本的な枠組みだ。” “経営戦略は全社戦略、事業戦略、機能戦略から構成される。それぞれの戦略レベルにおいて、経営理念やビジョンとの⼀貫性や、他の戦略レベルとの整合性を持たせることが重要だ。”

Slide 18

Slide 18 text

１．評価と人事制度・経営戦略を実現するために必要な人材の定義・高いグレードの人が増えれば戦略を実現できる可能性が高まるように設計する・戦略に応じて制度を見直していくグレード制度

Slide 19

Slide 19 text

１．評価と人事制度・エンジニア職のグレートは４段階・誰がどのグレードなのかは社内に公開されているグレードの例: VOYAGE GROUP グレード4 グレード3 グレード2 グレード1

Slide 20

Slide 20 text

１．評価と人事制度グレードの例: VOYAGE GROUP 事業貢献能⼒ CREED グレード4 グレード3 グレード2 グレード1 ଓ͖͸"+*50Ͱʂ ฐࣾͷࣗຫͷࣾ಺όʔ"+*50Ͱͷ ΠϕϯτͰ͸͓ݟͤ͠·͢ɻ

Slide 21

Slide 21 text

１．評価と人事制度・評価を「給料を決めるためのもの」だけだと捉えている人もいますが、そうではない・「その人がどのグレードなのか」「上のグレードに上がるには何が必要か」を見極めることが評価制度の重要なポイント・評価を通じて成長を促すという考え方評価制度

Slide 22

Slide 22 text

１．評価と人事制度評価制度の例: VOYAGE GROUP ・半年に１度実施・事業貢献 x 能力 x CCFB の総合評価 ˞$$'#IUUQTWPZBHFHSPVQDPNDVMUVSFHSPXUIDDGC

Slide 23

Slide 23 text

１．評価と人事制度・従業員にいくら給与＋賞与＋αを支払うかの基準を決めておく・グレード制度および評価制度と密接に結びついている企業もあるが、評価制度とは別物報酬制度

Slide 24

Slide 24 text

１．評価と人事制度報酬制度の例 ใ ु ใ ु ใ ु ೥ྸɺۈଓ೥਺ ೥ޭংྻ ۉ౳ׂ ใ ु ใ ु ใ ु

Slide 25

Slide 25 text

Agenda Part 1. 評価と人事制度 Part 2. 技術力評価会の概要 Part 3. ペアで評価すること、組み合わせを毎回変えることの効果

Slide 26

Slide 26 text

２．技術力評価会の概要・エンジニアによるチームを越えた能力（技術力）評価の仕組み・評価結果は昇格に大きく影響する・半年に1度実施・2011年から継続技術力評価会とは

Slide 27

Slide 27 text

２．技術力評価会の概要 1. コアコンセプト 2. 評価の流れ 3. 全体の流れ 4. 仕組みの詳細技術力評価会とは

Slide 28

Slide 28 text

２．技術力評価会の概要 1. コアコンセプト 2. 評価の流れ 3. 全体の流れ 4. 仕組みの詳細技術力評価会とは

Slide 29

Slide 29 text

２．技術力評価会の概要チームを超えた技術力評価部署A 部署B 部署C 能力評価能力評価事業貢献評価

Slide 30

Slide 30 text

２．技術力評価会の概要チームを超えた技術力評価部署A 部署B 部署C 能力評価能力評価

Slide 31

Slide 31 text

２．技術力評価会の概要 1. コアコンセプト 2. 評価の流れ 3. 全体の流れ 4. 仕組みの詳細技術力評価会とは

Slide 32

Slide 32 text

２．技術力評価会の概要・評価者は2人・被評価者には、評価委員とサポーターが付く・事前準備 → 当日 → 後日評価の流れ

Slide 33

Slide 33 text

２．技術力評価会の概要・評価委員は被評価者に技術力評価会でどんな内容を話す予定なのかをヒアリングする評価の流れ事業部A 事業部B 事業部C 事業部D ヒアリング事前準備

Slide 34

Slide 34 text

２．技術力評価会の概要・他チームから評価者を選定・選定は評価委員が行う・選定結果はCTOが確認評価の流れ事業部A 事業部B 事業部C 事業部D 選定選定事前準備

Slide 35

Slide 35 text

２．技術力評価会の概要・被評価者はサポーターに評価してもらう内容を相談する・必要があれば同僚にすぶりを行う・被評価者は評価会の1週間前に資料を提出評価の流れ事前準備

Slide 36

Slide 36 text

２．技術力評価会の概要評価の流れ・１時間３０分 - 被評価者のプレゼン（３０分） - 評価者との質疑応答（６０分）当日

Slide 37

Slide 37 text

２．技術力評価会の概要評価の流れ Xxxxx Xxxxx Xxxxx Xxxxx Xxxxx Xxxxx Xxxxx Xxxxx ・評価者は評価結果を CTO、担当評価委員、もう1人の評価者に共有し、 4人ですり合わせ後日

Slide 38

Slide 38 text

２．技術力評価会の概要・評価者2人が対面で被評価者にフィードバック・被評価者は結果レポートを事前に読んでおく評価の流れ Xxxxx Xxxxx Xxxxx Xxxxx Xxxxx Xxxxx Xxxxx Xxxxx 後日

Slide 39

Slide 39 text

２．技術力評価会の概要 1. コアコンセプト 2. 評価の流れ 3. 全体の流れ 4. 仕組みの詳細技術力評価会とは

Slide 40

Slide 40 text

２．技術力評価会の概要全体の流れ全体準備、ガイダンス全体フィードバック評価会実施評価結果すり合わせ被評価者へのフィードバック全体ふりかえり 2018年〜事前準備

Slide 41

Slide 41 text

2015年3⽉にCTOが、グレードの⾼いエンジニアを10⼈ほど集め、技術⼒評価会の改善案について議論エンジニア全員に声をかけオープンにディスカッションすることにした。２．技術力評価会の概要全体の流れ全体ふりかえりのきっかけ

Slide 42

Slide 42 text

２．技術力評価会の概要全体の流れ全体ふりかえりの抜粋

Slide 43

Slide 43 text

２．技術力評価会の概要・エンジニアによるチームを越えた能力（技術力）評価の仕組み・評価結果は昇格に大きく影響する・半年に1度実施・2011年から継続技術力評価会とは再掲

Slide 44

Slide 44 text

２．技術力評価会の概要・エンジニアによるチームを越えた能力（技術力）評価の仕組み・評価結果は昇格に大きく影響する・半年に1度実施 ⇒ 2年間で8人から評価される・2011年から継続技術力評価会とは全体の流れ

Slide 45

Slide 45 text

事業貢献事業部A 事業部B 事業部C 事業部D 技術⼒評価技術⼒評価 ճ໨ ೥ؒͰਓҎ্͔ΒධՁ͞ΕΔ

Slide 46

Slide 46 text

事業貢献事業部A 事業部B 事業部C 事業部D 技術⼒評価技術⼒評価 ճ໨ ೥ؒͰਓҎ্͔ΒධՁ͞ΕΔ

Slide 47

Slide 47 text

事業貢献事業部A 事業部B 事業部C 事業部D 技術⼒評価技術⼒評価 ճ໨ ೥ؒͰਓҎ্͔ΒධՁ͞ΕΔ

Slide 48

Slide 48 text

事業貢献事業部A 事業部B 事業部C 事業部D 技術⼒評価技術⼒評価 ճ໨ ೥ؒͰਓҎ্͔ΒධՁ͞ΕΔ

Slide 49

Slide 49 text

２．技術力評価会の概要 1. コアコンセプト 2. 評価の流れ 3. 全体の流れ 4. 仕組みの詳細技術力評価会とは

Slide 50

Slide 50 text

２．技術力評価会の概要評価軸・事業・サービスの理解度・プロジェクトごとの要件、制約の理解度・変更容易性・可用性・性能・セキュリティ・テスト容易性・実現力・スコープ定義・システム構築・運用・プロジェクトマネジメント・改善力・システム的な改善・ビジネス的な改善 2011年の評価軸 2013年の評価軸

Slide 51

Slide 51 text

２．技術力評価会の概要評価軸・実現力・スコープ定義・システム構築・運用・プロジェクトマネジメント・改善力・システム的な改善・ビジネス的な改善 2013年の評価軸・実現力・何が課題で何が必要と考えたか。・構築・運用したシステムは妥当か。・プロジェクトの進め方は妥当か。・改善力・システム的な改善は妥当か。・ビジネス的な改善への貢献は妥当か。 2014年の評価軸

Slide 52

Slide 52 text

２．技術力評価会の概要評価軸開始から2年後に大幅に見直し、さらにその1年後に文章を変更した。・実現力・スコープ定義・システム構築・運用・プロジェクトマネジメント・改善力・システム的な改善・ビジネス的な改善 2013年の評価軸・実現力・何が課題で何が必要と考えたか。・構築・運用したシステムは妥当か。・プロジェクトの進め方は妥当か。・改善力・システム的な改善は妥当か。・ビジネス的な改善への貢献は妥当か。 2014年の評価軸・事業・サービスの理解度・プロジェクトごとの要件、制約の理解度・変更容易性・可用性・性能・セキュリティ・テスト容易性 2011年の評価軸

Slide 53

Slide 53 text

２．技術力評価会の概要評価結果テンプレート 2015年から点数を廃止し、しっかり文章を書くように ■結果(5段階、5が一番良い) - サービスの理解度：(点数＋コメント) - 要件・制約の理解度：(点数＋コメント) - 変更容易性：(点数＋コメント) - 可用性：(点数＋コメント) - 性能：(点数＋コメント) - セキュリティ：(点数＋コメント) - テスト容易性：(点数＋コメント) - 総評： ■総評（しっかり書く） ■成長へのアドバイス（しっかり書く） ---- （以降は任意）各評価軸への具体的なコメント ■実現力1: 何が課題で何が必要と考えたか。・[+] 良かった点・[?] 気になった点・補足 ■実現力2: ・・・ ■改善力1: ・・・ 2011年 2015年

Slide 54

Slide 54 text

２．技術力評価会の概要評価結果の公開 GitHubで評価結果を社内に公開

Slide 55

Slide 55 text

２．技術力評価会の概要評価結果の公開被評価者５１１人 x 評価者２人ずつ＋社外評価者１,０５０以上の評価結果が社内に公開されている。（2020年2月時点）

Slide 56

Slide 56 text

２．技術力評価会の概要・社外から強い人を招聘・社内評価者2人＋社外評価者の3人で評価・狙い - 新しい視点や気付きが得られる機会を増やす - 自分たちでは気づけないバイアスを知りたい社外評価者

Slide 57

Slide 57 text

もっと技術⼒評価会を知りたい⼈へ ● エンジニアの技術⼒評価は難しい? - 7年間運⽤してきた技術⼒評価制度の改善の歴史 - Ø 「5分でわかる技術⼒評価会」の元ネタで、ページ数は2倍くらい。 ● 適切な技術⼒評価をするために⼯夫していること。プレゼンスキルだけが⾼い⼈が過剰に評価されないために。 Ø 上記「エンジニアの技術⼒評価は難しい︖」を公開したときにもらった「プレゼンスキルだけが⾼い⼈が過剰に評価されるのでは︖」的なコメントへの回答。 ● #phpcon2018 でVOYAGE GROUPのエンジニア評価制度ってどんな感じなのか再演しました︕（資料・動画あり） Ø ミニ再演の動画リンクがあります。動画だと雰囲気が伝わりやすいですね。 ● 技術⼒評価会、外部評価者運営レポート Ø 急遽開催された社外評価者の持ち込み評価会についても記載されてます。 ● VOYAGEのエンジニア評価制度の全貌。「技術⼒評価会」による、⼈が育つ組織の作り⽅ Speaker Deckの説明欄に下記説明と資料へのリンクを記載してあります。

Slide 58

Slide 58 text

Agenda Part 1. 評価と人事制度 Part 2. 技術力評価会の概要 Part 3. ペアで評価すること、組み合わせを毎回変えることの効果

Slide 59

Slide 59 text

エンジニアの技術力評価が難しい原因・原因１：バイアス・原因２：技術の多様化・原因３：評価スキル向上機会の不足・原因４：同じ人が評価することによる偏り再掲

Slide 60

Slide 60 text

原因１: バイアス・ハロー効果・寛大化傾向・中心化傾向・極端化傾向エンジニアに限らず、一般的にバイアスが働く・論理的誤差・対比誤差・イメージ考課再掲

Slide 61

Slide 61 text

https://www.kaonavi.jp/dictionary/qahyoka_jinjihyokabias-2/ 原因１: バイアス対策

Slide 62

Slide 62 text

技術⼒評価会で評価者を経験したことのある⼈を対象としたアンケート結果

Slide 63

Slide 63 text

技術⼒評価会で評価者を経験したことのある⼈の中で技術⼒評価会以外でも評価者を経験したことのある⼈を対象としたアンケート結果

Slide 64

Slide 64 text

技術⼒評価会で評価者を経験したことのある⼈を対象としたアンケート結果

Slide 65

Slide 65 text

Slide 66

Slide 66 text

事業部A 事業部B 事業部C 事業部D 選定選定原因２: 技術の多様化対策被評価者の強みに合わせて、評価者をアサイン・被評価者の強みに合わせて、その技術に強い人をアサイン・上記の人の弱みを補完できる人とペアを組む・社内にいない場合は社外から招聘

Slide 67

Slide 67 text

原因３: 評価スキル向上機会の不足・考え方を引き出すスキルを成長させる機会・よりよいフィードバックのための成長機会１on１を実施している企業は多いなどの仕組み化に取り組んでいる企業は少ないのでは？しかし… 再掲

Slide 68

Slide 68 text

対策複数の立場で評価結果をすり合わせ・評価者ペアは結果をすり合わせる・さらに、CTO+評価委員+評価者2人の 4人ですり合わせを行う原因３: 評価スキル向上機会の不足 Xxxxx Xxxxx Xxxxx Xxxx x Xxxxx Xxxxx Xxxxx Xxxxx

Slide 69

Slide 69 text

技術⼒評価会で評価者を経験したことのある⼈を対象としたアンケート結果

Slide 70

Slide 70 text

評価者の声 – ペアによる評価スキル向上・他の評価者の考え方が分かる良い場だと思う・自分が聞かない角度の質問が出ると学びになる・着眼点の違いに気がつくことができた・自身の評価が客観的で論理的であるか、評価の軸がずれてないかなど、確認するようになった

Slide 71

Slide 71 text

原因４: 同じ人が長く評価することでの偏りある側面からだけ詳細に見えているリスクはないでしょうか？優秀なマネージャほど同じ部署に長く在籍していることが多い。その場合再掲

Slide 72

Slide 72 text

原因2: 技術の多様化技術力評価会の評価者は毎回異なる事業部A 事業部B 事業部C 事業部D １回⽬１回⽬２回⽬２回⽬３回⽬３回⽬４回⽬４回⽬原因４: 同じ人が長く評価することでの偏り対策

Slide 73

Slide 73 text

その他の声評価者へのアンケート

Slide 74

Slide 74 text

・関わりの少ない人と接する機会・伝え方がより良くなったり、具体的になったり・一緒に評価した人と価値観のやりとりをするので仲良くなることが多そう、経験的に・仕事観や情熱を感じることができる・他部署のエンジニアとの接点が増えて嬉しい評価者の声 – ペアによる良い点

Slide 75

Slide 75 text

・上長以外の視点を入れられる・評価という仕事のノウハウ共有が生まれ、新しい人を受け入れる面でも良さそう・責任を適度に分散できるので、自分を棚上げしていろいろということができる評価者の声 – ペアによる良い点

Slide 76

Slide 76 text

・日程調整コスト・ペア評価者の価値観に引っ張られてしまうのが懸念・似たような評価者ペアだと指摘が被ることがあり、そのまま同調して評価会中に批判の色が強くなることがある評価者の声 – ペアによる悪い点

Slide 77

Slide 77 text

・一方の評価者の質疑応答が長くなりすぎて、他方の評価者が十分な質疑応答ができない・評価レポート(の内容)が被るときもある・評価者ペアの考えがバラけすぎると、被評価者が混乱する可能性がある評価者の声 – ペアによる悪い点

Slide 78

Slide 78 text

まとめ

Slide 79

Slide 79 text

Slide 80

Slide 80 text

エンジニアの技術力評価が難しい原因・原因１：バイアス・原因２：技術の多様化・原因３：評価スキル向上機会の不足・原因４：同じ人が評価することによる偏り評価者をペアにし、組み合わせを毎回変更し、「ともにつくる」ことは大きな効果がありました。