（登壇資料）アウトカムより先に"AI活用定着"を 〜量・質・コストで"組織平均"を底上げする〜

Transcript

1. アウトカムより先に "AI活⽤定着" を 量‧質‧コストで "組織平均" の定着を底上げする 菅本隆⽂（Findy AI+） ハイパフォーマーの活躍に⽬が⾏きがち。でも "組織平均" は動いていますか？ © Findy Inc. 1
2. ⾃⼰紹介 菅本 隆⽂ （すがもと たかふみ） Findy AI+ 新規事業開発 @sugamoto_ta 好きなツール Claude Code / Notion AI © Findy Inc. 2
3. 今⽇話したいこと この2点が今⽇の結論です。 01 効果検証で⾒るべきは、 アウトカムではなくまずは "組織平均のアウトプット底上げ"。 アウトカムはその後。まず組織全体の平均を上げきる。 02 今回紹介するアウトプット指標は、量‧質‧コストの3観点。 この3⾯を組織平均で読み、健全な定着を確認する。 © Findy Inc. 2
4. 本⽇お話する内容 01 なぜ "組織平均の定着" が先か 02 何を‧どう⾒るか アウトカムより前に⾒る理由と、順序を守る意味 量‧質‧コスト＋新指標と、その計測‧運⽤の回し⽅ © Findy Inc. 3
5. アウトカムより先に、"組織平均の底上げ" を測って伸ばす 成果は⼀部のトップではなく組織平均で。アウトカム接続はその後。 ▲ 定着を測りきってから よくある失敗 STEP 2 事業アウトカムへの接続 （売上‧リードタイム 等） ✗ トッププレイヤーが⽬⽴つ。組織で底上 げすべき層の定着‧活⽤レベルを⾼く⾒積も る ✗ 定着前にアウトカムへ急ぐ STEP 1 AI活⽤の組織定着 （組織平均の底上げ） 順序を逆にすると、習熟途上のメンバーが萎縮して活⽤が縮む。⼀度縮めると広げ直しは⾼くつく。だから "定着が先"。 © Findy Inc. 4
6. （弊社の事例）AI導⼊後半年の⽣産量は停滞 © Findy Inc. 6
7. では、どんな指標で組織のAI活⽤定着を モニタリングしていくのが良いのでしょうか？🤔 © Findy Inc.
8. （⾊んな意⾒があると思いますが） 量‧質‧コストをモニタリング+そのKPI的重要指標として"Skills活⽤量" を⾒る ※ポイント：すべて組織‧チーム平均の推移で追う。平均が揃って改善していれば効率的な定着。 量 質 コスト トークン消費量 / AI⽣成PR数 マージ率 / レビューコメント数 / 変更障害率 AI作成PRあたりコスト どれだけ使えているか‧作れているか AIが⽣成するPRの質は担保されているか 極端に上がりすぎていないか 重要指標 Skills活⽤量 — 量‧質‧コストすべてを貫くドライバー AI時代の新指標 ① PRあたりコスト ② ⾃⾛率（= CLI作業時間 ÷ ユーザーCLI操作アクティブ時間。⾒れると⾯⽩い） © Findy Inc. 5
9. 各指標を実際どう計測するか（詳細は懇親会で） 取得元は⼤きく2つ。GitHub 由来と、Claude Code の OpenTelemetry 由来。 対象指標 GitHub 由来 OTel 由来 AI⽣成PR数（PRラベル / commit trailer で識別）‧マージ率‧レビュー コメント数‧変更障害率 取得元 対象指標 取得元 トークン量‧ AI⽣成PR数‧PRあたりコスト‧Skills活⽤量‧⾃⾛率 OpenTelemetry GitHub API / MCP 踏み込むと⻑いので、もっと詳しく知りたい⽅はぜひ懇親会で捕まえてください 🍻 © Findy Inc. 6
10. なぜ Skills が重要指標なのか？ （弊社データ）Skills は 量‧質‧コスト すべての先⾏ドライバー。 量 全体‧どのチームでも、Skills利⽤量と AI⽣成PR数が⼀定以上の相関を⽰す 質 レビュー時の指摘を⾃動学習させられる。⼈を教育するより効率が⾼い コスト ステップ指定で無駄な⼊⼒トークンを削減。精度向上でラリーも減りコスト減 Skill実⾏回数（棒）と AI⽣成PR数（線）が連動して⽴ち上がる（4‒7⽉‧全社） © Findy Inc. 6
11. 実データ紹介：同⼀7名での⽐較（⼀⼈当たり / ⽉） ⼈数変動を排した公正な⽐較。アウトプット⼤幅増、かつコストは半減。 指標 4‒5⽉ 6‒7⽉ 変化 Skill実⾏回数（平均） 約149回 約357回 ×2.4 AI作成PR数（平均） 19.9本 97.9本 ×4.9 コスト / PR（平均） $49.7 $24.5 半分以下 マージ率（平均） 95.4% 94.1% ほぼ横ばい ⼈のレビューコメント数（合計） 84件 74件 -11% 同じ7名で⽐べても、Skill実⾏↑に伴い PR数は平均‧中央値とも⼤幅増、コストは半減。 © Findy Inc. 7
12. どんな Skills 利⽤が増えたのか？（開発プロセス上流から下流まで） トップダウンで整備したpluginを中⼼に上流から下流まで各⼯程のSkillsで増加 ⼯程（上流→下流） 主なスキル 4‒5⽉ 6‒7⽉ 変化 ① 要件定義 verify-requirements 203 351 ×1.7‧⼀本化 ② Issue分解‧実装 exec-github-issue ＋ parent-issue 80 296 ×3.7（親Issue分解 新登場） ③ テスト設計 test-strategy-guide 147 229 ×1.6‧⼀本化 ④ 実装規約(FE) react-guide（fc-frontend-plugin） 54 159 ×2.9 ⑤ PR作成 pull-request 168 318 ×1.9 ⑥ セルフレビュー self-reviewer（プラグイン版＋単体版） 264 452 ×1.7‧⼀本化 ⑦ コードレビュー codex-reviewer / code-review 189 590 ×3.1（code-review新登場） ⑧ 指摘対応〜クローズ検証 reply-review-comments / verify-close-issue ほか ‒ 809 新登場：下流へ拡張 集約 並存 → プラグイン版に⼀本化（標準ワークフローに収斂）。 拡張 指摘対応〜クローズ検証が新登場で「実装→PR」から下流⼯程までカバー。 ※ 対象：同⼀7名。期間はほぼ同⼀⻑（61⽇ vs 60⽇）。数値は画⾯表⽰の上位スキルのみの集計。「⼀本化」は単体版が6‒7⽉の上位から消えたことに基づく（下位での少量利⽤はあり得る）。 © Findy Inc. ‒
13. （ガードレール） "量‧質の増" と "コスト効率" を両⽴：PRあたりコストに⽬標値を置く ⼀定、リミット近くまで活⽤が増えているかどうかのモニタリングも重要な⼀⽅、 従量課⾦ツールの利⽤時などはあまりに⾮効率な活⽤が定着するのもリスク→ガードレール整備が重要 ⽬標値 PRあたりコスト この先＝過剰 → 個別に抑制 ⽬標設定 モニタリング 逸脱検知 個別抑制 闇雲にトークンを増やしすぎない。⽬標値を超えて増えている箇所だけを⾒つけ、個別に抑制する。 © Findy Inc. 7
14. 全体はトップダウン、個⼈はボトムアップ。平均を継続監視して底上げ 底上げは⼆⽅向で。両者を回しながら各指標の平均を追い続ける。 トップダウン ボトムアップ 注⼒Skillを定めて全体へ広げる ハイパフォーマーの使い⽅と⽐較して学ぶ 組織として"効く使い⽅"を標準化 個⼈が⾃分との差分から⽰唆を得る 各指標の "平均" を継続モニタリング 量‧質‧コスト‧Skills活⽤量‧⾃⾛率の組織平均を追い、真ん中の底上げを確認し続ける © Findy Inc. 8
15. まとめ アウトカムを測る前に、まず "組織平均のアウトプット底上げ" を測る。 底上げを進める際⾒るべき指標は 量‧質‧コスト＋Skills活⽤量 +α⾃⾛率。すべて組織平均で読む。 闇雲に増やさず、PRあたりコストに⽬標値を置いて効率を保つ。 まず可視化、そこから改善の循環へ。アウトカムはその次の景⾊。 整えて終わりにしない。数字で観測し、学びを⽌めない仕組みを育てていきましょう 💪 © Findy Inc. 10
16. 最後に宣伝させてください🙇 ご利⽤は こちらから👉 © Findy Inc. 9