「使われているか」と 「成果に繋がっているか」を 掛け合わせて見る、 AI活用指標の読み方

Transcript

1. AI活用効果検証 meet up! #2 「使われているか」と 「成果に繋がっているか」を 掛け合わせて見る、 AI活用指標の読み方 菅本 隆文 | ファインディ株式会社
2. © Findy Inc. ⾃⼰紹介 2 菅本 隆⽂ （すがもと たかふみ） Findy AI+ 新規事業開発 @sugamoto_ta 好きなツール Claude Code / Notion AI
3. 起：問題提起 | 2 / 13 今日伝えたい 2つのこと Question AI投資効果をどう可視化〜改善 に繋げていますか？ トークン使用量や skill利用量だけで、 成果指標をクロスしない可視化だと、成果につながる 改善サイクルを回すことができない。。 伝えたいこと① 読み解き方 Skill利用量 × AI-PR数 の「相関」で AI活用状況を読取り、 改善を回す 伝えたいこと② 今が試行錯誤の時！ ばらつき ＝ 試行錯誤の証 従量課金に移る前に 、 個人・チームで重ねたトライを 組織の共通基盤 （ナレッジ） へ集約することが重要？
4. ①ファインディでどのような指標を可視化、読み解いている のか ②実際にSkill利用量とAI-PR数を底上げ した事例 ③個人で振り返り可能なコマンド /プロンプトのご紹介 をお話しします！ 今日話すこと
5. ①ファインディでどのような指標を可視化、読み解いている のか ②実際にSkill利用量とAI-PR数を底上げ した事例 ③個人で振り返り可能なコマンド /プロンプトのご紹介 をお話しします！ 今日話すこと
6. 承：マクロで全体観 | 3 / 13 まず「利用の全体感」をトークン量とセッション数で見る Activity Trend 見るもの Tokens × Sessions （組織 / チーム / 個人で粒度切替） ここで分かること 活用の「量」の全体感 POINT 個人のトークン消費ランキング化すると 盛り上がる ただし、量だけでは「効果」は分からない
7. まず「利用の全体感」を トークン量とセッション数で見る （個人トークン消費ランキング） 承：マクロで全体観 | 3 / 13
8. ただこれだと成果につながっているか不明瞭なので、 成果に繋げるための改善を回すには不十分
9. 承：マクロで全体観 | 4 / 13 伝えたいこと①：成果との相関を見る Output Trend 見る対象：Skill calls × AI-created PRs （ファインディのケース） なぜこの2軸か ・Skill calls＝一定度合い自律的に AIを動かせている量 ・AI-PRs＝成果として出てきた量 POINT グラフでは活用増と成果が連動 → 健全な状態のサイン 他方、以下のパターンは改善余地あり ・Skill呼出数が増えていない ・Skill呼出数が増えても AI-PR数が増えていない
10. 承：マクロで全体観 | 5 / 13 読み解き方① Skill calls × AI-PR の相関から、状態と打ち手が見えてくる パターン 解釈 推奨アクション Skill calls ↑ × PR ↑ 健全。活用が成果に直結している 活用パターンを他チームへ横展開 Skill calls ↑ × PR → Skillは呼ばれているが成果に結びついていない Skillの中身をブラッシュアップ Skill calls → そもそも活用が広がっていない チーム内の活用ばらつきを可視化。 高頻度ユーザーの事例を横展開 量だけ見るのではなく「相関」で見ると、次の一手が変わる
11. 転：ミクロで深掘り | 6 / 13 もっと詳細に見たい時の 3つの切り口 マクロで仮説が立ったら、ミクロで原因と打ち手を特定する 1 Team Detail チームを比較する AI Multiplier や Cost/PR で活用パ ターン差を発見 2 Skills Usage スキルを掘り下げる どのSkillが効いているか、定着し ていないSkillはどれか 3 Member Detail チーム内の底上げに メンバー間で利用を比較。使えて いない人へ展開
12. 転：ミクロで深掘り | 7 / 13 Team Detail： チーム/個人ごとに「 AI活用パターンの差」を発見 PRs/member 159.0（他チームの 2~3倍） Skill calls/member 790.5（他チームの 2~3倍） AI Multiplier 30.8x（他チームの倍） Cost/PR $13.12（最安）
13. 転：ミクロで深掘り | 7 / 13 読み解き方② チーム間の活用パターンから、ボトルネックと横展開のヒントが見える データ傾向 解釈 推奨アクション Skill calls/member ↑ × Token ↑ 自律駆動型の利用が浸透 活用パターンを他チームへ横展開 Skill calls/member ↓ × Token ↑ 対話型に依存 スキル利用へ誘導し自律駆動型を促す AI Multiplier ↓ AIを自律的に動かす余地がある 高Skillチームの実践を横展開 Cost/PR ↑ × PRs/member ↓ コスト対効果が低い スキル活用度を上げ自律駆動型へ チーム比較で「活用パターンの差」を発見し、横展開につなげる
14. 転：ミクロで深掘り | 7 / 13 （具体例） Member Detail チーム/個人ごとに「 AI活用パターンの差」を発見 かなりばらつきがある。。
15. （具体例）該当チームの Skill呼び出し回数と AI PR作成数の相関 5月までは Skill呼び出し回 数はかなり横ばい。
16. （具体例）：成果につながっているチームとそうでないチームの skill usage から推進skillを特定
17. 転：ミクロで深掘り | 8 / 13 読み解き方③ どのSkillが効いているか／定着していないかで、施策の解像度が決まる データ傾向 解釈 推奨アクション 利用上位のスキルが明確 日常ワークフローへ定着 活用事例を共有し他スキルの定着を促す Calls ↓ ／ 一部偏り 全体の定着が不十分 高頻度ユーザーの活用方法を共有 Calls ↓ またはゼロのスキルあり 認知不足か使いにくい スキルの紹介・仕組み化を検討 高パフォ × 平均でスキル利用に差 高パフォ特有の活用パターンあり スキルの使い方を横展開しチーム底上げ 期間比較で Calls が伸びない 定着が停滞 勉強会・仕組み化など施策を検討 定着Skillの横展開 ＋ 未定着Skillの底上げ、両輪で効かせる
18. 推進skillの利用増に伴い、生産性向上 +α：使用skillの偏りも軽減され、幅広い AI活用が定着
19. © Findy Inc. 19 推奨対象としたセルフレビューSkillについては、 https://docs.google.com/presentation/d/1Gkv3d6PNk32vvvaC6gS6oDX9loA uuds9uRsOts4JQ9o/edit?slide=id.sld00s#slide=id.sld00s に詳細をまとめているのでご確認ください！
20. © Findy Inc. 20 判断任せ → 「⾃動で⾛る」環境へ ① ⾃動で呼び出す PR作成Skillから呼び出し PRを作ると必ず⾛る ② 使い⽅を周知 Slackのリリース告知で チームに展開 → 「使うか」を個⼈の判断に委ねない （どう活⽤を底上げしたか） 施策後の変化：標準動作として定着
21. © Findy Inc. 21 （どう活⽤を底上げしたか） 施策後の変化：標準動作として定着 呼び出しが増え、標準動作として定着 呼び出し回数（3⽉→5⽉） 約1.6倍 組織全体 298回 → 479回 アウトプット上位5名 117回 → 185回 「個⼈判断」をやめ、必ず⾛る運⽤に変えた結果
22. 結：定点観測でループを回す | 10 / 13 改善のループを回すために、定点観測する STEP 1 読み解き マクロ→ミクロ → STEP 2 仮説 どこを変えるか → STEP 3 施策 プラクティス共有・Skill整備 → STEP 4 再計測 前後の差分を見る
23. ①ファインディでどのような指標を可視化、読み解いている のか ②実際にSkill利用量とAI-PR数を底上げした事例 ③個人で振り返り可能なコマンド /プロンプトのご紹介 をお話しします！ 今日話すこと
24. 結：明日からのアクション | 11 / 13 個人で振り返るなら、この 2つのコマンド /usage 用途 現在セッションの 消費量・コスト・プラン使用率 タイミング 作業中、リアルタイムで 「今いくら使ってる？」を確認 npx ccusage@latest 用途 ~/.claude/ のログを集計 日次/週次/月次の振り返り タイミング 週次/月次レビューで 「使い方の癖」を発見 振り返り用途には ccusage が向いている
25. 結：明日からのアクション | 12 / 13 そのまま使えるプロンプト（コピペ用） 手順 1. npx ccusage@latest daily --json --since 2026-05-01 を実行 2. 出力結果を以下のプロンプトと一緒に Claudeに渡す 以下は私のClaude Codeの利用ログ（ccusage daily --json の出力）です。 このデータを以下の3つの観点で読み解いてください。 【1. マクロ：活用の量と推移】 - 日次のトークン消費・セッション数の推移 - 直近2週間 vs その前2週間で、活用が伸びているか/頭打ちか - Cache hit比率などコスト効率の傾向 【2. ミクロ：ボトルネックはどこか】 - 異常にトークンを使っているセッションがないか - 1セッションあたりのトークン量の偏り - 非効率な使い方をしている兆候 【3. アクション提案】 - 上記から見える「私の活用の癖」 - 次の1週間で試すべき改善アクションを3つ具体的に データ: [ccusageの出力をここに貼り付け]
26. 今日のまとめ 1 トークン量ランキングは盛り上がる。でも、それだけでは不十分。 Skill利用量 × AI-PR数などの成果指標との「相関」でAI活用の質を見て改善を回す。 2 連動している人 /チームの Skillを横展開 /自動呼出するように設定すると、全体に波及する。 Findyの実例：self-reviewerを横展開してPR生産性を向上。 3 従量課金完全移行前の今のうちに、共通基盤で可視化を。 個人の試行錯誤ナレッジを蓄積できる仕組みが、後の効率を決める。 組織でやるなら、 Findy AI+でサクッと立ち上げを
27. 最後にご紹介！ Findy AI+をご紹介させてください！