トークンマネジメントでAIにとって働きやすい環境を実現する

五反田AI vol.3 の登壇資料です

Transcript

1. 五反⽥AI vol.3 トークンマネジメントでAIにとって働きや すい環境を実現する 組織構造に連動してトークン/権限を適切に制御しよう 2026年8⽉19⽇ · hikae (フリー セキュリティ船 RedTeam)
2. 話すこと トークン格差が事業における⼤きなリスクにな る時代において⼼掛けていること AIツール/トークンを⼀律に配布するだけでは、実際の利⽤ニーズとズレてしまう。 組織構造に連動した権限‧トークンの制御をどう実装したかを話します。
3. 自己紹介 江頭 輝 hikae（@0xhikae） 所属 フリー株式会社 CAIO組織 セキュリティ船 RedTeam 最近の対外活動 • セキュリティ若手の会 幹事 • セキュリティ・キャンプ26 講師「AIシステムにおける脅威対策とガバナンス実践」 • OASEC 2026「Policy-Driven PII Control for Your Company」
4. freeeにおけるセキュリティチームとは 今直⾯しているリスク/インシデントに対して、 持ち前の専⾨性で低減/解消する 社内のAI利⽤におけるセキュリティリスクは、 AI Platform EngineeringチームをはじめとしたCAIO組織 全体で向き合っている課題 われわれは、⾶⾏機に乗り合わせた たった⼀⼈の医者である 🔗 もはやセキュリティに「社内」と「社外」の境界はない。 CSIRTとPSIRTを統合してひとつのチームへ - freee Developers Hub https://developers.freee.co.jp/entry/merge_csirt_and_psirt
5. 開発現場での AI 駆動開発 対策状況 Proxy Server の Log を通して Observability を実現（把握できた課題を改善するためのサイクルを回す） Raw Input Safe Input Model Provider PC Proxy Safe Output Raw Output 5
6. freeeにおけるAIガバナンスの整備プロセス 実証実験場 をつくる 歩道と車道を 分ける 交通ルールと安全装置 を整備する 高速道路の設置と 規制緩和 01 02 03 04 🔗 AIコーディングエージェント全社導入とセキュリティ対策 - Speaker Deck https://speakerdeck.com/hikaruegashira/freeeniokeruaikodeinguezientoquan-she-dao-ru-tosekiyuriteidui-ce
7. 1. なぜ今トークンマネジメントなのか AIを全社展開するときに気にすること SECTION 1 なぜ今トークンマネジメント なのか ⼗分にトークンが⾏き渡らないことによるリスク 2. トークンマネジメントを実現するまでの流れ Claude Enterpriseでできる統制 AI導⼊のための検証グループを⽤意する 利⽤層のなかでtierを分ける 3. 効果的なトークンマネジメント 積極的な棚卸しを実装する アカウント付与しやすい仕組みを実装する
8. なぜ今トークンマネジメントなのか AIを全社展開するときに気にすること 「みんなが安⼼して触れる状態」を維持することは想像より⼤変です。毎⽇のように技術が進歩する今だからこ そ、同じようなことを複数レーンでバラバラにやらず組織全体で⾏えるようにすることがガバナンスの役割です。 Q1 トークン消費の妥当性 中央でのモニタリングと統制⼿法の確率 Q3 予算の予測可能性 暴⾛の検知とツール横並びでの予算計測 Q2 ⼀貫したAI導⼊フローを整備できるか 検証→段階的な利⽤拡⼤→全社導⼊をボトムアップに Q4 選択と集中 今、ROTが⾼い領域に予算を回せる仕組みづくり
9. なぜ今トークンマネジメントなのか ⼗分にトークンが⾏き渡らないことによるリスク シャドーAIの常態化 ⽣産性の機会損失 格差の拡⼤ 正規ルートで使えなければ、個⼈ア ROTの⾼いヘビーユーザーが⼗分な セキュリティスキャンなど、やるべ カウントや未認可ツールに業務デー 成果を達成できない。新たな活⽤に きAI利⽤ができないことによって、 タが流れる。 向けた探索が頭打ちになる ハッキングされるリスクが増加。競 合との機能差が拡がる。 「エンジニアをさらに採⽤するか、それともAIトークン予算を選ぶか」。freeeでは部⾨別にトークン量を割り当て、 ⼈件費とトークン費⽤を⾜してROIが合う状態を保てているかを確認している。 — 横路隆 CAIO（出典: BigGo ファイナンス「⼈を雇うか、トークンを買うか」2026/6/18） https://finance.biggo.jp/news/83c44043-80cd-497f-b8c2-c9c8d2061461
10. トークンマネジメントのトレードオフ 配りすぎる • 暴走時のコスト影響が大きくなる 絞りすぎる • 予算が予測不能になりAI投資に影響 • シャドーAIの常態化 • 未利用シートによるコスト圧迫 • 生産性の機会損失 • 格差の拡大 トークンマネジメント 人的資本と同じように必要な領域にトークン資本を行き渡らせるためには 組織構造に連動して釣り合いを取り続ける仕組み が必要
11. 1. なぜ今トークンマネジメントなのか AIを全社展開するときに気にすること ⼗分にトークンが⾏き渡らないことによるリスク SECTION 2 トークンマネジメントを 実現 するまでの流れ 2. トークンマネジメントを実現するまでの流れ Claude Enterpriseでできる統制 AI導⼊のための検証グループを⽤意する 利⽤層のなかでtierを分ける 3. 効果的なトークンマネジメント 積極的な棚卸しを実装する アカウント付与しやすい仕組みを実装する
12. トークンマネジメントを実現するまでの流れ Claude Enterpriseでできる統制 機能 できること freeeでの活⽤先 SSO / SCIM sync IdPをマスターにユーザー/グループを同期 権限管理を既存IdPに⼀元化 IdPのグループ名をClaude側Roleに⾃動マッ user↔IdP RoleのアタッチをIaC化、 ピング SCIM経由でClaude Roleへ反映 Group mappings Custom Roles 既存プリセット（Owner/Admin/User）とは 別に細分化された権限プロファイル 利⽤層 × tier(段階)で利⽤フレームを表現 個別の上限調整をPR化。現⾏⽔準を下回る変更は Spend controls ユーザーごとの利⽤上限の設定 Usage analytics ユーザー/Role単位の利⽤状況の可視化 利⽤フレーム⾒直し‧効果計測に Audit logs 重要操作の監査証跡 コンプライアンス‧インシデント対応 ⾃動拒否 すべてをCustom Rolesに寄せることで全員が使える状態ではなく、明⽰的にロールに⼊っている⼈だけが権限を持つ状態にしている
13. トークンマネジメントを実現するまでの流れ AI導⼊のための検証グループを⽤意する AI特区（組織制度） ai-sandbox（Custom Role） 「全社展開するにはリスクが⼤きいが試してみた この制度をClaude側の権限レイヤーでそのまま形 い」AIツールを、安全‧迅速に検証するための社内 → にしたロール。デフォルトラインの安定性を守りな 制度。特区として認められたチーム‧メンバーに限 がら、新機能‧新モデル‧実験的な運⽤パターンを り、定められた条件下での利⽤を許可する。 先⾏利⽤できるように。 ⼀般ポリシーから⼀旦切り離した検証エリアを運⽤。Spend Controlsで検証予算を本番予算と分離 → 検証で得た知⾒‧利⽤実績が、全社展開時の予算予測精度を向上させる
14. トークンマネジメントを実現するまでの流れ 利⽤層のなかで、tierを分ける tier1 tier2 利⽤層：default default-tier1 標準的な利⽤枠 default-tier2 予算枠を広げた利⽤者向け 利⽤層：ai-sandbox （AI特区） ai-sandbox-tier1 検証フレーム内の標準利⽤ ai-sandbox-tier2 検証フレーム内で予算枠を広げた 利⽤ 申請フォーム経由で利⽤⽬的をレビューして付与する。 ユーザー間の利⽤量の差はトークン消費で桁単位で異なる 。tierを分けておくことで、トークン消費上限をユーザー単位で調整 できる。tierごとの上限値⾃体もAIでできることの拡⼤に合わせて予算をみながら柔軟に変更していく
15. トークンマネジメントを実現するまでの流れ 利⽤層のなかで、機能を分ける 特定機能については、⼀律で使えるようにせず、活⽤に取り組んでいるチームに明⽰的に渡す 1 Analytics 組織⻑。datadogと⼀緒にチームの利⽤量を分析 2 Claude Security セキュリティチームが診断エージェントのベンチマー クとして利⽤ 3 Claude Design PD、動画/プロトタイプベースの設計/開発
16. トークンマネジメントを実現するまでの流れ チーム単位で、機能を分ける Slackチャンネルで⾃律的に動作するエージェント機能 「Claude Tag」 個⼈ごと→チームごとに管理するように変更 外部システムにアクセスできるAI専⽤マシンアカウント作成‧権限管理 1 チームチャンネルで開発者の⼀員に 設計の壁打ちを複数⼈で 2 アラートに対して⼀次対応 ログやコードから問題の特定。MTTR向上 3 開発プロセスの中に⾃然に組み込む AIレビューを起点に業務が回る
17. 1. なぜ今トークンマネジメントなのか AIを全社展開するときに気にすること ⼗分にトークンが⾏き渡らないことによるリスク SECTION 3 効果的なトークンマネジメント 2. トークンマネジメントを実現するまでの流れ Claude Enterpriseでできる統制 AI導⼊のための検証グループを⽤意する 利⽤層のなかでtierを分ける 3. 効果的なトークンマネジメント 積極的な棚卸しを実装する アカウント付与しやすい仕組みを実装する
18. 効果的なトークンマネジメント 積極的な棚卸しを実装する 週次でマスター同期 退職シートの⾃動回収 全従業員マスターデータとメンバー台帳を毎週⾃動照合。 ⽇次同期でマスターにいないメンバーを⾃動削除。AIツー 未登録者は無効状態で⾃動追加され、常に全従業員の状態 ルの増加による⼈⼿のオフボーディング作業のコスト増を を管理している状態をつくる。 抑える。⼤量revokeを防ぐ安全キャップを付けて運⽤。 未利⽤シートの棚卸し 予算ガードレール 利⽤実績データをもとに、除外条件を明⽰して合意形成し 「ユニークユーザー数 ≤ 契約シート上限」をterraform た上で回収する。回収したシートはキューに⼊っているメ plan時にチェック、CIでブロックする。 ンバーへ再配分する。 棚卸し≠コスト削減。棚卸しもまたROT向上に⼤きく寄与する
19. 効果的なトークンマネジメント アカウント付与しやすい仕組みを実装する STEP 1 STEP 2 STEP 3 フォーム⼊⼒ シンプルなフラグで変更管理 レビュー → 反映 GitHub Actionsのフォームにロール‧ 台帳の該当⾏をenabledに反転するだ GitHubアカウントがない/開発未経験 メールアドレス‧利⽤⽬的を⼊れるだ → けのPRを⾃動⽣成。コンフリクトが起 → でも扱えるようにするため、 け。⾮エンジニアの運⽤メンバーも操 きないようにして頻繁な対応にも耐え 社内の申請フロー起点で 作できる。 られるように。 GitHub Actionsを動かすWFを設計
20. 効果的なトークンマネジメント LLM Proxyに依存しないガバナンス基盤 hooksによるガードレール OTelによる可視化 ネットワーク上でのブロックと⽐較して体験向上 OpenAI CodexはProxy⽅式で壊れやすかった https://github.com/JeongJaeSoon/agent-guard/ OTel collectorを構築。Proxy分の応答速度向上 web版などリモートで動作するAIツールにはLLM Proxyはかけることが困難だった LLM Proxyが担っていたガードレールと可視化の責務を分離する
21. まとめ：全社導⼊に⾄るまでのチェックリスト 1 ⽅針を決める AIポリシーを策定し、経営として承認す る 2 仕組みをつくる 3 運⽤し改善する AIシステムの導⼊‧利⽤⼿順を定める イベントログを記録し、証跡を残す 申請‧レビュー‧付与の流れを標準化する 「いつ‧誰が‧なぜ」を追跡できる状態にする 5.2 / A.2.2 A.6.2.5 / A.9.2 A.6.2.8 AIの役割と責任を割り当てる トークンとシートを管理対象リソースと して扱う 利⽤状況を監視し、定期的に棚卸しする 利⽤範囲‧禁⽌事項‧責任を明⽂化する 誰が承認し、誰が監視するかを決める 棚卸しの頻度と回収の条件を決める 枠の決め⽅とtier変更の⼿順を定める A.3.2 A.4.2 / A.4.5 9.1 / A.6.2.6 AIリスクと影響を評価する 利⽤者に周知し、責任ある使い⽅の⼒量 を確保する ポリシーと配分をレビューし、⾒直す 評価の観点と再評価のタイミングを決める マネジメントレビューで基準線を更新する 想定⽤途の周知と更新の経路を⽤意する 6.1 / A.5.2 7.2 / 7.3 / A.9.4 ※ 左の番号は ISO/IEC 42001（AIMS）の要求事項‧附属書A管理策 9.3 / A.2.4
22. ＼ We are hiring! ／ AI Platform Engineer AIという"新しい同僚"を組織に迎え入れる基盤をCAIO直下でつくる、 経営インパクトと最新技術が直結する実践の場 https://hire.wantedly.com/careers/freee/career_page_all_jobs/3212 グローバル最先端の技術情報を収集・検証しながら、 freeeの生産性と創造性を非連続的に向上させる中心メンバーを募集！ freee キャリア 採用
23. 2023 年から開催している freee のテックカンファレンス freee 技術の日 2026 プロダクトマネジメントやデザイン、セキュリティ、テストなど、freee のプロダクトづくりやプロダク トを提供するために必要な基盤・仕組みに全てに必要な「技術」を世の中に発信するイベントで す。 https://freee.connpass.com/event/403447/ 技術の日 connpass