Slide 1

Slide 1 text

OSEKKAI × TECHNOLOGY Grafana で AI 利用料を可視化 Grafana Meetup Japan Fukuoka #1 2026.09.25 Fusic Co.,Ltd. 清家 史郎 (@seike460)

Slide 2

Slide 2 text

自己紹介 OSEKKAI × TECHNOLOG Y 清家 史郎 (@seike460) SHIRO SEIKE 技術コミュニティ統括室長 / シニアエバンジェリスト ・AWS Ambassador ・2025-2026 Japan AWS Top Engineers — コミュニティ ・JAWS-UG 福岡 Co-Organizer / JAWS DAYS 2026 実行委員長 ・Grafana Meetup Japan Fukuoka Organizer NEW MEMBER!! iwa さん @mananyuki 2 ©Fusic Co., Ltd.

Slide 3

Slide 3 text

AI、だれが、なにをどのくらい利用しているか 知りたくありませんか? 使っている実感はある。 でもなにを、どれだけ使っているかの 分析が出来ていない 3 ©Fusic Co., Ltd.

Slide 4

Slide 4 text

AI の利用料は、ただのメトリクス CPU 使用率と同じです。 数値に直せば分析できる 4 ©Fusic Co., Ltd.

Slide 5

Slide 5 text

1 AI 利用料を Grafana で見る仕組み 5 ©Fusic Co., Ltd.

Slide 6

Slide 6 text

Claude Code は OTLP に対応している すべて で送る は現時点では保存せず捨てている # metrics / logs / traces OTLP # traces CLAUDE_CODE_ENABLE_TELEMETRY=1 OTEL_METRICS_EXPORTER=otlp OTEL_LOGS_EXPORTER=otlp OTEL_TRACES_EXPORTER=otlp OTEL_EXPORTER_OTLP_ENDPOINT=https://xxx.xxx.xxx OTEL_EXPORTER_OTLP_HEADERS=Authorization=Bearer OTEL_METRIC_EXPORT_INTERVAL=60000 OTEL_LOG_USER_PROMPTS=0 # prompt OTEL_LOG_TOOL_DETAILS=1 # tool ただし 本文は送らない 名は集計に使う 6 ©Fusic Co., Ltd.

Slide 7

Slide 7 text

Claude Code を使うなら、やることはありません 管理者が1回書く 全員の PC に自動で届く Claude Code が勝手に送る managed settings に env 9行 組織アカウントの利用者に配布 起動時に env を読んで OTLP 送信 社員がやること Claude Code 以外も送れます 組織アカウントでログインして、普通に使うだけです。 OTLP は OpenTelemetry の共通プロトコルなので、 80名全員、設定作業なしで送信中 対応しているツールなら同じ endpoint に送れます。 別の AI ツールが増えても、受け口はそのまま使えます 7 ©Fusic Co., Ltd.

Slide 8

Slide 8 text

xxx.xxx.xxx の本番構成。メトリクス専用 DB は持たず、インフラはすべて CDK ©Fusic Co., Ltd. 8

Slide 9

Slide 9 text

Route53 + ACM — 名前解決と TLS 証明書を担当 9 ©Fusic Co., Ltd.

Slide 10

Slide 10 text

ALB — /v1/* を Collector に、それ以外を Grafana に振り分け 10 ©Fusic Co., Ltd.

Slide 11

Slide 11 text

Secrets Manager — Bearer token と admin を env で注入 11 ©Fusic Co., Ltd.

Slide 12

Slide 12 text

Collector — nginx が Bearer を検証、ADOT が scrub して EMF で出力 12 ©Fusic Co., Ltd.

Slide 13

Slide 13 text

Grafana + EFS — ダッシュボードと内部状態を永続化 13 ©Fusic Co., Ltd.

Slide 14

Slide 14 text

CloudWatch + SNS — EMF を自動でメトリクス化、アラームは SNS へ通知 14 ©Fusic Co., Ltd.

Slide 15

Slide 15 text

なぜ CloudWatch にしたのか 払ったもの 得たもの メトリクス専用 DB は不要。 運用対象も増えない。 CloudWatch datasource で読める VS メトリクスは 500 種類まで。 見えるまで最大 5 分かかる。 凝った集計はできない。 切り口は最初に決めておく 技術要素 判断要素 Collector が決まった形のログを書くと、 用途は社内だけ・管理は1人。 CloudWatch が自動でメトリクスに変換します。 datasource の認証は task role で済むため、 切り口は宣言した組み合わせだけを出す設計です 「運用を増やさないこと」を最優先にしました CloudWatch datasource を育ててくれた mtanda さんに感謝! 15 ©Fusic Co., Ltd.

Slide 16

Slide 16 text

これを構築するのが厳しい場合は Grafana Cloud を検討ください! Grafana Cloud は OTLP endpoint を持っています。 env の向き先を変えるだけで、 同じ可視化が始められます 16 ©Fusic Co., Ltd.

Slide 17

Slide 17 text

送る前に、Collector で本文を消す attributes/scrub: actions: - { key: prompt, action: delete } - { key: response, action: delete } - { key: body, action: delete } - { key: arguments, action: delete } - { key: output, action: delete } - key: user.email pattern: '^(?P[^@]+)@' action: extract - key: user.email action: hash prompt・response などの本文系は全部 delete。 email は @ の前だけ取り出して (extract) からハッシュ化 (hash)。 「だれが使ったか」は集計できても、会話の中身はどこにも残りません。 17 ©Fusic Co., Ltd.

Slide 18

Slide 18 text

どの切り口で見るか、最初に決めておく コストとトークンのメトリクスに、 通りだけを出す ユーザー別・モデル別・その掛け算 宣言しないと属性の全組み合わせが出て、 上限の 種類で黙って切り捨てられる # 3 # ( ) # # 500 metric_declarations: - dimensions: - ["OTelLib", "user_name"] - ["OTelLib", "model"] - ["OTelLib", "user_name", "model"] metric_name_selectors: - "^claude_code\\.cost\\.usage$" - "^claude_code\\.token\\.usage$" 18 ©Fusic Co., Ltd.

Slide 19

Slide 19 text

2 可視化された AI コストを見る 19 ©Fusic Co., Ltd.

Slide 20

Slide 20 text

本番のダッシュボード https://xxx.xxx.xxx/d/claude-code-ai-usage 20 ©Fusic Co., Ltd.

Slide 21

Slide 21 text

Skill ランキングは、このクエリで出している fields attributes.tool_parameters as p | filter tool_name = "Skill" and event_name = "tool_result" | parse p /"skill_name":"(?[^"]+)"/ | stats count(*) as invocations by skill_name | sort invocations desc | limit 20 このクエリがやっていること 実行の工夫 tool_parameters (Skill の引数 JSON) から Logs Insights をパネルから直接実行。 skill_name を取り出し、呼び出しが成功した row を開いた時だけクエリが走るので、 記録だけを数えて多い順に並べています スキャン課金を抑えられます 21 ©Fusic Co., Ltd.

Slide 22

Slide 22 text

30日で 約1,500億トークン・約1.9万セッション $**,*** 総コスト (API換算・非公開) 80 名 利用者数 約1500 億 約1.9 万回 総トークン数 セッション数 22 ©Fusic Co., Ltd.

Slide 23

Slide 23 text

平日は休日の約 5 倍 Cost / day (休日平均=1) 5.7 6 5.5 5.2 5 4 4 3.9 3 2 1.1 1 9/12 9/13 1 0.9 0 9/14 9/15 9/16 9/17 9/18 9/19 9/12-13・9/19 は土日 働き方がそのまま出ている 23 ©Fusic Co., Ltd.

Slide 24

Slide 24 text

トークンの 97% はキャッシュ読み Tokens by type (B) 150 143.6 棒の意味 input は新たに送った分、output は生成分。 cache は同じコンテキストの再利用で、 120 長いセッションを続けるほど cacheRead が増えます 90 60 なぜ費用で大事か cacheRead は入力の約 10 分の 1 の単価です。 30 97% がキャッシュ読みなので、キャッシュを 3.1 0.49 0.24 cacheCreation output input 0 cacheRead 効かせる使い方で実質コストは何倍も変わります 24 ©Fusic Co., Ltd.

Slide 25

Slide 25 text

Top 5 名で全体の 31% Cost by User Top 8 (全体の割合・%) 8 7 6.9 6.4 6 6 5.9 5.8 5.2 5 4.7 4 4 3 2 1 0 1位 2位 3位 4位 5位 6位 7位 8位 使い方は均等ではない 活用を促す議論につながる 25 ©Fusic Co., Ltd.

Slide 26

Slide 26 text

いま見えるのは、直近 14日分だけ logs Skill ランキングの元データはログです。 CloudWatch の retention は 14日で、それより前は遡れません。 送り先に Loki を足せば安く長期検索できます。 月次集計なら S3 + Athena でも足ります (Loki は Grafana ファミリーのログ基盤) 26 ©Fusic Co., Ltd.

Slide 27

Slide 27 text

まだできていないこと コストアラート まだありません。 メトリクスは揃っているので、 Grafana Alerting か CloudWatch Alarm で通知を出せます dashboard いまは手動 push です。 provisioning 化して Git で管理したい 27 ©Fusic Co., Ltd.

Slide 28

Slide 28 text

数字があると、議論が変わる AI の利用料も、ただのメトリクス メトリクスなら Grafana を使えば簡単に実装可能!

Slide 29

Slide 29 text

自分の分だけなら、今日から試せます { "env": { "CLAUDE_CODE_ENABLE_TELEMETRY": "1", "OTEL_METRICS_EXPORTER": "otlp", "OTEL_EXPORTER_OTLP_ENDPOINT": "http://localhost:4318", "OTEL_LOG_USER_PROMPTS": "0" } } (~/.claude/settings.json の env セクション) 29 ©Fusic Co., Ltd.

Slide 30

Slide 30 text

あ な た の G r a f a n a に も 載 り ま す Point.01 env を9行貼れば、Claude Code が勝手に送り始めます Point.02 本文を消すのは Collector、配るのは managed settings。人には頼りません Point.03 自前が難しければ Grafana Cloud。endpoint を向けるだけです 30 ©Fusic Co., Ltd.

Slide 31

Slide 31 text

Thank You ご清聴いただきありがとうございました OSEKKAI × TECHNOLOGY ココロと技術で、ぴったりも、びっくりも。 We are Hiring! カジュアル面接 — Let's Talk! https://fusic.co.jp/recruit/lets_talk/44 ©Fusic Co., Ltd.