Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
LLM Observability の権限整理の話/llmobs-permission
Search
sugitak
June 17, 2026
Technology
190
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
LLM Observability の権限整理の話/llmobs-permission
sugitak
June 17, 2026
Transcript
24 slides
© 2025 estie Inc. LLM Observability の 権限整理の話 株式会社estie 杉田毅博
(GitHub:sugitak, X:@sugitak06)
© 2025 estie Inc. LLM Observability の Agent Observability の
権限整理の話 株式会社estie 杉田毅博 (GitHub:sugitak, X:@sugitak06) LLM Observability は Agent Observability に Rename 中
© 2025 estie Inc. 最初におことわり: LLM Observability と Agent Observability
こちらのトーク募集の頃は LLM Observability と呼ばれていたと思うの ですが、気づいたら名前が変わっていました • LLM Observability == Agent Observability • まだ `LLM Observability` `llm-observability` `llmobs` 等と なっている箇所が残っていますが、今後置き換えられていくと思われます • このプレゼン中では Agent Observability という用語に寄せます 2
© 2025 estie Inc. 杉田 毅博 github:sugitak, x:@sugitak06 • 2022~
株式会社 estie 「1人目SRE」兼 EM • 2017~ 株式会社Preferred Networksコーポレートエンジニ ア。勝手にEmbedded SREも兼務 • 2015~ freee株式会社にてSREを名乗り始める。デプロイを 60分→7分に短縮・安定化。CSIRT立ち上げリーダー、セ キュリティ開発なども担当。自称デプロイ屋さんになる • 2011~ IIJ にて Ruby PaaS 開発。ユーザコードのデプロイ 部分を一人で担当。自称bundlerの専門家になる 講演等 2017-07 Schoo にて Prometheus 講師 2018-02 Software Design 誌にて9ページ記事執筆 2026-07 SRE Next 講演予定 New!
© 2025 estie Inc. Agent Observability とは? 1 4 Agent
Observability の権限 整理 2 Datadog 権限管理の手法 3 今回の選択 4
© 2025 estie Inc. Agent Observability とは? 1 5 Agent
Observability の権限 整理 2 Datadog 権限管理の手法 3 今回の選択 4
© 2025 estie Inc. Agent Observability とは…… AI Agent において数々の
Observability を実現するもの 6 Traces Experiments Evaluations
© 2025 estie Inc. Agent Observability とは…… • Traces •
Agent の推論・ツール実行・出力までの一連の流れを可視化 • Experiments o複数モデル・環境に同じ設定を投入する比較試験 • Evaluations o継続して実施できる単体テスト。現在の環境の評価 7
© 2025 estie Inc. 8 重要: Trace は入出力が表示される
© 2025 estie Inc. Agent Observability とは? 1 9 Agent
Observability の権限 整理 2 Datadog 権限管理の手法 3 今回の選択 4
© 2025 estie Inc. Confidential © 2022 estie Inc. Our
purpose 産業の真価を、さらに拓く。
© 2025 estie Inc. Confidential © 2022 estie Inc.
© 2025 estie Inc. Confidential © 2022 estie Inc.
© 2025 estie Inc. Confidential © 2022 estie Inc.
© 2025 estie Inc. Confidential © 2022 estie Inc.
© 2025 estie Inc. 権限整理のジレンマ • セキュリティの要件 o LLM の入出力は機微な情報であり、閲覧を制限される必要がある
• 品質管理の要件 o LLM 利用機能の品質管理責任を持つ開発者は、その入出力を確認できる必要がある => お題: 10以上のプロダクト(を持つ我々は、 Datadog Agent Observability 上でどのように権限整理すればいいのか? 15
© 2025 estie Inc. Agent Observability とは? 1 16 Agent
Observability の権限 整理 2 Datadog 権限分離の手法 3 今回の選択 4
© 2025 estie Inc. Datadog 権限分離の手法 • サービスごとに権限付与 • Organization
分割 • Data Access Control 17
© 2025 estie Inc. サービスごとに権限付与(Role でコントロール) • 使わない人は LLM Observability
(ここは旧名称)に権限を付与しなけ れば良い? • 「使う」 or 「使わない」の二択しか 権限を作れない • Standard Role には default で付与 されている 18
© 2025 estie Inc. Organization 分割 • Organization を分割すると、概ねすべての権限を完全に分離できる •
情報隔壁として最強 • ただし、情報の共有が難しくなる o 操作対象を変えるたびに Organization 切替操作が必要。横断が難しくなる o 一部、 Metrics / Logs では共有が可能 19
© 2025 estie Inc. Data Access Control (DAC) • ラベルベースで権限を付与する機能
• DAC ではサービスxラベルで Dataset を作成し、その Dataset に対して Role ごとに Grant Access する RBAC 機能 • 権限ごとに Restricted Dataset を 作れば、ほしい制限が実現できる! 20
© 2025 estie Inc. Agent Observability とは? 1 21 Agent
Observability の権限 整理 2 Datadog 権限管理の手法 3 今回の選択 4
© 2025 estie Inc. 今回の選択 DAC を採用! • DAC はまさに今回ほしいもの
• ただし Restricted Dataset について Standard Plan で 10, Enterprise で 100 までという制限あり o Enterprise では、 Strict Mode を有効化した場合は 1000 Rule Sets まで利用可 22
© 2025 estie Inc. We are hiring! 23 https://hrmos.co/pages/estie/jobs?category=17562936478271 65184
More Decks by sugitak
See All by sugitak
SREとQA 二人三脚で進めるSLO運用/sre-qa-slo
sugitak
2
3.2k
運用に使えるログがほしい!
sugitak
0
46
QA チームのテストを活用した SLI を ECS on EC2 で動かした話/SLI on ECS on EC2 using QA Playwright E2E test
sugitak
0
520
デプロイ再考2024/reconsidering-deploy-in-2024
sugitak
22
6.7k
Prometheus の label をいいかんじに使う 〜多次元データってなんなのさ〜
sugitak
3
5.3k
Prometheus 監視で変わるもの
sugitak
7
6.8k
deploy.rb をきれいにするためにしたいくつかのこと
sugitak
0
140
Other Decks in Technology
See All in Technology
人間+AIを「チーム」としてプロセスを再設計する
littlehands
4
3.4k
コピーオンライト型ファイルシステムと ランダム書き込み
sat
PRO
2
120
AIで実装が加速したのに、 なぜ私は仕事の大半で人と話し続けていたのか?
say_no_w
0
180
個人ASを取得して、自宅Kubernetes上のVMをグローバルIPで公開した話
munenick
0
170
[関西Kaggler会 20261113] 続・コミュニティコンペのススメ
nejumi
0
140
パスワードのない鍵で、 データを手元に置く
ginjihayashi
0
270
速くなった開発の効果をどう推し量るのか
bulbulpaul
0
130
AI時代における医療情報システムのセキュリティ / Security of Healthcare IT Systems in the AI Era
henryofficial
0
190
Kansai WordPress Meetup@大阪『ブロックテーマを作る上で知っておくべきこと
torounit
0
220
【Oracle AI SPOTLIGHT ウェビナー】【特別開催:日本語で解説!】Oracle AI World 2026 最新情報フィードバック
oracle4engineer
PRO
1
270
こんなに変わった! AWSネットワークの常識
shotashiratori
15
9.5k
Claude Securityを使ってみた / claude-security-claude-code-meetup-nagoya
tnir
0
140
Featured
See All Featured
More Than Pixels: Becoming A User Experience Designer
marktimemedia
3
620
SEO for Brand Visibility & Recognition
aleyda
0
4.9k
How People are Using Generative and Agentic AI to Supercharge Their Products, Projects, Services and Value Streams Today
helenjbeal
2
400
Optimising Largest Contentful Paint
csswizardry
37
4k
The Invisible Side of Design
smashingmag
301
52k
Efficient Content Optimization with Google Search Console & Apps Script
katarinadahlin
PRO
1
990
How Software Deployment tools have changed in the past 20 years
geshan
3
35k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
The browser strikes back
jonoalderson
0
1.9k
Building Flexible Design Systems
yeseniaperezcruz
330
41k
HDC tutorial
michielstock
2
1k
Gemini Prompt Engineering: Practical Techniques for Tangible AI Outcomes
mfonobong
2
640