LLM Observability の権限整理の話/llmobs-permission

by sugitak

Embed

Start on current slide

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

© 2025 estie Inc. 最初におことわり： LLM Observability と Agent Observability こちらのトーク募集の頃は LLM Observability と呼ばれていたと思うのですが、気づいたら名前が変わっていました • LLM Observability == Agent Observability • まだ `LLM Observability` `llm-observability` `llmobs` 等となっている箇所が残っていますが、今後置き換えられていくと思われます • このプレゼン中では Agent Observability という用語に寄せます 2

Slide 4

Slide 4 text

© 2025 estie Inc. 杉田毅博 github:sugitak, x:@sugitak06 • 2022~ 株式会社 estie 「1人目SRE」兼 EM • 2017~ 株式会社Preferred Networksコーポレートエンジニア。勝手にEmbedded SREも兼務 • 2015~ freee株式会社にてSREを名乗り始める。デプロイを 60分→7分に短縮・安定化。CSIRT立ち上げリーダー、セキュリティ開発なども担当。自称デプロイ屋さんになる • 2011~ IIJ にて Ruby PaaS 開発。ユーザコードのデプロイ部分を一人で担当。自称bundlerの専門家になる講演等 2017-07 Schoo にて Prometheus 講師 2018-02 Software Design 誌にて9ページ記事執筆 2026-07 SRE Next 講演予定 New!

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

© 2025 estie Inc. 権限整理のジレンマ • セキュリティの要件 o LLM の入出力は機微な情報であり、閲覧を制限される必要がある • 品質管理の要件 o LLM 利用機能の品質管理責任を持つ開発者は、その入出力を確認できる必要がある => お題： 10以上のプロダクト（を持つ我々は、 Datadog Agent Observability 上でどのように権限整理すればいいのか？ 15

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text