Upgrade to Pro — share decks privately, control downloads, hide ads and more …

DevOps/MLOpsに学ぶエージェントの可観測性

Avatar for Yunosuke Yamada Yunosuke Yamada
October 03, 2025
300

 DevOps/MLOpsに学ぶエージェントの可観測性

Avatar for Yunosuke Yamada

Yunosuke Yamada

October 03, 2025
Tweet

Transcript

  1. About US 会社名 株式会社スリーシェイク 設立日 2015/1/15 Mission: インフラをシンプルにして イノベーションが起こりやすい世界を作る Vision:

    労苦〈Toil〉を無くすサービスを適正な価格で提供し続ける Value: エンジニアリングレイヤーに横たわる人、手法、ツールが サイロ化されて労苦が発生しているプロセスをシンプルにし サービス機能開発に集中できるソリューション (SRE、DevSecOps、DataOps、HROps)を提供する 2015 2016 2017 2018 2019 2020 2021 2022 0 50 100 従業員: 200名over Engineer 60% 所在地 東京都中央区銀座8丁目21番1号 住友不動産汐留浜離宮ビル7F 代表者 代表取締役社長 吉田 拓真 沿革 2021年1月 JAFCOから総額5億円の資金調達 2022年8月 自動脆弱性診断ツール「Securify Scan」をリ リース。JAFCO、MUCAPから総額8.48億円の資金調達 2024年11月 NTTデータ、SCSKから10億円の資金調達及 び資本業務提携を締結 Google Cloud・AWSの両方のエンジニアリングに強みを持つ (2025年9月にGoogleCloudのAppDevスペシャライゼーションを取得) 3
  2. SREを主軸にクラウドネイティブ化/エンジニアリング内製化を支援 SRE/DevOps SecOps BizOps HR ・SRE総合支援からセキュリティ対 策を全方位支援 ・Geminiを用いた生成AIの活用支援 ・ワンストップで脆弱性診断を行う セキュリティ対策SaaS

    ・クラウド型ETL/データパイプ ラインSaaSの決定版 ・あらゆるSaaSをノーコードで連携 ・ハイスキルフリーランスエンジニ ア紹介エージェント IT内製化 / 高度化 クラウドネイティブ化 モダナイゼーション ITアジリティ向上 4
  3. モデルのドリフト 2種類ある • コンセプトドリフト:入力と出力の関係が変わる ◦ 例:不動産価格予測モデルを作ったがパンデミックで市場環境が変わってしまった • データドリフト :入力、もしくは出力の分布が変わる ◦

    例:スパム判定モデルを作ったが新しい手口が登場した ドリフト検知は構造化データに対して様々なアルゴリズムが存在 非構造化データの場合はベクトル化などで構造化データに帰着させる 13
  4. AIエージェントとオブザーバビリティ 重要なことは変わっていない • ビジネス課題を解決しているか • 機能要件、非機能要件を満たしているか • 問題が起きた場合の詳細 収集するための形式はすでに持っている •

    DevOpsにおけるログ、トレース、メトリクス 唯一異なるのは生成AIという新しいブラックボックス • しかしブラックボックスにオブザーバビリティを与えるプラクティスもすでに持っている ◦ MLOpsにおけるドリフト検知 16
  5. AIエージェントとオブザーバビリティ • 直接的な情報 ◦ ビジネスKPI:メトリクス • 間接的な情報 ◦ エージェント全体の入出力が妥当か ▪

    ドリフト検知(後述) ◦ エージェント内部の動きが妥当か ▪ ツール実行やワークフローの経路:トレース ◦ エージェントからの生成AI呼び出しが妥当か ▪ 次ページ 17
  6. 生成AI呼び出しが妥当か モデルの非決定性に対して • 推論の入出力 • 生成時間 • 生成のパラメータ • 使用トークン数

    • 課金額 を収集する必要がある 複数のベンダー、モデルを使う場合は合わせて • ベンダー • モデルID も必要 18 これらは全て生成AI固有の情報だが、 ログかスパン属性として収集可能
  7. どう収集するか • モニタリングツールに依存したくない場合 ◦ OpenLLMetryやOpenLITなどのOpenTelemetry系OSSで計装 • LangChain、LangGraphを使っている場合 ◦ LangSmith、LangfuseなどのGenAIOps系サービスを導入 •

    監視SaaSを使っている場合 ◦ そのSaaSの機能を使う • クラウドで監視をしている場合 ◦ Strands Agentsで作ってAmazon Bedrock AgentCoreにデプロイ ◦ Microsoft Agent Frameworkで作ってAzure AI Foundryにデプロイ ◦ Agent Development Kitで作ってVertex AI Agent Engineにデプロイ 20
  8. 参考 [1]: https://aws.amazon.com/jp/devops/what-is-devops/ [2]: https://azure.microsoft.com/ja-jp/resources/cloud-computing-dictionary/what-is-devops/ [3]: https://www.atlassian.com/ja/devops [4]: 『オブザーバビリティ・エンジニアリング』 [5]:

    https://newrelic.com/blog/best-practices/dora-metrics [6]: https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning?hl=ja [7]: https://aws.amazon.com/jp/what-is/mlops/ [8]: 『事例でわかるMLOps 機械学習の成果をスケールさせる処方箋』 22