Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
制約下の医療LLM Observability 〜セキュアなデータ活用と専門家による改善サイク...
Search
KAKEHASHI
PRO
October 26, 2025
Technology
880
2
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
制約下の医療LLM Observability 〜セキュアなデータ活用と専門家による改善サイクルの実現〜
https://o11ycon.jp/
Observability Conference Tokyo 2025
での登壇資料です
KAKEHASHI
PRO
October 26, 2025
Transcript
21 slides
制約下の医療LLMオブザーバビリティ 〜セキュアなデータ活用と 専門家による改善サイクルの実現〜 Observability Conference 2025 2025.10.27 株式会社カケハシ 保坂 桂佑
自己紹介 保坂 桂佑 (@free_skier) 株式会社カケハシ データサイエンティスト データ分析コンサル → リクルートでDS/MLエンジニア/EM →
カケハシ 著書『Kaggleで勝つデータ分析の技術』 (共著) LLMを活用した機能開発において、AIワークフロー の品質担保や改善を担当しています 2 / 21
3 / 21
4 / 21
5 / 21
カケハシの生成AI活用における取り組み領域 6 / 21
なぜ医療LLMのオブザーバビリティが難しいのか? 相反する2つの要求を同時に満たす必要があるため 厳格なデータ保護 個人情報保護法、医療情報ガイドラインへの準拠 マルチモーダルなデータ(音声・画像等)の保護は更に高難度 高い出力品質の要求 医療においては患者さんの健康に影響がないよう、何よりも正確性が重視される ハルシネーション(誤った回答)のリスクを低減する必要がある 継続的な監視と改善活動が不可欠 7
/ 21
本日の内容 開発運用中の医療LLMシステムにおいて、どのようにオブザーバビリティを確保したか、どのよう にドメインエキスパートとともに改善サイクルを回せるようにしたかをご紹介します。 実現したいこと どのように実現したか ドメインエキスパートによる改善サイクル 8 / 21
システム構成 本番環境 LLMアプリケーションが稼働 調査環境(セキュア) セキュアブラウザー+VPN経由でアク セス Databricksは調査分析に必要な機能 がオールインワン 秘匿性の高いデータが必要な場面で使 用
モニタリング環境(Datadog) 定期モニタリング、分析を実施 プロトタイピング環境(Dify) 隔離環境外にあるため、本番データは 直接扱えない 9 / 21
実現したいこと 医療LLMシステムにおいて、以下の3つを両立させたい データ保護 機密情報は高セキュリティ環境から出さない セキュアブラウザー経由でのみデータにアクセス LLMの挙動監視 機密性の低い情報: トレース情報として取得し、モニタリング環境で監視 機密性の高い情報: LLM出力やマルチモーダルデータを調査環境で確認
本番相当の環境での検証 本番相当の環境でプロンプト検証、ワークフロー検証ができる ドメインエキスパートが自律的に改善サイクルを回せる 10 / 21
実現方法 以下の3つの機能を通じて実現 トレース情報の取得、連携 セキュア環境へのデータ連携 本番相当の環境でのワークフロー検証 11 / 21
トレース情報の取得、連携 LLMフレームワークに依存しない、自前の トレース情報収集 自前でトレース情報を構築して出力する仕 組みを実装 機密性の低い情報(レスポンスタイム、ト ークン数等)を収集 12 / 21
トレース情報の取得、連携(詳細) 13 / 21
セキュア環境へのデータ連 携 本番DBに影響を与えず、セキュアにデータ を連携 注意すべき点 本番DBに影響が出ない形でデータ連携 コストを意識 14 / 21
セキュア環境へのデータ連 携(詳細) DatabricksのLakehouse Federationを 使用 Databricksの権限管理の元で本番環境のDB にアクセスできる仕組み ホットスタンバイの利用により本番影響を 回避 夜間バッチで前日までのデータを同期
15 / 21
本番相当の環境でのワーク フロー検証 Difyはグラフィカルな画面でプロンプト・ ワークフローを構築できる しかし、Difyは隔離環境の外にあるた め、データを入れられない 本番環境とは挙動を厳密に一致させるこ とができない 最終的には本番環境相当のワークフロー で検証を行いたい
16 / 21
本番相当の環境でのワーク フロー検証(詳細) Databricksから本番環境のワークフロ ー実行APIをコールできるように AWS VPC Endpoint + Private Linkに
より実現 スループット制限をかけて本番環境に影 響が出ないように 17 / 21
ドメインエキスパートによる改善サイクル セキュリティを確保しつつ、生成AIサービス提供において必要な情報が参照できるように Dify, Databricks環境を使い分けつつ、エンジニア・ドメインエキスパートが協力して改善を実 施 18 / 21
課題と今後の展望 精度劣化の自動検知・アラート プロトタイピング環境と本番Workflowの乖離を減らしたい 19 / 21
まとめ 医療LLMのオブザーバビリティは難しい 厳格なデータ保護 高い出力品質の要求 データを保護しつつ、LLMの挙動監視と本番相当の環境での検証を実現したい 以下の3つの機能を通じて実現 トレース情報の取得、連携 セキュア環境へのデータ連携 本番相当の環境でのワークフロー検証 エンジニア・ドメインエキスパートが協力して改善を実施できるようになった
20 / 21
21 / 21
More Decks by KAKEHASHI
See All by KAKEHASHI
Claudeのコストを見える化して、自動で守る
kakehashi
PRO
2
120
生成AI時代、PMは事業責任者に進化するともっと面白い〜PMだからこそ事業構造を動かせる時代に〜
kakehashi
PRO
1
1.3k
SharedWorkerを使ったキャッシュでネイティブアプリに負けないユーザー体験を目指す
kakehashi
PRO
1
1k
Honoが叶える!いつでも降りられるLambdalith
kakehashi
PRO
2
330
分析の民主化を支えるメタデータ整備の実践
kakehashi
PRO
5
1.9k
薬剤師(ドメインエキスパート)と一緒に育てる薬局向けAIアシスタント
kakehashi
PRO
2
340
デザイナーとPdMが自分でデプロイする ― Amplify Hosting の PR プレビューで回す仮説検証
kakehashi
PRO
2
280
人を動かすのは時間ではなく、納得感 〜新任EMが入社3ヶ月、組織を2回変えた話〜
kakehashi
PRO
3
760
クラウド上のデータ復旧で見落としがちな制約: 医療系 SaaS の BCP 設計から得た教訓
kakehashi
PRO
0
6.1k
Other Decks in Technology
See All in Technology
信頼性を犠牲にせず、PR マージからデプロイまで人の介入を完全にゼロにするまでの道のり
knwoop
4
2.1k
成長するID管理基盤における運用もコストも犠牲にしないオブザーバビリティ向上の実践 / Improving Observability for a Growing Identity Platform Without Adding Operational Burden or Cost
kaminashi
1
130
さようならSSH鍵、こんにちはゼロトラスト ― AIフレンドリーで快適な自宅鯖SSH
atalie2m
14
7.5k
Welcome JXL!
dynamis
0
120
AWS re:Invent 2026 FSI Pre-Event Networking Night
junjikoide
0
200
ワークフローからハーネスへ — Web フレームワークの作者たちが AI エージェントに向かう理由
azukiazusa1
2
940
AI-Ready なデータ基盤ってなに? & 新卒未経験が、いま考えていること
imuta
0
1.1k
Is the Website Dying?
miriamschwab
0
160
OpenTelemetryで変わった 新時代のCloudWatchメトリクス監視
tsukuboshi
0
500
共通基盤の実装に Kotlin - Quarkus を選定した理由と採用したアーキテクチャ
nealle
1
160
常時稼働エージェントの作り方(Claude公式ブログを資料化)
minorun365
PRO
20
29k
Amazon Bedrock AgentCore の基礎とセキュリティ・ガバナンス
ren8k
0
270
Featured
See All Featured
<Decoding/> the Language of Devs - We Love SEO 2024
nikkihalliwell
1
380
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
27k
How to Grow Your eCommerce with AI & Automation
katarinadahlin
PRO
2
360
Building Adaptive Systems
keathley
44
3.3k
Docker and Python
trallard
47
4.3k
Leadership Guide Workshop - DevTernity 2021
reverentgeek
1
440
[SF Ruby Conf 2025] Rails X
palkan
3
1.6k
Leo the Paperboy
mayatellez
11
2.5k
Speed Design
sergeychernyshev
33
2.3k
State of Search Keynote: SEO is Dead Long Live SEO
ryanjones
0
360
Self-Hosted WebAssembly Runtime for Runtime-Neutral Checkpoint/Restore in Edge–Cloud Continuum
chikuwait
0
970
Highjacked: Video Game Concept Design
rkendrick25
PRO
2
590