Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
LLM Observabilityによる 対話型音声AIアプリケーションの安定運用
Search
Hiroyuki Moriya
January 16, 2026
Programming
600
2
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
LLM Observabilityによる 対話型音声AIアプリケーションの安定運用
Hiroyuki Moriya
January 16, 2026
Transcript
47 slides
~ LLMプロダクトの信頼性を上げるには? ~ LLM Observabilityによる 対話型⾳声AIアプリケーションの安定運⽤ 2026/01/16 Hiroyuki Moriya
LLMを組み込むと、最⾼のプロダクトが作れる! 2
LLMを組み込むと、最⾼のプロダクトが作れる! 3
LLMプロダクトを 安定的にプロダクション運⽤するには? 4
5 LLMプロダクトの開発 LLM APIの監視・運用 Hiroyuki Moriya (X: @Yamori_ds) AI engineer
/ SRE ⾃⼰紹介
6 1. IVRyについて 2. プロダクトの課題 3. 解決策 4. まとめ アジェンダ
IVRyについて 7
confidential 会社紹介 8 会社名 代表取締役 事業内容 住所 資本⾦等 設⽴年⽉ 株式会社IVRy(アイブリー)
奥⻄ 亮賀(Ryoga Okunishi) クラウド型AI電話SaaS(アイブリー)の運営 〒108-0073東京都港区三⽥三丁⽬5-19 住友不動産東京三⽥ガーデンタワー10F 46.1億円(準備⾦含む) 2019年3⽉
9 電話⾃動応答サービス
10 システムアーキテクチャ
11 システムアーキテクチャ
12 システムアーキテクチャ
IVRyの技術スタック 13
電話は今でも最重要連絡⼿段 14
15 あらゆる業種‧企業規模のお客様に導⼊
Medical appointments Restaurant reservations Hotel bookings FAQ inquiries 様々なユースケースに対応している 16
17 1. IVRyについて 2. プロダクトの課題 3. 解決策 4. まとめ アジェンダ
ハルシネーションの 抑制 Challenge #1 会話速度の安定化 Challenge #2 LLM APIを本番運⽤する難しさ 18
耐障害性能の確保 Challenge #3
ハルシネーションの抑制 19
20 LLMはハルシネーションする Problem
困難は分割せよ 21 Solution
AI workflowによる実装 22 1つのタスクを複数のLLM componentで分割して処理する → validation‧error分析が⾏えるようになり、安定した結果を出⼒できる
23 AI workflowの⼀例
24 Output has changed LLM APIのアウトプットが 変動することがある
確認を怠らない 25 Solution
26 1. Test cases 2. Run consistency tests 3. Notify
/ record results LLM APIのアウトプットの⼀貫性を 定期的に監視する
⾃動 電話 e2e test 27
28
29
30
31 Merge code Deploy latest code Execute automated phone E2E
tests Monitor on Datadog LLM Observability 電話 e2e testをコードマージ時に 実⾏させる
32 Datadog LLM Observability による監視
会話速度の安定化 33
会話速度の不安定化は、ユーザー体験を損ねる 34 Problem
完璧を求めない 35 Solution
36 Fast, stable, and cheap Slower, more $$$ Stability &
performance > latest models 自分たちのユースケースに合っ たモデル選定をする。
システム監視を怠らない 37 Solution
38 Datadog Inferred Servicesによる 外部通信の監視
39 Inferred serviceを通して、多くのmetricsを監視できる
耐障害性能の確保 40
システム障害は多くの影響を引き起こす 41 Problem
LLM APIは不安定である 42 LLM API Status in one day
最悪の事態に備える 43 Solution
44 複数のLLM APIを利用して、 fallbackシステムを実装する LLM fallback strategy
45 緊急時の 電話転送機能
困難は分割せよ / 確認を怠らない 01 ハルシネーションの抑制 完璧を求めない / システム監視を怠らない 02 会話を自然な速度にするために
最悪の事態に備える 03 障害への対策 まとめ: LLMをプロダクト 運⽤するために 46
47 We are Hiring!
More Decks by Hiroyuki Moriya
See All by Hiroyuki Moriya
クライアントの声を聞け
gekko0114
0
54
少人数プロダクト開発において SRE業務を増やさない工夫
gekko0114
0
1.1k
音声データ解析パイプラインの Software Engineering / Context Engineering
gekko0114
0
360
IVRyエンジニア忘年LT大会2024 LLM監視の最前線
gekko0114
1
450
kueueに新しいPriorityClassを足した話
gekko0114
0
850
JobSet超入門
gekko0114
1
1.2k
Other Decks in Programming
See All in Programming
조합이폭발하는디자인시스템이걸눈으로도테스트하라고요
giljongyu
0
780
AWS CDKを理解するために公式の定義を深掘って解説してみる / Understanding AWS CDK by Digging into Its Official Definition
akihisaikeda
3
320
オーケストレーション記述言語 Katari
yukikurage
0
270
Getting Started with Vibe Coding
miccheng
0
240
Augmenting AI with the Power of Jakarta EE
ivargrimstad
0
390
複数ドメインを一つのアプリに統合するFlutterの設計と運用_FlutterKaigi2026登壇資料(須永高弘)
takahirosunaga
0
200
仕様駆動開発入門 (何を作るかを先に決めて渡す) | 目指せ Kiro マスター 05
inariku
PRO
2
210
あなたの await、OS まで届いてる? strace で覗く JavaScript の非同期
hasutosasaki
1
2.4k
ローカルLLMの基本と近況 2611 / Local LLM basics and recent situation 2611
kishida
3
620
学びを記事・スライド・Xへ高速展開する― AI-assisted Learning Loopで回すコンテンツ生成術
ochtum
0
220
Distance field of Julia set
kinakomoti321
0
330
Debian JP Projectのサーバー構成
uwabami
1
150
Featured
See All Featured
GraphQLの誤解/rethinking-graphql
sonatard
75
12k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
1.1k
Designing Powerful Visuals for Engaging Learning
tmiket
1
660
Optimising Largest Contentful Paint
csswizardry
37
4k
Leveraging LLMs for student feedback in introductory data science courses - posit::conf(2025)
minecr
1
480
Visualization
eitanlees
153
17k
Code Review Best Practice
trishagee
74
20k
How to Grow Your eCommerce with AI & Automation
katarinadahlin
PRO
2
350
How to Ace a Technical Interview
jacobian
280
24k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
32
3.1k
What’s in a name? Adding method to the madness
productmarketing
PRO
24
4.2k
Thoughts on Productivity
jonyablonski
76
5.5k