新しい対話ユースケースの作り方 | 三田データ vol.04 2026/04/23

三田データ vol.4 音声 AI 祭り（ https://mita-data.connpass.com/event/385291/ ）にて登壇したときに投影した資料です。

採用リンクはこちらから。
https://ivry-jp.notion.site/.

Transcript

1. 新しい対話ユースケースの作り⽅ 不確実な AI 対話を制御し、プロダクションにいれるまでのポイント 2026/04/23
2. ⾃⼰紹介 2 株式会社 IVRy / AI エンジニア 電話応答体験における AI を活⽤した改善 前職：AWS  スタートアップ向けの技術⽀援 尾原 颯 AI Engineer https://www.amazon.co.jp/dp/4296205234 https://www.amazon.co.jp/dp/4798186422 𝕏: @soh_ohara
3. 3 今⽇持ち帰っていただきたいこと AI をつかった対話ユースケースを 作る時のポイントや勘所
4. 4 新しい対話ユースケースでの難しさ 所認識の例 住所の構成は複雑: 郵便番号 + 都道府県... 番地 + 建物名 … 単純に解こうとすると。。。 約 90% 郵便番号 X 約 65% 都道府県〜番地 X 約 30% 建物名 = 約 18%
5. 5 Point 1 ミニマム E2E 検証と⾼速イテレーション 「とにかく早く End-to-End で動かせるようにして、        改善を早く回せるようにする」
6. 6 IVRy での実践 • 1 週間で End-to-End （E2E）のプロトタイプ構築 • 社外 30 名以上を巻き込んだ実証テストを実施 • テストは累計 2 回実施
7. 7 検証で⾒えた課題 • ユーザーが想定外の発話をする   「番地までお話しください」→ 「...3-5-19 友不動産東京三⽥タワー...」   「建物名をお話しください」→「ヒルズグランデ 101」 • 郵便番号の数字の聞き取りが想定よりも い • 参照 所 DB との不⼀致によりヒアリングが完了しない • 所を読み間違える（ユーザーがうまく認識できてないと勘違い） ◦ 沖縄県宮古島市平良久⾙ → ⭕ ヒララクガイ ◦              ❌ ヘイラクガイ
8. 8 Point 2 エッジケースは極⼒気にしない 「解かないものを決める」 • 初期スコープから除外したケース ◦ 郵便番号から 所が複数ヒットするケース ◦ ユーザーが郵便番号を「わからない」と話したケース
9. 9 Point 3 ボトルネックの特定と完了率の向上 「タスク完了率の最⼤化につながるボトルネックから解く」 ビジネス活⽤におけるタスク指向型対話で重要な指標 ※数値イメージ
10. 10 優先的に解くべきだったポイント • 参照 DB との不⼀致 • 所の読み間違え 読み上げを間違えるとユーザーからは正しく認識されたと   思わないため、タスクが完了しない 電話をかけた⽅にとっての対話体験も⼤事にする タスク完了率を優先して体験を棄損することはしない もちろん。。。
11. 11 評価基盤の構築による精度の裏付け 1 ⾃動架電テストシステムによる守り • E2E ⾃動テストにより、最 限のシナリオで デグレがないかを保証 2 オフライン評価データセットによる攻め • 実検証から得られたデータをもとにデータセット構築 • 改修のときにオンデマンドで精度評価を実施 「ミニマムの保証」と「精度の上積み」の両⽴
12. 12 まとめ ⾳声 AI 対話ユースケースも⼀筋縄では開発できない 1. 完璧な設計よりも最速で E2E 検証を回す 2. 「解かないもの」を決めて、メインから解く 3. 「守り（E2E テスト）」と「攻め（オフライン評価）」の 基盤を揃える →「解く順番」と「評価する仕組み」の設計が重要
13. 13 We are Hiring!