Upgrade to Pro — share decks privately, control downloads, hide ads and more …

新しい対話ユースケースの作り方 | 三田データ vol.04 2026/04/23

Sponsored · Ship Features Fearlessly Turn features on and off without deploys. Used by thousands of Ruby developers.

新しい対話ユースケースの作り方 | 三田データ vol.04 2026/04/23

三田データ vol.4 音声 AI 祭り( https://mita-data.connpass.com/event/385291/ )にて登壇したときに投影した資料です。

採用リンクはこちらから。
https://ivry-jp.notion.site/.

Avatar for Soh Ohara

Soh Ohara

April 23, 2026

More Decks by Soh Ohara

Other Decks in Technology

Transcript

  1. ⾃⼰紹介 2 株式会社 IVRy / AI エンジニア 電話応答体験における AI を活⽤した改善

    前職:AWS  スタートアップ向けの技術⽀援 尾原 颯 AI Engineer https://www.amazon.co.jp/dp/4296205234 https://www.amazon.co.jp/dp/4798186422 𝕏: @soh_ohara
  2. 4 新しい対話ユースケースでの難しさ 所認識の例 住所の構成は複雑: 郵便番号 + 都道府県... 番地 + 建物名

    … 単純に解こうとすると。。。 約 90% 郵便番号 X 約 65% 都道府県〜番地 X 約 30% 建物名 = 約 18%
  3. 6 IVRy での実践 • 1 週間で End-to-End (E2E)のプロトタイプ構築 • 社外

    30 名以上を巻き込んだ実証テストを実施 • テストは累計 2 回実施
  4. 7 検証で⾒えた課題 • ユーザーが想定外の発話をする   「番地までお話しください」→ 「...3-5-19 友不動産東京三⽥タワー...」   「建物名をお話しください」→「ヒルズグランデ 101」 •

    郵便番号の数字の聞き取りが想定よりも い • 参照 所 DB との不⼀致によりヒアリングが完了しない • 所を読み間違える(ユーザーがうまく認識できてないと勘違い) ◦ 沖縄県宮古島市平良久⾙ → ⭕ ヒララクガイ ◦              ❌ ヘイラクガイ
  5. 10 優先的に解くべきだったポイント • 参照 DB との不⼀致 • 所の読み間違え 読み上げを間違えるとユーザーからは正しく認識されたと  

    思わないため、タスクが完了しない 電話をかけた⽅にとっての対話体験も⼤事にする タスク完了率を優先して体験を棄損することはしない もちろん。。。
  6. 11 評価基盤の構築による精度の裏付け 1 ⾃動架電テストシステムによる守り • E2E ⾃動テストにより、最 限のシナリオで デグレがないかを保証 2

    オフライン評価データセットによる攻め • 実検証から得られたデータをもとにデータセット構築 • 改修のときにオンデマンドで精度評価を実施 「ミニマムの保証」と「精度の上積み」の両⽴
  7. 12 まとめ ⾳声 AI 対話ユースケースも⼀筋縄では開発できない 1. 完璧な設計よりも最速で E2E 検証を回す 2.

    「解かないもの」を決めて、メインから解く 3. 「守り(E2E テスト)」と「攻め(オフライン評価)」の 基盤を揃える →「解く順番」と「評価する仕組み」の設計が重要