【Gen-AX】20260115開催_マルチモーダルAI技術勉強会TL会登壇_CTO 木田

2026.01.15に開催された、マルチモーダルAI技術勉強会TL会のGen-AX株式会社の登壇資料です。

Transcript

1. マルチモーダルLLMを使った コールセンターのオペレータ業務自動化
2. 2 自己紹介 木田 祐介 / Yusuke Kida Gen-AX CTO 複数の企業にて計20年近く音声技術の研究開発に 従事。多数のトップカンファレンス論文採択実績を持ち ながら、音声検索やスマートスピーカーなどのプロダクト を通した技術の社会実装にも取り組んでいる。 現在はソフトバンク子会社であるGen-AXにてエンジニ ア組織のマネジメントを行いながら、生成AI技術を活用 したプロダクトの開発をリードしている。
3. 3 Gen-AXの紹介 自律思考型の企業向けAIエージェントを開発しているソフトバンク傘下の会社 主にコールセンター業界を対象にプロダクトとコンサルサービスを提供 生成AI照会業務支援プロダクト 問い合わデータ化、蓄積し オペレーティングを効率化 従業員満足度の向上 業務効率化（利益貢献） OPERATOR AI DATA BASE 自律思考型AIの音声応対 ソリューション ユーザーに適した 回答を自律思考型AIが音声で対応 顧客満足度の向上 売上貢献 CUSTOMER AI AI OPRERATING BPR （業務改革） 組織 設計 生成 AI Readyな KPI設計 ロードマップ の策定 業務刷新 の戦略 データモデル の設計 CLIENT CONSULTING コンサルとしての AI
4. 4 コールセンター業界の課題 離職率の高さ カスハラ 業務の複雑化 （オムニチャネル対応 等） 人件費高騰 既存の解決策 → 定型的な業務を自動化する「ボイスボット」 ・簡単なパターンマッチングのため、複雑な業務や例外に対応できない ・要件の振り分けしかできず、要件の処理は人間に依頼 → 効果は限定的
5. 5 Chained ボイスボットの構成 音声認識 予約お願いします LLM ご希望の日時を教えてください 音声合成 遅延大 誤りが 伝搬 情報が 欠損
6. 6 Speech-to-Speech Model Speech-to-Speech S2S Chained 音声認識 LLM 音声合成 誤りが 伝搬 情報が 欠損 予約お願いします ご希望の日時を教えてください 遅延大 テキストの入出力 も可能なマルチ モーダルモデル
7. 7 自律思考型の音声応対ソリューション「X-Ghost」 OpenAIの gpt-realtimeを 活用 既に大手金融機関 に本番導入済
8. 8 デモ ・対話の様子のデモ https://www.youtube.com/watch?v=n3IRzuNKWCE ・人間のオペレータにエスカレーションするデモ https://www.youtube.com/watch?v=bZ8McIkrYdg ・ プ ロ ン プ ト シ ー ル ド の デ モ https://www.youtube.com/watch?v=JhemWgtT91g ・プロンプトシールドのデモ https://www.youtube.com/watch?v=JhemWgtT91g
9. 9 システム構成 音声認識 事前に業務内容 をプロンプトで付与 CRM / 顧客基幹システムなど 業務内容を書いた プロンプトを読み込み ガードレール
10. 10 課題 • gpt-realtimeは最先端（シングルモーダル）LLMより能力が劣る • 日本語の読み間違え多数。日本の知識も限定的。制御も難しい・・ • できることを増やしたい • 例えば、住所を正確に特定するのも意外と難しい • 業務内容をプロンプトに起こすのが大変 • 顧客とオペレータのコールログやマニュアルから業務フロー（構造）を取り出す技術 • 現在は細かく手順を記載 → 目的だけを与えて自律的に判断させる仕組みへ • 使っているうちに賢くしたい • 評価基準（メトリクス）を改善するために業務手順（プロンプトやナレッジ）を 自動更新する技術 これらの課題に取り組むリサーチエンジニアを募集しております！ 共同研究やイベントのお誘いなども大歓迎です
11. 11 EOP