Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
音声AIエージェント開発とプロダクトエンジニアチームの挑戦
Search
RightTouch
PRO
September 21, 2025
3
47
音声AIエージェント開発とプロダクトエンジニアチームの挑戦
プロダクトヒストリーカンファレンス2025 発表資料
RightTouch
PRO
September 21, 2025
Tweet
Share
More Decks by RightTouch
See All by RightTouch
RightTouch_mind
righttouch
PRO
2
4.1k
プロダクト志向ってなんなんだろうね
righttouch
PRO
0
610
RightTouch Company Deck ver1.1
righttouch
PRO
5
24k
小規模組織のプロダクトエンジニアとして、アンラーニングしたこと
righttouch
PRO
4
880
複雑性の高いオブジェクト編集に向き合う: プラガブルなReactフォーム設計
righttouch
PRO
6
720
3rd party scriptでもReactを使いたい! Preact + Reactのハイブリッド開発
righttouch
PRO
5
1.2k
カスタマーサポート市場の改革に挑む 急成長中のプロダクトエンジニアチームの挑戦と舞台裏
righttouch
PRO
5
590
Webカスタマーサポート向けSaaSにおけるLLMの活用
righttouch
PRO
5
1.4k
機能リプレースで進化する: フロントエンドの刷新とサーバーモデルのリファクタリング
righttouch
PRO
4
560
Featured
See All Featured
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
3k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
140
34k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
9
840
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
657
61k
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
The World Runs on Bad Software
bkeepers
PRO
71
11k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
114
20k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
Context Engineering - Making Every Token Count
addyosmani
3
140
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3.1k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Transcript
株式会社RightTouch 齋藤成之 音声AIエージェント開発と プロダクトエンジニアチームの挑戦
© 2024 RightTouch Inc. | Confidential 2 自己紹介 2020 東京大学理学系研究科博士課程修了
2020-2021 日立製作所 2021-2024 株式会社プレイド 2021-現在 株式会社RightTouch 大学院でレーザー物理の研究後、日立製作所で ITプラットフォームの 設計・開発に従事。 その後、プレイド/RightTouchで、テックリード/フルスタックエンジニア としてアプリケーション開発に従事。 齋藤 成之 X: @nakaakist
© 2024 RightTouch Inc. | Confidential アジェンダ 3 会社紹介・プロダクト紹介
「大企業の顧客接点で持続的に運用できる」 AIプロダクトの難しさ 「動くもの」と「評価」中心に探索から運用まで行う AI機能開発プロセス
4 株式会社RightTouch 設⽴:2021年12⽉ 従業員:55名(2025年4⽉時点) 2020年9⽉ 2021年1⽉ 2021年12⽉ 2022年3⽉ 2023年10⽉ 2023年10⽉
2024年1⽉ 2024年10⽉ 2024年11⽉ 2024年12⽉ 2025年4⽉ 次世代Customer Supportの実証実験を複数顧客と開始 設⽴準備室を⽴ち上げ 株式会社RightTouchを創業 Webサポートプラットフォーム 「KARTE RightSupport(β)をリリース Webと電話をつなぎ、全く新しい問い合わせ体験を作る 2ndプロダクト「RightConnect by KARTE(β)」をリリース 「RightSupport by KARTE」正式版を提供開始 ベストベンチャー100に初選出 ⽣成AI基盤「Right Intelligence」を発表 新プロダクト「RightVoicebot by KARTE(β)」をリリース 新プロダクト「RightVoC by KARTE(β)」をリリース シリーズAラウンドで8億円の資⾦調達を発表 沿⾰
© 2024 RightTouch Inc. | Confidential 5 カスタマーサポートについて マーケット規模、関わる人数共に非常に大きく (その多くが大企業)、インパクトが生まれやすい領域。
© 2024 RightTouch Inc. | Confidential 事業内容:カスタマーサポートプラットフォーム 6
© 2024 RightTouch Inc. | Confidential 7 今回テーマとなるプロダクト : RightVoicebot 自己解決不可 OP接続希望
CRMデータと突合し 顧客情報の特定 顧客に合った内容を パーソナライズ エンドユーザーからの電話問い合わせに AI (エージェント )が自動応対 課題を深掘りしながら RAGで自動回答 本人認証 困りごと ヒアリング 自己解決可能な問い合わせの回答 人のオペレータへの転送 用件振り分け 発話内容に応じて 適切に振り分け
© 2024 RightTouch Inc. | Confidential 8 今回テーマとなるプロダクト : RightVoicebot エージェントとの対話の様子 (チャットUI状に表示していますが、実際は音声でやり取りが行われます
) LLMが自律的に 質問を生成し、 問題を絞り込み
© 2024 RightTouch Inc. | Confidential 9 RightVoicebotの運用状況 複数の大手企業さま で、自律的な AI応対を含むボイスボットを本番運用
© 2024 RightTouch Inc. | Confidential アジェンダ 1 0 会社紹介・プロダクト紹介
「大企業の顧客接点で持続的に運用できる」 AIプロダクトの難しさ 「動くもの」と「評価」中心に探索から運用まで行う AI機能開発プロセス
© 2024 RightTouch Inc. | Confidential 1 1 「大企業の顧客接点で持続的に使える」 AIプロダクトの難しさ 大企業の電話
顧客接点で使うAI 持続的な運用 プロダクトのインパクト最大化のためには、「とにかく AIで自動化する電話数を増やす」ことが必要。 そのため、大企業の顧客接点で、持続的に運用範囲を拡大することを目指している が、ハードルも高い ミッションクリティカル性が高く、サービス全体の信頼性が必要 ハルシネーションリスクに対する厳しさ、正確性の要求の高さ 「作って終わり」でなく継続的な PDCAによる精度改善の仕組みが必要
© 2024 RightTouch Inc. | Confidential 1 2 「大企業の顧客接点で持続的に使える」 AIプロダクトの難しさ そのために、
AIエージェントそのものはもちろん、周辺領域まで含めた全体設計の最適化が重要 AIエージェント 精度評価システム ガードレール設計 ナレッジ管理 過去応対分析 インフラ冗長化 モニタリング サクセス体制 ルールベース応対
© 2024 RightTouch Inc. | Confidential 正確性/持続的な運用のために : 改善PDCAを回しやすくするための精度評価 (=Eval)の自動化システム 1
3 • 現在のAIエージェントに対して、エンドユーザー の挙動を模した 「テストエージェント」 が仮想的な 会話を行い、定められた完了条件をクリアする かをバッチでテストするシステム。 • これにより、定量データに基づいた、エージェン ト設定の精度改善 PDCAが圧倒的に回しやすく なる
© 2024 RightTouch Inc. | Confidential 1 4 持続的な運用のために : 企業ナレッジ /過去応対データ
(VoC)によるコンテキストを第一に考える エージェントの精度 モデルの性能 指示のうまさ コンテキスト x x = 良いモデルは広く使える 非常に重要だが、ここを顧客ごとにカスタマ イズ・改善していくのは 職人芸の領域 とな り、持続的でない 人も読める /管理できる企業ナレッジや、過去応対 からの示唆出しをプロダクトとして整備 し、コンテキ ストとして投入可能にすることで、 持続的に精度が 改善していくエージェントが実現可能
© 2024 RightTouch Inc. | Confidential 1 5 ミッションクリティカル性の担保のために : 堅牢なインフラ構築とモニタリング
• 「LLMフォールバック」の仕組みの導入。 仮にデフォルトの LLMモデルが落ちて も、即座に代替の LLMモデルに切り替え て応対を継続 • 自動架電 /自動対話による電話の E2Eテ ストの導入。一定時間ごとに、ボイスボッ トに実際に架電を行い、正しくボットが応 答するかを外形監視 ボイスボットサー バ E2Eテスト サーバ 一定時間ごとに自動架電、 結果をモニタリングシステムに連携
© 2024 RightTouch Inc. | Confidential アジェンダ 1 6 会社紹介・プロダクト紹介
「大企業の顧客接点で持続的に運用できる」 AIプロダクトの難しさ 「動くもの」と「評価」中心に探索から運用まで行う AI機能開発プロセス
© 2024 RightTouch Inc. | Confidential 1 7 開発プロセス : ディスカバリーからデリバリーまで、動くもの x
評価でコンテキストを揃える 顧客ニーズ探索 設計・開発 デリバリー 営業資料のみ 仕様書のみ 設定して動作確認 営業資料 デモプロトタイプ 開発評価指標 設計プロトタイプ feature flag付リリース 評価指標 自動テスト機能 開発プロセスの全体で、ドキュメントよりも動くものと評価指標をベースに顧客 /Biz/Devメンバーが 会話、エンジニアがフル参画し、高速で開発を進める BizDev PdE AIE BizDev PdE AIE CS PdE AIE CS
© 2024 RightTouch Inc. | Confidential 1 8 なぜ動くものと Evalを重視するのか? : 非機能要件の認識のズレを最小化する
顧客 開発チーム デモ 評価結果 顧客・開発チーム間での 期待値のイメージすり合わせ BizDev AI Engineer 設計プロト 評価結果 チーム内での 精度目標ギャップの解消 そもそも LLMは出力が不安定。 特に音声エージェントは、 機能的な UI/UXの幅が限られている ため、 精度・レイテンシ・自然な音声・安定性 といった非機能要件が論点の多くを占める場合が多い。 この場合、 実際の技術を反映した 動くものと評価指標を元に会話するのが一番ずれず、手戻りが少ない
© 2024 RightTouch Inc. | Confidential 顧客ニーズ特定 : difyその他簡易プロトによるデモベースでの顧客ニーズ探索 1 9
• プロダクト初期段階の探索の例 • エンジニアが BizDevからのニーズ可能 性を元に difyによるプロトエージェントを 作成 • BizDevと一緒に顧客に当てる、を 1週間 スパンで繰り返し、バーニングニーズと、 非機能要件に対する顧客の期待値を探 る
© 2024 RightTouch Inc. | Confidential 開発: 定量的/定性的な精度評価を組み込んだエージェント設計と開発 2 0 •
エージェント機能設計では、 bizdev/engineer が実顧客のデータを元に、 エージェントがクリア すべき精度の「テストケース」、付随するレイテン シ要件などを合意 • AI engineerが実プロトを作りつつ設計・チュー ニング、 内製の自動評価ツールで精度評価 • 完成次第、可能な限り早く feature flagで本番 リリース。 biz/devメンバー両方が参加する「ぽ ちぽち会」で実際に機能を触る会を繰り返し開 催、本番運用を見据えた定性的な評価によりブ ラッシュアップ
© 2024 RightTouch Inc. | Confidential デリバリー : リリース後の定量的な評価 2 1
• 機能デリバリー後、顧客とカスタマーサクセス は、前述の 精度自動評価システム を使い、定量 データで精度を取得。 • 場合によってはエンジニアがこのテスト結果を参 照し、プロダクトそのものの改善を行う
© 2024 RightTouch Inc. | Confidential チーム体制 : 専門性を持ちつつ、越境を是として補い合う少数精鋭チームによる開発 2 2
開発プロセス全般において、 高い顧客解像度 /技術解像度が同時に要求される。 そのため、各役割が職能に縛られず越境し合い、共通理解を持って開発を行っている。 BizDev/Success AI Engineer Product Engineer 高い顧客解像度 高い技術解像度 • ビジネスモデル /戦 略設計 • 機能/非機能要件の 定義 • 顧客へのプロダクト 導入 • アプリケーション開 発 • 機能/非機能要件の 定義 • AIアーキテクチャ設 計 • 機能/非機能要件の 定義 • LLMチューニング
© 2024 RightTouch Inc. | Confidential まとめ 2 3 • 音声AIエージェントを含む RightVoicebotを、大企業の顧客接点で継続的に運用する難しさと、
AI エージェント以外の部分でそこに取り組む施策の一部をご紹介 • 特に非機能要件が重要になる AIエージェント開発において有用な開発パターンとして、「動くもの」 (=プ ロトタイプ /実機能)と、「評価」 (=定性/定量の評価指標と計測 )でコンテキストを揃える例をご紹介 今後類似のプロダクト作りに取り組む方にとってご参考になれば幸いです
24