LLMを用いた対話システムサービスをどうやって立ち 上げていくか？ ©ROXX, Inc. ALL RIGHTS RESERVED. 1 / 20

自己紹介 kotamat 株式会社ROXX CTO 2022年末くらいからLLM使ってる 10個くらいLLMを使ったアプリを作 り、そのうち2つは実際のユーザがつ いてる ©ROXX, Inc. ALL RIGHTS RESERVED. 2 / 20

©ROXX, Inc. ALL RIGHTS RESERVED. 3 / 20

今日話したいこと 対話システムをこれから立ち上げる際に気をつけること 対話システムごとの体験の差分 不確実性を解消する技術 ©ROXX, Inc. ALL RIGHTS RESERVED. 4 / 20

LLMによるプロダクトは大半はLLM以外の要素による チャット形式のUIがベストとは限らない 音声や動画などマルチモーダルな体験となると構成する技術要素も異なる まずはどういう対話システムが課題解決に必要かを考える ©ROXX, Inc. ALL RIGHTS RESERVED. 5 / 20

対話システムの体験ごとに期待されることの差分 ©ROXX, Inc. ALL RIGHTS RESERVED. 6 / 20

チャット形式 非同期であることが前提になってい るのでそこそこの時間待機可能 文字入力を前提としているので、UI 上のキーボードの専用領域が多くな る 入力ハードルがある 途中から人間が入ってきても大丈夫 ©ROXX, Inc. ALL RIGHTS RESERVED. 7 / 20

オンライン面談形式 自分と相手（AI）が同時に写ってい る体験 音声で対話しながら、映像情報も同 時に体験させられる。 チャットほどは待機時間を確保でき ないものの、AIが考え中みたいな映 像を流すことによって多少待機をさ せることもできる。 AIが応答していることが前提の体験 となる ©ROXX, Inc. ALL RIGHTS RESERVED. 8 / 20

オンライン面談形式 これに関してもやり方が2通り ターン制 ボタンを押下することで自分のター ンを終了宣言できる 終話判定がユーザが明示することで 話し切る事ができる シームレス 終話判定したら自動的に相手のター ンになる 割り込むような体験はできるが、話 しきれない不満が出ることもある ©ROXX, Inc. ALL RIGHTS RESERVED. 9 / 20

電話形式 音声のみにロックイン。 文字入力が面倒だが、顔出ししたく ないケース 遅延が致命的な体験となる。 ©ROXX, Inc. ALL RIGHTS RESERVED. 10 / 20

その対話システムは何を解決したいか？ チャット形式 一定思考し、ある程度正確な情報をユーザに出させたい カスタマーサポート 教育・学習 オンライン面談形式 ユーザの話している姿を録画して活用したい カウンセリング 面接 電話形式 細やかなインタラクションが必要ではあるが視覚的なプライバシーは不要 予約・手配 ヘルプデスク ©ROXX, Inc. ALL RIGHTS RESERVED. 11 / 20

不確実性への対応 ©ROXX, Inc. ALL RIGHTS RESERVED. 12 / 20

対話システムの方針が本当にユーザが求めるものとは限らない。 様々な不確実性がある中で、プロダクト化できるレベルまで不確実性を下げなければ 絵に描いた餅となる ©ROXX, Inc. ALL RIGHTS RESERVED. 13 / 20

LLMプロダクトの不確実性 LLMに限らず通常のプロダクトマネジメントにおいて様々な不確実性がある 技術的不確実性 ビジネス的不確実性 ユーザーの不確実性 更にLLMには以下の不確実性がある データの不確実性 モデルの不確実性 ©ROXX, Inc. ALL RIGHTS RESERVED. 14 / 20

プロダクションレベルまで不確実性を減らすには ©ROXX, Inc. ALL RIGHTS RESERVED. 15 / 20

コア価値以外のところの無駄をなるべく排除する 可用性の高いインフラ → すぐに立ち上げられるインフラ 高クオリティーなアバター → 商用利用可能なアバター ファインチューニングLLM → プロンプトでカバー ©ROXX, Inc. ALL RIGHTS RESERVED. 16 / 20

コア価値に関わるところにはこだわる WebSpeech APIで不足であれば、STTツールを契約する WebSocketやSSEなどのストリーム形式でなるべくリアルタイムにする LLMの限界を超える応答速度が必要であれば待機時間を感じさせない手段を講じ る 長文生成LLMの間に相槌LLMを流す（特許出願中） 応答中に考え中マークを表示したり、考えているような仕草をさせる ©ROXX, Inc. ALL RIGHTS RESERVED. 17 / 20

コア価値かどうかをユーザに当てて早く検証する 導入意思決定者が人事なら… 人事責任者との商談中にデモできるようにする。 toCアプリケーションであれば 簡単なLPを用意し、広告予算を一定かけて流入してもらう Clarityのようなセッションキャプチャーツールの導入 ©ROXX, Inc. ALL RIGHTS RESERVED. 18 / 20

まとめ 対話システムを作るうえで大枠の方針を定めたうえで コア価値を見定めるために最速で検証していくことが大事 ©ROXX, Inc. ALL RIGHTS RESERVED. 19 / 20

最後に ROXXの対話システムが気になる方、一緒に話しましょう！ https://pitta.me/matches/rAcifICHJTaN ©ROXX, Inc. ALL RIGHTS RESERVED. 20 / 20