Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LLMを用いた対話システムサービスをどうやって立ち 上げていくか? / How to laun...
Search
kotamat
August 06, 2024
0
480
LLMを用いた対話システムサービスをどうやって立ち 上げていくか? / How to launch a dialogue system service using LLM (Large Language Model)?
https://yojo.connpass.com/event/325426/
での登壇資料
kotamat
August 06, 2024
Tweet
Share
More Decks by kotamat
See All by kotamat
ChatGPT×Whisperのプロトタイプと今後の展望 / chatgpt-with-whisper-prototyping-and-future-prospects
kotamat
3
3.5k
プロダクトドリブンにするために行った技術投資 / tech investment for product driven
kotamat
1
920
CTOがなぜPMをやりはじめたのか / Why did the CTO start doing PM
kotamat
0
260
プロダクトを中心に考える#とは / focus on the product
kotamat
1
2k
スタートアップに入ってまずやったインフラTIPS
kotamat
2
4.9k
NuxtMeetup#1
kotamat
1
3.2k
Laravel_Nuxtjsでの構成とつまづきポイント
kotamat
1
1.1k
Laravel5.5のアプデ内容を勝手に評価してみた
kotamat
0
620
Laravelでプチマイクロサービスやってみた
kotamat
1
5.6k
Featured
See All Featured
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Making the Leap to Tech Lead
cromwellryan
134
9.4k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
48
2.9k
Gamification - CAS2011
davidbonilla
81
5.4k
Become a Pro
speakerdeck
PRO
29
5.4k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.6k
[RailsConf 2023] Rails as a piece of cake
palkan
55
5.7k
The World Runs on Bad Software
bkeepers
PRO
70
11k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Testing 201, or: Great Expectations
jmmastey
43
7.6k
Transcript
LLMを用いた対話システムサービスをどうやって立ち 上げていくか? ©ROXX, Inc. ALL RIGHTS RESERVED. 1 / 20
自己紹介 kotamat 株式会社ROXX CTO 2022年末くらいからLLM使ってる 10個くらいLLMを使ったアプリを作 り、そのうち2つは実際のユーザがつ いてる ©ROXX, Inc.
ALL RIGHTS RESERVED. 2 / 20
©ROXX, Inc. ALL RIGHTS RESERVED. 3 / 20
今日話したいこと 対話システムをこれから立ち上げる際に気をつけること 対話システムごとの体験の差分 不確実性を解消する技術 ©ROXX, Inc. ALL RIGHTS RESERVED. 4
/ 20
LLMによるプロダクトは大半はLLM以外の要素による チャット形式のUIがベストとは限らない 音声や動画などマルチモーダルな体験となると構成する技術要素も異なる まずはどういう対話システムが課題解決に必要かを考える ©ROXX, Inc. ALL RIGHTS RESERVED. 5
/ 20
対話システムの体験ごとに期待されることの差分 ©ROXX, Inc. ALL RIGHTS RESERVED. 6 / 20
チャット形式 非同期であることが前提になってい るのでそこそこの時間待機可能 文字入力を前提としているので、UI 上のキーボードの専用領域が多くな る 入力ハードルがある 途中から人間が入ってきても大丈夫 ©ROXX, Inc.
ALL RIGHTS RESERVED. 7 / 20
オンライン面談形式 自分と相手(AI)が同時に写ってい る体験 音声で対話しながら、映像情報も同 時に体験させられる。 チャットほどは待機時間を確保でき ないものの、AIが考え中みたいな映 像を流すことによって多少待機をさ せることもできる。 AIが応答していることが前提の体験
となる ©ROXX, Inc. ALL RIGHTS RESERVED. 8 / 20
オンライン面談形式 これに関してもやり方が2通り ターン制 ボタンを押下することで自分のター ンを終了宣言できる 終話判定がユーザが明示することで 話し切る事ができる シームレス 終話判定したら自動的に相手のター ンになる
割り込むような体験はできるが、話 しきれない不満が出ることもある ©ROXX, Inc. ALL RIGHTS RESERVED. 9 / 20
電話形式 音声のみにロックイン。 文字入力が面倒だが、顔出ししたく ないケース 遅延が致命的な体験となる。 ©ROXX, Inc. ALL RIGHTS RESERVED.
10 / 20
その対話システムは何を解決したいか? チャット形式 一定思考し、ある程度正確な情報をユーザに出させたい カスタマーサポート 教育・学習 オンライン面談形式 ユーザの話している姿を録画して活用したい カウンセリング 面接 電話形式
細やかなインタラクションが必要ではあるが視覚的なプライバシーは不要 予約・手配 ヘルプデスク ©ROXX, Inc. ALL RIGHTS RESERVED. 11 / 20
不確実性への対応 ©ROXX, Inc. ALL RIGHTS RESERVED. 12 / 20
対話システムの方針が本当にユーザが求めるものとは限らない。 様々な不確実性がある中で、プロダクト化できるレベルまで不確実性を下げなければ 絵に描いた餅となる ©ROXX, Inc. ALL RIGHTS RESERVED. 13 /
20
LLMプロダクトの不確実性 LLMに限らず通常のプロダクトマネジメントにおいて様々な不確実性がある 技術的不確実性 ビジネス的不確実性 ユーザーの不確実性 更にLLMには以下の不確実性がある データの不確実性 モデルの不確実性 ©ROXX, Inc.
ALL RIGHTS RESERVED. 14 / 20
プロダクションレベルまで不確実性を減らすには ©ROXX, Inc. ALL RIGHTS RESERVED. 15 / 20
コア価値以外のところの無駄をなるべく排除する 可用性の高いインフラ → すぐに立ち上げられるインフラ 高クオリティーなアバター → 商用利用可能なアバター ファインチューニングLLM → プロンプトでカバー
©ROXX, Inc. ALL RIGHTS RESERVED. 16 / 20
コア価値に関わるところにはこだわる WebSpeech APIで不足であれば、STTツールを契約する WebSocketやSSEなどのストリーム形式でなるべくリアルタイムにする LLMの限界を超える応答速度が必要であれば待機時間を感じさせない手段を講じ る 長文生成LLMの間に相槌LLMを流す(特許出願中) 応答中に考え中マークを表示したり、考えているような仕草をさせる ©ROXX, Inc.
ALL RIGHTS RESERVED. 17 / 20
コア価値かどうかをユーザに当てて早く検証する 導入意思決定者が人事なら… 人事責任者との商談中にデモできるようにする。 toCアプリケーションであれば 簡単なLPを用意し、広告予算を一定かけて流入してもらう Clarityのようなセッションキャプチャーツールの導入 ©ROXX, Inc. ALL RIGHTS
RESERVED. 18 / 20
まとめ 対話システムを作るうえで大枠の方針を定めたうえで コア価値を見定めるために最速で検証していくことが大事 ©ROXX, Inc. ALL RIGHTS RESERVED. 19 /
20
最後に ROXXの対話システムが気になる方、一緒に話しましょう! https://pitta.me/matches/rAcifICHJTaN ©ROXX, Inc. ALL RIGHTS RESERVED. 20 /
20