$30 off During Our Annual Pro Sale. View Details »
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LLMを用いた対話システムサービスをどうやって立ち 上げていくか? / How to laun...
Search
kotamat
August 06, 2024
0
530
LLMを用いた対話システムサービスをどうやって立ち 上げていくか? / How to launch a dialogue system service using LLM (Large Language Model)?
https://yojo.connpass.com/event/325426/
での登壇資料
kotamat
August 06, 2024
Tweet
Share
More Decks by kotamat
See All by kotamat
ChatGPT×Whisperのプロトタイプと今後の展望 / chatgpt-with-whisper-prototyping-and-future-prospects
kotamat
3
3.6k
プロダクトドリブンにするために行った技術投資 / tech investment for product driven
kotamat
1
930
CTOがなぜPMをやりはじめたのか / Why did the CTO start doing PM
kotamat
0
270
プロダクトを中心に考える#とは / focus on the product
kotamat
1
2k
スタートアップに入ってまずやったインフラTIPS
kotamat
2
5k
NuxtMeetup#1
kotamat
1
3.2k
Laravel_Nuxtjsでの構成とつまづきポイント
kotamat
1
1.1k
Laravel5.5のアプデ内容を勝手に評価してみた
kotamat
0
640
Laravelでプチマイクロサービスやってみた
kotamat
1
5.7k
Featured
See All Featured
Mobile First: as difficult as doing things right
swwweet
225
10k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
17k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
52
5.7k
Large-scale JavaScript Application Architecture
addyosmani
515
110k
Principles of Awesome APIs and How to Build Them.
keavy
127
17k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
253
22k
The Invisible Side of Design
smashingmag
302
51k
For a Future-Friendly Web
brad_frost
180
10k
Thoughts on Productivity
jonyablonski
73
5k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
249
1.3M
Designing for Performance
lara
610
69k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
132
19k
Transcript
LLMを用いた対話システムサービスをどうやって立ち 上げていくか? ©ROXX, Inc. ALL RIGHTS RESERVED. 1 / 20
自己紹介 kotamat 株式会社ROXX CTO 2022年末くらいからLLM使ってる 10個くらいLLMを使ったアプリを作 り、そのうち2つは実際のユーザがつ いてる ©ROXX, Inc.
ALL RIGHTS RESERVED. 2 / 20
©ROXX, Inc. ALL RIGHTS RESERVED. 3 / 20
今日話したいこと 対話システムをこれから立ち上げる際に気をつけること 対話システムごとの体験の差分 不確実性を解消する技術 ©ROXX, Inc. ALL RIGHTS RESERVED. 4
/ 20
LLMによるプロダクトは大半はLLM以外の要素による チャット形式のUIがベストとは限らない 音声や動画などマルチモーダルな体験となると構成する技術要素も異なる まずはどういう対話システムが課題解決に必要かを考える ©ROXX, Inc. ALL RIGHTS RESERVED. 5
/ 20
対話システムの体験ごとに期待されることの差分 ©ROXX, Inc. ALL RIGHTS RESERVED. 6 / 20
チャット形式 非同期であることが前提になってい るのでそこそこの時間待機可能 文字入力を前提としているので、UI 上のキーボードの専用領域が多くな る 入力ハードルがある 途中から人間が入ってきても大丈夫 ©ROXX, Inc.
ALL RIGHTS RESERVED. 7 / 20
オンライン面談形式 自分と相手(AI)が同時に写ってい る体験 音声で対話しながら、映像情報も同 時に体験させられる。 チャットほどは待機時間を確保でき ないものの、AIが考え中みたいな映 像を流すことによって多少待機をさ せることもできる。 AIが応答していることが前提の体験
となる ©ROXX, Inc. ALL RIGHTS RESERVED. 8 / 20
オンライン面談形式 これに関してもやり方が2通り ターン制 ボタンを押下することで自分のター ンを終了宣言できる 終話判定がユーザが明示することで 話し切る事ができる シームレス 終話判定したら自動的に相手のター ンになる
割り込むような体験はできるが、話 しきれない不満が出ることもある ©ROXX, Inc. ALL RIGHTS RESERVED. 9 / 20
電話形式 音声のみにロックイン。 文字入力が面倒だが、顔出ししたく ないケース 遅延が致命的な体験となる。 ©ROXX, Inc. ALL RIGHTS RESERVED.
10 / 20
その対話システムは何を解決したいか? チャット形式 一定思考し、ある程度正確な情報をユーザに出させたい カスタマーサポート 教育・学習 オンライン面談形式 ユーザの話している姿を録画して活用したい カウンセリング 面接 電話形式
細やかなインタラクションが必要ではあるが視覚的なプライバシーは不要 予約・手配 ヘルプデスク ©ROXX, Inc. ALL RIGHTS RESERVED. 11 / 20
不確実性への対応 ©ROXX, Inc. ALL RIGHTS RESERVED. 12 / 20
対話システムの方針が本当にユーザが求めるものとは限らない。 様々な不確実性がある中で、プロダクト化できるレベルまで不確実性を下げなければ 絵に描いた餅となる ©ROXX, Inc. ALL RIGHTS RESERVED. 13 /
20
LLMプロダクトの不確実性 LLMに限らず通常のプロダクトマネジメントにおいて様々な不確実性がある 技術的不確実性 ビジネス的不確実性 ユーザーの不確実性 更にLLMには以下の不確実性がある データの不確実性 モデルの不確実性 ©ROXX, Inc.
ALL RIGHTS RESERVED. 14 / 20
プロダクションレベルまで不確実性を減らすには ©ROXX, Inc. ALL RIGHTS RESERVED. 15 / 20
コア価値以外のところの無駄をなるべく排除する 可用性の高いインフラ → すぐに立ち上げられるインフラ 高クオリティーなアバター → 商用利用可能なアバター ファインチューニングLLM → プロンプトでカバー
©ROXX, Inc. ALL RIGHTS RESERVED. 16 / 20
コア価値に関わるところにはこだわる WebSpeech APIで不足であれば、STTツールを契約する WebSocketやSSEなどのストリーム形式でなるべくリアルタイムにする LLMの限界を超える応答速度が必要であれば待機時間を感じさせない手段を講じ る 長文生成LLMの間に相槌LLMを流す(特許出願中) 応答中に考え中マークを表示したり、考えているような仕草をさせる ©ROXX, Inc.
ALL RIGHTS RESERVED. 17 / 20
コア価値かどうかをユーザに当てて早く検証する 導入意思決定者が人事なら… 人事責任者との商談中にデモできるようにする。 toCアプリケーションであれば 簡単なLPを用意し、広告予算を一定かけて流入してもらう Clarityのようなセッションキャプチャーツールの導入 ©ROXX, Inc. ALL RIGHTS
RESERVED. 18 / 20
まとめ 対話システムを作るうえで大枠の方針を定めたうえで コア価値を見定めるために最速で検証していくことが大事 ©ROXX, Inc. ALL RIGHTS RESERVED. 19 /
20
最後に ROXXの対話システムが気になる方、一緒に話しましょう! https://pitta.me/matches/rAcifICHJTaN ©ROXX, Inc. ALL RIGHTS RESERVED. 20 /
20