LLM in toB Service and Its UX

by y_matsuwitter

Slide 1

Slide 1 text

Slide 2

Slide 2 text

自己紹介

Slide 3

Slide 3 text

Slide 4

Slide 4 text

LayerX LLM Laｂｓ

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

© 202３ LayerX Inc. 8 現状の取り組み概観技術リサーチ GPT-3,4に限らず、新たな大規模言語モデルの利活用に向けた検証。および論文等を中心とした新たな手法のリサーチ。およびその活用に向けた PoC的プロダクトの開発。業務活用の模索 GPT-3,4を利用しての業務変革の追求。バクラクや三井物産デジタル・アセットマネジメント、その他新たなパートナーシップにつながる活用方法の模索に加え、新規事業立案までを検討範囲とする。国産大規模言語モデル一説には数百億円が必要ともいわれる大規模言語モデル自体の開発の検証。特に日本語データの拡充と、国内でのセンシティブな領域での利用に向けたモデル構築の模索。 LLM Labsでは、技術そのもののリサーチ、業務活用に向けたGPT-3, 4を中心とした活用方法の模索、国産大規模言語モデルの可能性の探索に取り組む。

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

toB事業のUX

Slide 13

Slide 13 text

© 202３ LayerX Inc. 13 LLMの性質 Hallucinations問題を始めとして、柔軟な応答が出来る一方で精度の問題がある。かつ、間違いの評価が難しい。 Hallucinations(幻想）問題単に「それらしい返答を作る」エンジンであり、知らないことでも嘘をつく。知識不足だけでなく論理的思考などでも嘘を付く。（例：素因数分解）情報管理 ChatGPTなどの入力は、そのエンジンを改善するために活用される可能性がある。情報管理観点でどこまで許容可能か。入力文字数問題例えば一般的なgpt-3.5-turboは 4097トークン（およそ日本語2〜 3000字程度）以上の情報や文脈を扱えない。最近は拡大傾向。処理速度 Promptリテラシー適切なPromptを作れない人にとっては欲しい情報・回答を得られない無用の長物に。 GPT-3などは一回のリクエストに対して処理に5〜10秒程度必要。モデルが大きくなるほど重い。リアルタイム性が必要なものは使いづらい。

Slide 14

Slide 14 text

© 202３ LayerX Inc. 14 Chat is not all you need. Chat UI自体を革新と捉える向きもあるが、個人としては本当に使いやすいUXを求めた時のGoalがChatなのかは冷静になるべきだという立場。二次元的に情報が扱える通常のUIよりもChatで意図が伝えられるのかは冷静に考えたい。非定型なアクション定型なアクションボタンで即座にニーズを伝えられる、1tapで業務を完了出来る方が楽。使うシチュエーション入力の複雑さ・精度タスクの定型性調べ方も分からないケースではChatが有用かもしれない。一方コンテキストを与えられるならChatでないUIのほうが表現力が高いことも。コンテキスト達成したい目的 …etc 例：タスクの定型性考えるべき変数は多い

Slide 15

Slide 15 text

© 202３ LayerX Inc. 15 toB事業におけるUXの観点精度とレスポンス速度の要求は様々だが、精度が低いということはクリティカル。また、精度がPromptに依存する場合に、どう Promptを構築させるかという問題を「誰に」解かせるのか考えねばならない。対象データのセキュリティ要件処理当たりの許容コスト処理の精度基準ユーザーのリテラシー要求される処理速度 …etc どのような課題を解くのか？

Slide 16

Slide 16 text

© 202３ LayerX Inc. 16 供給者論理に陥らない、Why LLM問題に向き合う LLMは革新的技術だからこそ、なんでもLLMで解決しないことを考える。Blockchain時代に弊社が向き合った教訓の一つ、技術ではなくお客様が欲しいものに依拠する議論を。 BERT等の既存 Transformerベース LLMベース精度汎用性 ◯ 汎用性の割に精度は比較的高い。処理速度 ◎ Promptのチューニングで様々なタスクに対応。 △ 改善進むも、まだ1req あたり処理速度は数秒。 ◎ 自社でチューニングした限りでは高い精度。 △ タスクによりけりだが都度fine-tuning等必要。 ◎ Model自体が小さく処理が素早い。

Slide 17

Slide 17 text

最後に

Slide 18

Slide 18 text

© 202３ LayerX Inc. 18 まとめ LLMのUXを考えよう新しいUXへ、一緒に取り組みたい仲間を募集中 ● LLMらしい活用方法はChatかもしれないし、そうではないかもしれない。 ● 解きたい課題にフィットした、LLMに限らないモデル構築を目指そう。 ● ソフトウェア・エンジニア（LLM経験は不問、領域横断的に様々な開発に向き合います） ● Product Manager(業務アプリケーション開発経験者) ● BizDev（特にエンタープライズ向きな取り組み経験者）