Upgrade to Pro — share decks privately, control downloads, hide ads and more …

LLM in toB Service and Its UX

LLM in toB Service and Its UX

LLM in Production #0にて発表

y_matsuwitter

June 26, 2023
Tweet

More Decks by y_matsuwitter

Other Decks in Programming

Transcript

  1. © 2023 LayerX Inc.
    toBにおけるLLM活用とUX #LLMProd
    LayerX @y_matsuwitter
    2023/06/26

    View full-size slide

  2. 自己紹介

    View full-size slide

  3. © 2023 LayerX Inc.
    3
    自己紹介
    松本 勇気 (@y_matsuwitter)
    株式会社LayerX 代表取締役CTO
    株式会社三井物産デジタル・アセットマネジメント 取
    締役
    日本CTO協会 理事
    Fintech/PrivacyTechを主に管掌
    趣味は筋トレと料理

    View full-size slide

  4. LayerX LLM Labs

    View full-size slide

  5. © 2023 LayerX Inc.
    5
    LayerXの紹介
    バクラク事業
    企業活動のインフラとなる法人支出管理
    (BSM)SaaSを開発・提供
    Fintech事業
    ソフトウェアを駆使したアセットマネ
    ジメント・証券事業を合弁会社にて
    展開
    PrivacyTech事業
    パーソナルデータの利活用とプライバシー
    保護を両立するソリューションの提供

    View full-size slide

  6. © 2023 LayerX Inc.
    6
    大企業との協業事例:MDM

    View full-size slide

  7. © 2023 LayerX Inc.
    7
    LayerX LLM Labsの紹介
    4月に設置した大規模言語モデル専任チーム
    主な取り組み
    ・LayerXおよび三井物産デジタル・アセットマネジメント
    におけるLLM活用のフィードバックと導入検証
    ・LLMを活用した新規事業・パートナーシップの検討・探索
    ・LLMに関する勉強会コミュニティの運営
    ・ブログや論文などを通じた情報発信 等

    View full-size slide

  8. © 2023 LayerX Inc.
    8
    現状の取り組み概観
    技術リサーチ
    GPT-3,4に限らず、新たな大規 模
    言語モデルの利活用に向けた検
    証。および論文等を中心とした新
    たな手法のリサーチ。
    およびその活用に向けた PoC的
    プロダクトの開発。
    業務活用の模索
    GPT-3,4を利用しての業務変革
    の追求。
    バクラクや三井物産デジタル・ア
    セットマネジメント、その他新たな
    パートナーシップにつながる活用
    方法の模索に加え、新規事業立
    案までを検討範囲とする。
    国産大規模言語モデル
    一説には数百億円が必要ともい
    われる大規模言語モデル自体の
    開発の検証。特に日本語データ
    の拡充と、国内でのセンシティブ
    な領域での利用に向けたモデル
    構築の模索。
    LLM Labsでは、技術そのもののリサーチ、業務活用に向けたGPT-3, 4を中心とした活用方法の模索、国産大規模言語モデルの
    可能性の探索に取り組む。

    View full-size slide

  9. © 2023 LayerX Inc.
    9
    社内での取り組み例①
    OCRへの組み込みや申請の効率化などをいくつか実験。

    View full-size slide

  10. © 2023 LayerX Inc.
    10
    社内での取り組み例②
    営業記録の音声を元に文字起こし、話者分離、文書要約を自動化。商談の後処理を効率化。
    発話者分離
    音声ファイル
    文字起こし
    発話者情報付き
    文字起こし
    商談要約

    View full-size slide

  11. © 2023 LayerX Inc.
    11
    取り組み例③:バックオフィス窓口の構築
    社員の質問
    文書検索
    文書を元に回答
    生成
    Slack等で回答
    (予定)
    労務・経理・情シス等に上がる質問を、社内のナレッジを元にしてBotが自動回答する。
    回答生成でGPT-3を利用

    View full-size slide

  12. toB事業のUX

    View full-size slide

  13. © 2023 LayerX Inc.
    13
    LLMの性質
    Hallucinations問題を始めとして、柔軟な応答が出来る一方で精度の問題がある。かつ、間違いの評価が難しい。
    Hallucinations(幻想)問題
    単に「それらしい返答を作る」エンジン
    であり、知らないことでも嘘をつく。
    知識不足だけでなく論理的思考など
    でも嘘を付く。(例:素因数分解)
    情報管理
    ChatGPTなどの入力は、そのエンジ
    ンを改善するために活用される可能
    性がある。情報管理観点でどこまで許
    容可能か。
    入力文字数問題
    例えば一般的なgpt-3.5-turboは
    4097トークン(およそ日本語2〜
    3000字程度)以上の情報や文脈を扱
    えない。最近は拡大傾向。
    処理速度
    Promptリテラシー
    適切なPromptを作れない人にとっ
    ては欲しい情報・回答を得られない無
    用の長物に。
    GPT-3などは一回のリクエストに対
    して処理に5〜10秒程度必要。モデル
    が大きくなるほど重い。リアルタイム
    性が必要なものは使いづらい。

    View full-size slide

  14. © 2023 LayerX Inc.
    14
    Chat is not all you need.
    Chat UI自体を革新と捉える向きもあるが、個人としては本当に使いやすいUXを求めた時のGoalがChatなのかは冷静にな
    るべきだという立場。二次元的に情報が扱える通常のUIよりもChatで意図が伝えられるのかは冷静に考えたい。
    非定型なアクション
    定型なアクション ボタンで即座にニーズを伝えられる、1tapで業務を完了出来る方が楽。
    使うシチュエーション 入力の複雑さ・精度
    タスクの定型性
    調べ方も分からないケースではChatが有用かもしれない。一方コンテキス
    トを与えられるならChatでないUIのほうが表現力が高いことも。
    コンテキスト 達成したい目的
    …etc
    例:タスクの定型性
    考えるべき変数は多い

    View full-size slide

  15. © 2023 LayerX Inc.
    15
    toB事業におけるUXの観点
    精度とレスポンス速度の要求は様々だが、精度が低いということはクリティカル。また、精度がPromptに依存する場合に、どう
    Promptを構築させるかという問題を「誰に」解かせるのか考えねばならない。
    対象データのセキュリ
    ティ要件
    処理当たりの許容コスト
    処理の精度基準
    ユーザーのリテラシー 要求される処理速度
    …etc
    どのような課題を解くのか?

    View full-size slide

  16. © 2023 LayerX Inc.
    16
    供給者論理に陥らない、Why LLM問題に向き合う
    LLMは革新的技術だからこそ、なんでもLLMで解決しないことを考える。Blockchain時代に弊社が向き合った教訓の一つ、技
    術ではなくお客様が欲しいものに依拠する議論を。
    BERT等の既存
    Transformerベース
    LLMベース
    精度 汎用性
    ◯ 汎用性の割に精度は比
    較的高い。
    処理速度
    ◎ Promptのチューニング
    で様々なタスクに対応。
    △ 改善進むも、まだ1req
    あたり処理速度は数秒。
    ◎ 自社でチューニングした
    限りでは高い精度。
    △ タスクによりけりだが都
    度fine-tuning等必要。
    ◎ Model自体が小さく処
    理が素早い。

    View full-size slide

  17. © 2023 LayerX Inc.
    18
    まとめ
    LLMのUXを考えよう
    新しいUXへ、一緒に取り組みたい仲間を募集中
    ● LLMらしい活用方法はChatかもしれないし、そうではないかもしれない。
    ● 解きたい課題にフィットした、LLMに限らないモデル構築を目指そう。
    ● ソフトウェア・エンジニア(LLM経験は不問、領域横断的に様々な開発に向き合います)
    ● Product Manager(業務アプリケーション開発経験者)
    ● BizDev(特にエンタープライズ向きな取り組み経験者)

    View full-size slide