Upgrade to Pro — share decks privately, control downloads, hide ads and more …

LLM in 2023 and 2024

LLM in 2023 and 2024

LLM in Production #3にて

y_matsuwitter

December 18, 2023
Tweet

More Decks by y_matsuwitter

Other Decks in Programming

Transcript

  1. © 2023 LayerX Inc. 4 LayerXの事業概要 LayerXのご紹介 * 資本準備金含む 会社名    

    代表取締役  創業      資本金* 関連会社 株主一覧  取得認証 | 株式会社LayerX(レイヤーエックス) | 代表取締役CEO 福島 良典    代表取締役CTO 松本 勇気 | 2018年 | 132.6億円 | バクラク事業、Fintech事業、AI・LLM事業 | 三井物産デジタル・アセットマネジメント   三井物産、LayerX、三井住友信託銀行、SMBC日興証券、JA三井リースによる合弁会社 |  | 情報セキュリティマネジメントシステム、      JIIMA認証 提供プロダクト 企業や行政のLLMを用いた 業務効率化・データ活用を支援 バクラク事業 企業活動のインフラとなる 法人支出管理(BSM)SaaSを 開発・提供 Fintech事業 ソフトウェアを駆使したアセットマネジメント 証券事業を合弁会社にて展開 AI・LLM事業 IS 747702 / ISO 27001
  2. © 2023 LayerX Inc. 5 経営陣紹介 (※一部抜粋) LayerXのご紹介 1 上場を経験した

    シリアルな経営チーム 日本トップクラスの エンジニアチーム 2 Gunosy / DMM.com CTO CTO協会理事 メルカリ CTO CTO協会理事 CARTA Holdings CTO CTO協会理事 Gunosy創業・上場 未踏スーパクリエータ Aiming 創業・上場 Wantedly 執行役員 サイバーエージェント・ メルカリ上級執行役員
  3. © 2023 LayerX Inc. 10 4月のチーム発足時よりChatのUX課題を念頭に置き、またバクラクの文脈も踏まえて大きな文書処理に特 化した技術開発を進めてきました。 文書処理を追求した2023年 LayerXの取り組みと2023年 ChatのUX課題

    Promptの難しさ templateで緩和できるものの、 業務に資するPromptは難しい。 Stepの多さ 業務を完了させるまでの入力が 多い。ボタン一つで終わらない。
  4. © 2023 LayerX Inc. 11 大量・大規模な文書をLLMを用いて業務処理に活用する。多くの業務の起点は受け取った文書である。 LLMによる文書処理とは LayerXの取り組みと2023年 有価証券・登記簿 稟議書・契約書

    説明書...etc LLMによる処理 後段のシステム・業 務プロセスへの接 続 人との協働 既存技術による 前処理 アナログな既存業務プロセスの デジタル化転換 文書形式変換 分割・検索・整形 OCR..etc 抽出・要約・変形 分類・生成...etc 成果物の確認・修正
  5. © 2023 LayerX Inc. 12 2023年は巨大なContext-lengthモデルが増加。100k以上が現実的に利用できる時代に。さらに価格 は低下を続けており、コストパフォーマンスが向上。 価格とコンテキストサイズの進化 LayerXの取り組みと2023年 GPT-3

    GPT-4 GPT-3.5-turbo GPT-4-turbo $0.02/1k tokens 4k tokens 16k tokens $0.004 => $0.002 8k or 32k tokens 100k tokens Input: $0.03 or $0.06 Output: $0.06 or $0.12 Input: $0.01 Output: $0.03 例:OpenAIの変遷
  6. © 2023 LayerX Inc. 15 orcaやphi-2など元データの高品質化に伴う小さく高精度なモデルの研究が増えた。来年はこれらが市場に 更に投入されるだろうと思われる。 技術は普及に向けて改良され続ける 2024年を考える より良い学習データとは?

    の知見の深化 既存高精度LLMを活用した学 習データの生成・選別 Transformerの効率向上や Post-transformerの研究の 進展 StripedHyena-7Bなど Orca-2: 13B、推論能力がパ ラメタ数に比して高い。 Phi-2: 2.7B、小規模だが対 話やコード生成能力が高い。
  7. © 2023 LayerX Inc. 16 現実的なコストの範囲内でモデルのチューニングが可能に。結果として自社タスクに特化されたモデルの構 築。ゆえの”Data is King.”の再認識。 高速化・低価格化の先の未来

    2024年を考える 小規模かつ高精度なモデル 自社タスク 特化モデル 自社のタスク関連データ 既存MLタスクと同じく、より良い 学習データとはなにか、が重要に。 処理速度・UX、コスト及び処 理精度のバランスが他より高 い、より良いUXの実現
  8. © 2023 LayerX Inc. 17 Chat/対話が落ち着き、裏側に自然とLLMが導入されたサービスが増加。ボタン一つのアクションの裏側に LLMが埋め込まれる。 LLMが溶け込んだサービスの増加 2024年を考える Prompt入力

    生成物を人がコピペ ファイル添付やボタンクリック 自動でシステム連携 人がPromptを考える (予め用意されたLLM処理プ ロセス) 考える手間なし 良いPrompt 一瞬で完了する Input 手間なく業務全体 が効率化 2023 2024 よいUX×LLMならではな機能の スイートスポットを探す
  9. © 2023 LayerX Inc. 18 一部の用途を除き、多段階の業務をLLMで処理することはコスト・精度双方の面で難しいだろうと予想してい る。人と協働するAgentの模索が重要。 Agentはそれでも難しい 2024年を考える LLM処理

    LLM処理 LLM処理 LLM処理 人による処理 (Review等) LLM処理 エラー率: 90% エラー率: 90% エラー率: 90% 処理を重ねるほどにエラーが掛け算で 蓄積し続け無視できないレベルへ 完全自動化ではなく半自動化、人との 協働により実用的な精度を保つ
  10. © 2023 LayerX Inc. 20 より高精度・多様な入力・軽量・安価など多様な選択肢を使える中で、自社サービスに自然と組み込んだLLM が作る強みを追求していく。 LLMが前提となったサービス設計の時代へ まとめ LayerXの今

    Chat以外のUXの追求+LLMのContext Lengthや 価格・精度の深化から文書処理に取り組む。 来年の予想 多様なモデルの選択肢を自然に埋め込む。 • gpt-4-turboのような高精度モデル • gpt-4VなどのMulti-Modalモデル • 小規模かつ精度高い新モデル(Phi-2等) • 動画や音楽まで生成可能な生成AI 個人的には安価なモデルを比較的多数Callして生まれる 精度や体験の進化にも注目しておきたい。