Building Products in the LLM Era

by y_matsuwitter

Slide 1

Slide 1 text

⽣成AIプロダクトの現在地点 2025/02/14, ＠ｙ_matsuwitter

Slide 2

Slide 2 text

⽬次 Agenda © LayerX Inc. ● ⾃⼰紹介 ● LLM中⼼で考える ● LLM時代のプロダクト変化 ● Agentに踊らされない

Slide 3

Slide 3 text

Slide 4

Slide 4 text

4 © LayerX Inc. ⾃⼰紹介株式会社LayerX 代表取締役CTO 株式会社三井物産デジタル・アセットマネジメント取締役日本CTO協会理事 Fintech/AI・LLM事業を主に管掌。過去、AI系スタートアップにてCTOおよび新規事業を担当、プライム市場まで上場。その後、数千人規模の事業会社のDXなどをCTOとして担当のち2021年3月よりLayerXへ。松本勇気 Matsumoto Yuki

Slide 5

Slide 5 text

5 © LayerX Inc. 12年を超えるAIの取り組みの中でソフトウェア進化の流れ LayerXは、前⾝でのレコメンドエンジンの取り組みから数えて12年、AIとソフトウェアの事業活⽤に向き合ってまいりました。 DeepLearning以前の古典的機械学習時代 DeepLearning時代 LLM‧GenAI時代数千万⼈へのニュース配信パーソナライズなど請求書AI-OCRやAIによる経理領域の業務効率化 Ai Workforceや社内での Sales Enablement

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

© LayerX Inc. 8 全ての経済活動を、デジタル化する。会社概要会社名株式会社LayerX（レイヤーエックス）代表取締役代表取締役CEO　福島良典代表取締役CTO　松本勇気創業 2018年 8月1日資本金約132.6億円拠点東京本社　〒103-0012 東京都中央区日本橋堀留町１丁目９−８人形町PREX 中部支社　〒453-6111 愛知県名古屋市中村区平池町4-60-12 グローバルゲート関西支社　〒530-0003 大阪府大阪市北区堂島1-1-5 関電不動産梅田新道ビル九州支社　〒810-0801 福岡県福岡市博多区博多駅中央街1-1 アミュプラザ博多従業員数 250名（2023年12月末日時点）

Slide 9

Slide 9 text

© LayerX Inc. 9 「すべての経済活動を、デジタル化する。」をミッションに掲げ、法人支出管理サービス「バクラク」や企業内業務のデジタル化を支援するサービスを提供しています。事業紹介バクラク事業企業活動のインフラとなる法人支出管理（BSM）SaaSを開発・提供 Fintech事業ソフトウェアを駆使したアセットマネジメント・証券事業を合弁会社にて展開 AI・LLM事業文書処理を中心とした、LLMの活用によるプロセスのリデザイン

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

© LayerX Inc. 13 LayerX創業時から取り組んできた研究開発力を活かし、企業や行政内に眠っているデータの活用・業務効率化の支援を目指す組織。大規模言語モデル（LLM）を用いた文書処理効率化ソリューションを始めとして、 AIをソフトウェアに自然に組み込み、圧倒的に良い体験でエンタープライズ規模の課題を解決します。 AI・LLM事業事業紹介 AI・データ関連の先端技術を研究し、プロダクト開発する組織。

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Confidential © 2024 LayerX Inc. 15 法人版ChatGPTやRAGなどの最初の導入や検証は進んだが、業務の根幹を担う次のレベルでの活用には至っていない。大手企業における生成AI活用の課題 v 未整備なファイルストレージやセキュリティポリシー等で AIで活用できるファイルに制限がある社内用GPTやRAGなど、チャット形式がメインのため複雑な業務などには対応が難しいインプットファイルに適切な前処理がされていない生成AIが適用できる業務が限定的実際の業務で使っている文書を生成AIの処理にそのまま使えない期待した精度が出ない・向上しない課題原因 Ai Workforceご紹介

Slide 16

Slide 16 text

Confidential © 2024 LayerX Inc. 16 企業と成長を共にするAIプラットフォーム。AIに業務を教えることが簡単になり、ナレッジやデータ活用を促進。 Ai Workforceでできること AIが自動で要約やタグを生成、ファイルを整理しながらデータ登録しナレッジ検索が容易に。また、マスキング機能で機密情報を含むテキストや画像を除去・置換し、セキュアな情報共有を実現。様々な処理をブロックのように組み合わせて業務フローを構築可能。処理結果をデータベースに登録したり、Excel等の様々な形式で出力もでき、様々な業務で活用可能 LayerXの生成AIエキスパートがドキュメントの種類や業務特性に沿って組み込んだ最適な前処理を標準搭載。複雑な表や画像が含まれる文書や100ページ以上の文書でも十分な精度を担保幅広い業務をAIが代行ナレッジを安全に社内共有最適な前処理の工夫 AI-OCR 表や画像の処理⽂書サイズ調整 Ai Workforceご紹介

Slide 17

Slide 17 text

Confidential © 2024 LayerX Inc. 17 エンタープライズ特有の業務ニーズに対応 ※トライアル中のケースも含みます。製造・自動車・技術仕様、過去トラブル情報のナレッジマネジメント・機微情報の自動マスキングによる情報共有・経験共有・製品が法令や規格に適合するかどうかのレビュー・法令、論文、規制情報の調査金融・融資稟議書のドラフト作成、情報転記、内容レビュー・契約書ドラフト作成、管理、レビュー・提案書に記載の機微情報を自動マスキングし、情報共有・経験共有・広告ガイドライン審査ヘルスケア・法令 (薬機法) 、論文、規制情報の調査・社内プロジェクト (基礎研究、非臨床試験、治験等) のナレッジマネジメント・MR のための情報共有・経験共有・過去の監査結果や指摘事項、事故情報のナレッジマネジメント不動産・申し込み情報、アンケート情報の内容レビュー、情報転記・契約書からの情報抽出、情報転記、システム連携・法令、規制情報の調査・営業資料の情報共有・経験共有あらゆる業種・業界で活用可能な、高い拡張性と適応性を備えています。 Ai Workforceご紹介

Slide 18

Slide 18 text

Slide 19

Slide 19 text

19 © LayerX Inc. LLM時代の危機感ソフトウェアの前提が変わる、だが…？ LLMは⼈間と同程度の情報量で仕事を習得するポテンシャルがある Applicatin Model Infrastructure Consulting 事業展開のレイヤこの話が少ないことへの危機感 LLM時代にゼロから考えた必要なアプリケーションとその構成とは…？

Slide 20

Slide 20 text

Slide 21

Slide 21 text

21 © LayerX Inc. LLMはここだけ学べば良い LLM中⼼に考える⼤規模⾔語モデル (LLM) は何がすごいのか LLMは⼈間と同程度の情報量で仕事を習得するポテンシャルがある特化部分 LLM の基礎能⼒「知識」の常識（例: 勘定科⽬の意味）「やり⽅」の常識（例: 年次推移の⽐較）例: 決算書からの付属資料への転記企業固有の知識‧やり⽅以前の機械学習はこの部分も毎回学習

Slide 22

Slide 22 text

22 © LayerX Inc. LLMが実現したこと LLM中⼼に考える⾔語を介して、汎⽤的に問題を解釈し、推論し、解決することができるようになった。解きたい問題⾔語化 LLMが評価‧推論‧解決

Slide 23

Slide 23 text

23 © LayerX Inc. ソフトウェアのLLMによる変化 LLM中⼼に考える LLMの柔軟性を以て、多様な業務‧多様な⼊出⼒に対応することが可能になった。業務プロセス分析コード開発限定的業務⾃動化 LLM Productで業務プロセス吸収 Promptや処理プロセス調整ソフトウェアに合わせた業務プロセス変更周辺システム接続既存業務プロセスの維持同時に多様な業務の⾃動化業務プロセス分析 LLMの登場

Slide 24

Slide 24 text

24 © LayerX Inc. 解ける問題の範囲が広がった LLM中⼼に考えるこれまでの単機能‧ポイントソリューションな第⼀世代SaaSから、要素を揃えることで、より広い問題を組み合わせで解く時代に。第⼀世代SaaS 第⼆世代SaaS （AI-SaaS）第三世代SaaS (LLM-SaaS) 共有DB‧台帳として業務プロセスを規格化 AIによる業務プロセスの⼀部⾃動化幅広い業務プロセスを変えずに⾃動化

Slide 25

Slide 25 text

25 © LayerX Inc. ⼤事なのは “AIをオンボーディングする”意識 LLM中⼼に考える事業の中で戦⼒化するには何が⾜りないのか？この問いに対して必要な情報やツールの接続を埋め続けることがこれからのプロダクト開発。⼈間は様々な情報を経験として蓄積現状LLMに渡されるデータはわずかたった数百⽂字のプロンプト 5〜20年かけて⾊々な経験

Slide 26

Slide 26 text

Slide 27

Slide 27 text

27 © LayerX Inc. LLM中⼼なプロダクトの構成要素 LLM時代のプロダクト変化オンボーディングに必要なContext、Planning、Workﬂow、Knowledge、Evaluationの5つの視点で考えてみる。 Workﬂow Context Knowledge Evaluation Planning LLM Output

Slide 28

Slide 28 text

28 © LayerX Inc. Context LLM時代のプロダクト変化 LLMには記憶能⼒や社内情報の理解はない。どのような問題を解こうとしているのか、回答に必要な最低限の情報を揃える必要がある。 LLMによる正しいアウトプット業務に必要な情報 ● 業務⽬的‧ゴール ● ユーザー（担当者）の役割‧権限‧意図 ● 業務フロー上の位置づけ‧タスクの前後関係 ● ドメイン固有の知識‧⽤語‧ルール ● 法的‧コンプライアンス上の制約や前提条件 ● 過去の履歴や学習データなどの履歴情報 ● 実⾏環境‧システム的制約 ● 例外事象や想定外ケースへの対応⽅針 Appでかき集める

Slide 29

Slide 29 text

29 © LayerX Inc. Knowledge LLM時代のプロダクト変化企業の持つ知識資産や外部情報を集約‧管理し、LLMの推論に活⽤‧参照させる。LLMにとっての⻑期記憶的な仕組み。 Knowledge より精度⾼い評価結果 Prompt 解くべき課題関連情報の取得例：過去の稟議のレビュー結果、審査結果などなど形式によるが、全⽂検索エンジンを⽤いることが多い。

Slide 30

Slide 30 text

30 © LayerX Inc. Workflow LLM時代のプロダクト変化 LLMが業務を遂⾏するためのプロセス定義と実⾏環境。Promptだけで仕事ができるわけではない。前後のプロセスを定義することで初めて業務がこなせる。業務プロセス LLM Workflow 前処理‧多段処理を経てより⾼精度に定型業務をこなす Workflow×LLMを通じて、柔軟に様々な業務ロジックを落とし込めるWorkflowを構築すると想像以上に多様な業務をこなせる

Slide 31

Slide 31 text

31 © LayerX Inc. Planning LLM時代のプロダクト変化 Contextに対して、どのようにToolとKnowledgeを駆使して問題を解決するか考える。 Workflowを動的に構築する仕組みとも⾔える。Agentのベース。⽬的⽅針 API Browser / Computer Knowledge Workflow 実⾏計画 Human in the loop …etc ⽅針に沿って、⽬的を達成するための実⾏プロセス。これ⾃体は Workflowの設定そのものと考える事もできる。

Slide 32

Slide 32 text

32 © LayerX Inc. Evaluation LLM時代のプロダクト変化⽣成結果や業務遂⾏プロセスを検証‧評価し、品質やコンプライアンスを担保する品質基準セキュリティルールコンプライアンスルール Output 評価結果修正‧再実⾏など補正アクション

Slide 33

Slide 33 text

33 © LayerX Inc. 再掲：LLM中⼼なプロダクトの構成要素 LLM時代のプロダクト変化オンボーディングに必要なContext、Planning、Workﬂow、Knowledge、Evaluationの5つの視点で考えてみる。 Workﬂow Context Knowledge Evaluation Planning LLM Output

Slide 34

Slide 34 text

Slide 35

Slide 35 text

35 © LayerX Inc. Agentを正しく捉える Agentに踊らされない Agentとこれまでのシステムの主な違いはタスクのPlanning/Evaluationを誰が⾏うか。与えられた⽬的‧完了基準例：稟議書を作る⼈間が考える LLMが考え続けるタスクの実⾏計画 LLMや外部ツール、知識を使って計画を実⾏実⾏計画を完了して終了タスク実⾏完了条件 LLMが⽬的達成と評価するまで繰り返しこれまでのシステム Agent

Slide 36

Slide 36 text

36 © LayerX Inc. Ai Workforceの開発の中で Agentに踊らされない Agentの性能を担保することは難しい。様々なポイントに課題。必要なContextの明確化、⼈は何をベースに処理するのか柔軟性の設計の難しさ、業務の写像の難しさそもそもの現状のLLMの精度問題正しい処理結果とは何かの定義、業務上の分析 Workﬂow retrieveアルゴリズム設計、正しいIndexの構築 Context Knowledge Evaluation Planning

Slide 37

Slide 37 text

37 © LayerX Inc. 単体ツールからAgentまでのグラデーション Agentに踊らされない⽬指す精度や処理コスト、カバーしたい業務範囲の広さを⾒ながら、適切なアーキテクチャを選定していく。単体ツール Workﬂow Agentic Workﬂow Agent Multi Agent 対応範囲狭い精度担保容易対応範囲広い精度担保難しい

Slide 38

Slide 38 text

38 © LayerX Inc. “Agent”に踊らされないために Agentに踊らされないすべてのパーツがLLMである必要はない。適切な品質‧体験となるようにソフトウェア ‧LLM‧⼈間の誰が何をやるのか塩梅を決める。 Workﬂow Context Knowledge Evaluation Planning LLM Output ⼿で整理してしまうこともミス多く処理時間もかかるレイヤ、本当に必要か？評価は⼈間に任せられないか柔軟性は必要なのか？事業によっては設計パターンだけ決めて、コードにベタ書きでも⼗分

Slide 39

Slide 39 text

Slide 40

Slide 40 text

40 © LayerX Inc. LLM中⼼時代のプロダクトとして今作り直すなら？最後に市場は待ってくれない。⾃⾝のプロダクトが今の時代にどこに位置するべきか、LLM中⼼に考えていこう。 LLMを業務にオンボーディングする KnowledgeやWorkﬂow等パターンを⾃分なりに咀嚼し必要ものを適切に取り⼊れる LLM時代のプロダクトは対応可能な問題の幅が広がる

Slide 41

Slide 41 text

41 © LayerX Inc. Ai Workforceでは様々なポジションでエンジニアを募集しています最後に募集職種（抜粋） ● ソフトウェアエンジニア ● LLMエンジニア（AIワークフロー‧AIエージェントエンジニア） ● SRE ● プロダクトマネージャー ● プロジェクトマネージャー ● コンサルタント LayerX AI‧LLM Division Deck - Speaker Deck