Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Building Products in the LLM Era

y_matsuwitter
February 14, 2025

Building Products in the LLM Era

@Developers Summit 2025

y_matsuwitter

February 14, 2025
Tweet

More Decks by y_matsuwitter

Other Decks in Technology

Transcript

  1. ⽬次 Agenda © LayerX Inc. • ⾃⼰紹介 • LLM中⼼で考える •

    LLM時代のプロダクト変化 • Agentに踊らされない
  2. 4 © LayerX Inc. ⾃⼰紹介 株式会社LayerX 代表取締役CTO 株式会社三井物産デジタル・アセットマネジメント取締役 日本CTO協会 理事

    Fintech/AI・LLM事業を主に管掌。 過去、AI系スタートアップにてCTOおよび新規事業を担当、プラ イム市場まで上場。 その後、数千人規模の事業会社のDXなどをCTOとして担当 のち2021年3月よりLayerXへ。 松本 勇気 Matsumoto Yuki
  3. © LayerX Inc. 7 なぜやるのか LayerXについて 人口減少社会 人の生産性 “すべての経済活動を、デジタル化する” 日本社会の構造的課題

    LayerXの課題認識 LayerXの事業/ミッションとのつながり 人口減社会で起こる課題の解決を、ソフトウェアでサポートする お金の生産性 データの生産性 バクラク事業 Fintech事業 AI・LLM事業
  4. © LayerX Inc. 8 全ての経済活動を、デジタル化する。 会社概要 会社名 株式会社LayerX(レイヤーエックス) 代表取締役 代表取締役CEO 福島

    良典 代表取締役CTO 松本 勇気 創業 2018年 8月1日 資本金 約132.6億円 拠点 東京本社 〒103-0012 東京都中央区日本橋堀留町1丁目9−8 人形町PREX 中部支社 〒453-6111 愛知県名古屋市中村区平池町4-60-12 グローバルゲート 関西支社 〒530-0003 大阪府大阪市北区堂島1-1-5 関電不動産梅田新道ビル 九州支社 〒810-0801 福岡県福岡市博多区博多駅中央街1-1 アミュプラザ博多 従業員数 250名 (2023年12月末日時点)
  5. Confidential © 2024 LayerX Inc. 15 法人版ChatGPTやRAGなどの最初の導入や検証は進んだが、業務の根幹を担う次のレベルでの活用には至っていない。 大手企業における生成AI活用の課題 v 未整備なファイルストレージや

    セキュリティポリシー等で AIで活用できるファイルに制限がある 社内用GPTやRAGなど、 チャット形式がメインのため 複雑な業務などには対応が難しい インプットファイルに 適切な前処理がされていない 生成AIが適用できる業務が 限定的 実際の業務で使っている文書を 生成AIの処理にそのまま使えない 期待した精度が出ない・ 向上しない 課題 原因 Ai Workforceご紹介
  6. Confidential © 2024 LayerX Inc. 16 企業と成長を共にするAIプラットフォーム。AIに業務を教えることが簡単になり、ナレッジやデータ活用を促進。 Ai Workforceでできること AIが自動で要約やタグを生成、ファイルを整理

    しながらデータ登録しナレッジ検索が容易に。 また、マスキング機能で機密情報を含むテキス トや画像を除去・置換し、セキュアな情報共有を 実現。 様々な処理をブロックのように組み合わせて 業務フローを構築可能。処理結果をデータ ベースに登録したり、Excel等の様々な形式 で出力もでき、様々な業務で活用可能 LayerXの生成AIエキスパートがドキュメン トの種類や業務特性に沿って組み込んだ最 適な前処理を標準搭載。複雑な表や画像が 含まれる文書や100ページ以上の文書でも 十分な精度を担保 幅広い業務をAIが代行 ナレッジを安全に社内共有 最適な前処理の工夫 AI-OCR 表や画像の処理 ⽂書サイズ調整 Ai Workforceご紹介
  7. Confidential © 2024 LayerX Inc. 17 エンタープライズ特有の業務ニーズに対応 ※トライアル中のケースも含みます。 製造・自動車 ・技術仕様、過去トラブル情報のナレッジマネジメント

    ・機微情報の自動マスキングによる情報共有・経験共有 ・製品が法令や規格に適合するかどうかのレビュー ・法令、論文、規制情報の調査 金融 ・融資稟議書のドラフト作成、情報転記、内容レビュー ・契約書ドラフト作成、管理、レビュー ・提案書に記載の機微情報を自動マスキングし、情報共有・経験共有 ・広告ガイドライン審査 ヘルスケア ・法令 (薬機法) 、論文、規制情報の調査 ・社内プロジェクト (基礎研究、非臨床試験、治験等) のナレッジマネジメント ・MR のための情報共有・経験共有 ・過去の監査結果や指摘事項、事故情報のナレッジマネジメント 不動産 ・申し込み情報、アンケート情報の内容レビュー、情報転記 ・契約書からの情報抽出、情報転記、システム連携 ・法令、規制情報の調査 ・営業資料の情報共有・経験共有 あらゆる業種・業界で活用可能な、高い拡張性と適応性を備えています。 Ai Workforceご紹介
  8. 19 © LayerX Inc. LLM時代の危機感 ソフトウェアの前提が変わる、だが…? LLMは⼈間と同程度の情報量で仕事を習得するポテンシャルがある Applicatin Model Infrastructure

    Consulting 事業展開のレイヤ この話が少ないことへの危機感 LLM時代にゼロから考えた必要 なアプリケーションとその構成 とは…?
  9. 21 © LayerX Inc. LLMはここだけ 学べば良い LLM中⼼に考える ⼤規模⾔語モデル (LLM) は何がすごいのか

    LLMは⼈間と同程度の情報量で仕事を習得するポテンシャルがある 特化 部分 LLM の 基礎 能⼒ 「知識」の常識 (例: 勘定科⽬の意味) 「やり⽅」の常識 (例: 年次推移の⽐較) 例: 決算書からの付属資料への転記 企業固有の 知識‧やり⽅ 以前の機械学習は この部分も毎回学習
  10. 23 © LayerX Inc. ソフトウェアのLLMによる変化 LLM中⼼に考える LLMの柔軟性を以て、多様な業務‧多様な⼊出⼒に対応することが可能になった。 業務プロセス分析 コード開発 限定的業務⾃動化

    LLM Productで業務プロセス吸収 Promptや 処理プロセス調整 ソフトウェアに合わせた 業務プロセス変更 周辺システム接続 既存業務プロセスの維持 同時に多様な業務の⾃動化 業務プロセス分析 LLMの登場
  11. 24 © LayerX Inc. 解ける問題の範囲が広がった LLM中⼼に考える これまでの単機能‧ポイントソリューションな第⼀世代SaaSから、要素を揃えることで、 より広い問題を組み合わせで解く時代に。 第⼀世代SaaS 第⼆世代SaaS

    (AI-SaaS) 第三世代SaaS (LLM-SaaS) 共有DB‧台帳として業 務プロセスを規格化 AIによる業務プロセス の⼀部⾃動化 幅広い業務プロセスを 変えずに⾃動化
  12. 28 © LayerX Inc. Context LLM時代のプロダクト変化 LLMには記憶能⼒や社内情報の理解はない。どのような問題を解こうとしているのか、回答に必要な最 低限の情報を揃える必要がある。 LLMによる 正しいアウトプット

    業務に必要な情報 • 業務⽬的‧ゴール • ユーザー(担当者)の役割‧権限‧意図 • 業務フロー上の位置づけ‧タスクの前後関係 • ドメイン固有の知識‧⽤語‧ルール • 法的‧コンプライアンス上の制約や前提条件 • 過去の履歴や学習データなどの履歴情報 • 実⾏環境‧システム的制約 • 例外事象や想定外ケースへの対応⽅針 Appでかき集める
  13. 29 © LayerX Inc. Knowledge LLM時代のプロダクト変化 企業の持つ知識資産や外部情報を集約‧管理し、LLMの推論に活⽤‧参照させる。LLMにとっての⻑期 記憶的な仕組み。 Knowledge より精度⾼い評価結果

    Prompt 解くべき課題 関連情報の取得 例:過去の稟議のレビュー結果、審査結果などなど 形式によるが、全⽂検索エンジンを⽤いることが多い。
  14. 30 © LayerX Inc. Workflow LLM時代のプロダクト変化 LLMが業務を遂⾏するためのプロセス定義と実⾏環境。Promptだけで仕事ができるわけではない。前後 のプロセスを定義することで初めて業務がこなせる。 業務プロセス LLM

    Workflow 前処理‧多段処理を経て より⾼精度に定型業務をこなす Workflow×LLMを通じて、柔軟に様々な業務ロジックを落とし込めるWorkflowを 構築すると想像以上に多様な業務をこなせる
  15. 31 © LayerX Inc. Planning LLM時代のプロダクト変化 Contextに対して、どのようにToolとKnowledgeを駆使して問題を解決するか考える。 Workflowを動的に構築する仕組みとも⾔える。Agentのベース。 ⽬的 ⽅針

    API Browser / Computer Knowledge Workflow 実⾏計画 Human in the loop …etc ⽅針に沿って、⽬的を達成するた めの実⾏プロセス。これ⾃体は Workflowの設定そのものと考える 事もできる。
  16. 35 © LayerX Inc. Agentを正しく捉える Agentに踊らされない Agentとこれまでのシステムの主な違いはタスクのPlanning/Evaluationを誰が⾏うか。 与えられた⽬的‧完了基準 例:稟議書を作る ⼈間が考える

    LLMが考え続ける タスクの実⾏計画 LLMや外部ツール、知識を使って計画を実⾏ 実⾏計画を完了して終了 タスク実⾏ 完了条件 LLMが⽬的達成と評価する まで繰り返し これまでのシステム Agent
  17. 36 © LayerX Inc. Ai Workforceの開発の中で Agentに踊らされない Agentの性能を担保することは難しい。様々なポイントに課題。 必要なContextの明確化、⼈は何をベースに処理するのか 柔軟性の設計の難しさ、業務の写像の難しさ

    そもそもの現状のLLMの精度問題 正しい処理結果とは何かの定義、業務上の分析 Workflow retrieveアルゴリズム設計、正しいIndexの構築 Context Knowledge Evaluation Planning
  18. 38 © LayerX Inc. “Agent”に踊らされないために Agentに踊らされない すべてのパーツがLLMである必要はない。適切な品質‧体験となるようにソフトウェア ‧LLM‧⼈間の誰が何をやるのか塩梅を決める。 Workflow Context

    Knowledge Evaluation Planning LLM Output ⼿で整理して しまうことも ミス多く処理時間もかかるレ イヤ、本当に必要か? 評価は⼈間に 任せられないか 柔軟性は必要なのか?事業によっ ては設計パターンだけ決めて、 コードにベタ書きでも⼗分
  19. 41 © LayerX Inc. Ai Workforceでは様々なポジションでエンジニアを募集しています 最後に 募集職種(抜粋) • ソフトウェアエンジニア

    • LLMエンジニア(AIワークフロー‧AIエージェントエンジニア) • SRE • プロダクトマネージャー • プロジェクトマネージャー • コンサルタント LayerX AI‧LLM Division Deck - Speaker Deck