飽くなき自動生成への挑戦

2026/02/24「LayerXの向き合うR&D課題 〜ビジネス課題を解く挑戦〜」登壇資料
https://layerx.connpass.com/event/383718/

Transcript

1. © LayerX Inc. Next-Gen Agent Memory 飽くなき⾃動⽣成への挑戦 2026/02/24 LayerX Ai Workforce事業部 R&D、データ検索基盤チームマネージャー Yusuke Shibui
2. ⾃⼰紹介 shibui yusuke • いろいろ → Stability AI → LayerX（いまここ） • R&D, データ検索基盤チームのマネージャー • MLOpsコミュニティ運営 • 最近やりたいこと ⽣成AIの⽣成AI以外のエンジニアリング • Github: @shibuiwilliam • FB: yusuke.shibui 猫のようで サイズは犬 猫耳メガネ LLMに聞いてみた
3. 機械学習を本番システムに組み込む方法を デザインパターンとして整理！ 機械学習を組み込んだ本番システムを 実際にハンズオンで作る！ 【共著】大企業からスタートアップまで、 MLOpsの実践例を集約！ 執筆中！ Under development
4. 1. ⾃動化に魅せられた 2. プロンプト⾃動⽣成 3. ワークフロー⾃動⽣成 4. 検索スキーマ⾃動⽣成 5. スライド⾃動⽣成 6. ⾃動化を⾃動⽣成する
5. © LayerX Inc. 5 ⾃動化への挑戦 背景 AI開発で⼈類は⾃動化を⾃動化してきた 猫：90％ ⽝：10％ ML/AIの⾃動化 データを⼊れて重みを調整 scikit-learn, Pytorch, Jax/Flux…
6. © LayerX Inc. 6 ⾃動化への挑戦 背景 AI開発で⼈類は⾃動化を⾃動化してきた 猫：90％ ⽝：10％ ML/AIの⾃動化 データを⼊れて重みを調整 MLOps
7. © LayerX Inc. 7 ⾃動化への挑戦 背景 AI開発で⼈類は⾃動化を⾃動化してきた パラメータの⾃動調整 Optuna, Katib アーキテクチャ⾃動探索 Neural Architecture Search, AutoML MLOps ML/AIを⾃動化 ML/AIの構造を⾃動探索
8. © LayerX Inc. 8 AIエージェント時代の⾃動化 背景 AI開発で⼈類は⾃動化を⾃動化してきた Input Search LLM LLM Code Output AIエージェントの⾃動化 リクエストを解決する LangGraph, CrewAI ...
9. © LayerX Inc. 9 AIエージェント時代の⾃動化 背景 AI開発で⼈類は⾃動化を⾃動化してきた Input Search LLM LLM Code Output AIエージェントの⾃動化 リクエストを解決する LLMOps AgentOps
10. © LayerX Inc. 10 AIエージェント時代のメタプログラミング 背景 AI開発で⼈類は⾃動化を⾃動化してきた AIでAIエージェントを ⾃動的につくる
11. プロンプト⾃動⽣成
12. © LayerX Inc. 12 プロンプト⾃動⽣成 特定の⼊⼒を決まった出⼒に変換するプロンプトを⾃動的に⽣成する Prompt executor Evaluator & Prompt writer Memory ＜⽬的＞ ⾒積書から対象商品を 詳細に抽出して Analyze issue prioritization & Fix 1 per iteration あなたは見積書から商品情報を構造化抽出する 専門アシスタントです。 以下の見積書テキストから商品情報を抽出し、 必ずJSON形式のみで出力してください。 説明文は一切含めないでください。 【抽出ルール】 - 商品ごとに1オブジェクト - 不明な値は null - 数値は数値型で出力 - 通貨記号やカンマは除去 【出力フォーマット】 { "items": [ { "product_name": "string", "model_number": "string | null", "quantity": number | null, "unit_price": number | null, "amount": number | null, "description": "string | null" } ] }
13. ワークフロー⾃動⽣成
14. 14 Confidential © 2025 LayerX Inc. LLMとコードを複数回呼び出し、結果を組み合わせて、複雑なタスクを解決する⼿法 AIワークフローとは AIワークフローの例 LayerXのAi Workforce
15. 15 Confidential © 2025 LayerX Inc. 最近は、プロンプトとワークフローを同時に⽣成する⼿法が提案されている AIワークフロー⾃動⽣成の研究の流れ 背景と課題 引用もと：https://iclr.cc/media/PosterPDFs/ICLR%202025/27691.png
16. 16 Confidential © 2025 LayerX Inc. ワークフロー⾃動⽣成 AIでビジネスドキュメントを業務に合わせて変換‧抽出‧整理する プロンプト Agentic Workflow ⾃動⽣成
17. 検索スキーマ⾃動⽣成
18. © LayerX Inc. 18 多種多様な⾮構造化‧マルチモーダルドキュメント種別ごとに検索スキーマが必要 Ai Workforceにおける検索開発の課題 情報抽出 検索 インデックス Query understanding & rewrite ボトルネック ドキュメント種別や形式、内容に適した 検索スキーマや情報抽出⽅法を設計 つまり、とても⼿間がかかる
19. © LayerX Inc. 19 ドキュメント種別や多様性に応じた検索を⽣成AIでエンジニアリングできないか？ 【R&D】検索開発の⾃動化 スライド 契約書 発注書 IR資料 登壇資料 雇用契約書 テーブル形式 ドキュメント形式 営業資料 売買契約書 手書き スライド形式 社内説明資料 コンサル契約書 段落構成 グラフやロゴ グラフや地図 追加・修正契約書 ページ跨ぎ 期ごとの時系列 ドキュメント種別 種 別 ご と の 多 様 性
20. © LayerX Inc. 20 LLMのReasoning能⼒を使ってドキュメントから検索スキーマを定義し抽出する試み 【R&D】検索開発の⾃動化 ｓ 分析 スキーマ ⽣成 LLM as a Judge プロンプト ツール⽣成 情報抽出 スキーマ 検索データ
21. © LayerX Inc. 21 <role> You are an expert in analyzing the content of documents that may include both text and visual elements (scanned pages, slide images, charts, tables, captions, labels and figure legends). </role> <instructions> Your task: extract all textual content that belongs to the search field "numeric_and_figure_text" from the provided PDF page text and the provided page image. The output must be a single string (one line) representing the value of this search field for the page(s). Follow these rules precisely: 1) What to extract: any text that is part of or comes from tables, charts, figures or their annotations, including… LLMのReasoning能⼒を使ってドキュメントから検索スキーマを定義し抽出する試み 【R&D】検索開発の⾃動化 分析 スキーマ ⽣成 LLM as a Judge プロンプト ツール⽣成 情報抽出 page_semantic：ページ‧スライド単位のテキスト埋め込み figure_and_numeric：図やグラフ、地図、テーブルのテキストや数値 diagram_structure：図表やダイアグラムの構造や形状、レイアウト
22. スライド⾃動⽣成
23. © LayerX Inc. 23 AIエージェントでデータ分析してPowerPointスライドを⾃動⽣成 PR Times: https://prtimes.jp/main/html/rd/p/000000588.000036528.htm
24. ⾃動化の⾃動化の⾃動化の⾃動化の⾃動化の⾃動 化の⾃動化の⾃動化の⾃動化の⾃動化の⾃動化の ⾃動化の⾃動化の⾃動化の⾃動化の⾃動化の⾃動 化の⾃動化の⾃動化の⾃動化の⾃動化の⾃動化の ⾃動化の⾃動化の⾃動化の⾃動化の⾃動化の⾃動 化の⾃動化の⾃動化の⾃動化の⾃動化の⾃動化の ⾃動化の⾃動化の⾃動化の⾃動化の⾃動化の⾃動 化の⾃動化の⾃動化の⾃動化の⾃動化の⾃動化の ⾃動化を⾃動⽣成する
25. © LayerX Inc. 25 最近やっていること：Agent SkillからAgent Skillを作る 「⾃動的にドキュメントの合成データ（テストデータ）を⼤量に作る作業」を⾃動的につくる リスク評価 発⾒ サマリー ⽬次 表紙 証跡B 証跡A ‧‧‧ 監査報告書の合成データ ドキュメント構造や⽬的は 似通っているが、 内部的なフォーマットや内容は 全く異なることが多い。 類似性と多様性を実現したい。
26. © LayerX Inc. 26 最近やっていること：Agent SkillからAgent Skillを作る 個別性や統⼀性を拡張的に担保するために、SkillからSkillを作ってドキュメント⽣成 リスク評価 発⾒ サマリー ⽬次 表紙 証跡B 証跡A ‧‧‧ 監査報告書の合成データ 各ドキュメント 作成Skill 指⽰Skill 各ドキュメント 作成Skill 各ドキュメント 作成Skill 各ドキュメント 作成Skill フォーマットや⽅ 向性を指⽰ 各ドキュメント 作成Skill 作成Skill 作成 各ドキュメント 作成Skill 各ドキュメント 作成Skill 各ドキュメント 作成Skill 作成 内容、⽅向性、 フォーマットを 含めて作成
27. まとめ
28. © LayerX Inc. 28 飽くなき⾃動化R&Dの挑戦 • 機械学習やAIの発展は⾃動化と裏表 • 各種エンジニアリング作業を⾃動化する • ⾃動化するアルゴリズムやツールも⾃動⽣成する • 俺達の⾃動化はこれからだ！
29. © LayerX Inc. 29 We are hiring! AIシニアデータエンジニア Applied R&D リサーチエンジニア https://open.talentio.com/r/1/c/layerx/pages/110834 AI検索エンジニア https://open.talentio.com/r/1/c/layerx/pages/107758 https://open.talentio.com/r/1/c/layerx/pages/109629 カジュアル⾯談はこちら！！！
30. 飽くなき⾃動⽣成への挑戦 ありがとうございました！