プロンプトやエージェントを自動的に作る方法

Findy AI Engineering Summit 2025 登壇資料
https://ai-engineering-summit-tokyo.findy-tools.io/2025

Transcript

1. © LayerX Inc. プロンプトやAIエージェントを ⾃動的につくる⽅法 2025/12/16 LayerX Ai Workforce事業部 R&D, データ検索基盤チームマネージャー Shibui Yusuke
2. ⾃⼰紹介 shibui yusuke • いろいろ → Stability AI → LayerX（いまここ） • R&Dとデータ検索のマネージャー • MLOps & データ検索 & バックエンド & インフラ & その他諸々エンジニア • MLOpsコミュニティ運営 • 最近やりたいこと ⽣成AIの⽣成AI以外のエンジニアリング • Github: @shibuiwilliam • FB: yusuke.shibui 猫のようで サイズは⽝ 猫⽿メガネ LLMに聞いてみた
3. 機械学習を本番システムに組み込む⽅法を デザインパターンとして整理！ 機械学習を組み込んだ本番システムを 実際にハンズオンで作る！ 【共著】⼤企業からスタートアップまで、 MLOpsの実践例を集約！ 乞うご期待！ ？？？
4. 4 Confidential © 2025 LayerX Inc. 今⽇話すこと • 実⽤的にAIエージェントを活⽤するためにはプロンプトやワークフローを開発する 必要があります。 • 本セッションではAIエージェントのためのプロンプトやワークフローを⾃動⽣成 する⽅法を共有します。
5. 1. 背景 2. 解決アプローチの設計 3. ⼿法開発 4. 知⾒と改善
6. 1. 背景 2. 解決アプローチの設計 3. ⼿法開発 4. 知⾒と改善
7. 7 Confidential © 2025 LayerX Inc. LLMとコードを複数回呼び出し、結果を組み合わせて、複雑なタスクを解決する⼿法 AIワークフローとは AIワークフローの例 背景
8. 8 Confidential © 2025 LayerX Inc. AIワークフロー構築する上での課題 お客様のドメイン理解をキャッチアップし、 精度の出るワークフローを構築する作業に時間 がかかる 対応できないデータが出てきた場合に、ワーク フローを修正する必要があるが、⼯数がかかる ワークフロー構築に⼿間に時間がかかる LLMの変更やデータの変化に対して堅牢でない 背景
9. 9 Confidential © 2025 LayerX Inc. 最近は、プロンプトとワークフローを同時に⽣成する⼿法が提案されている AIワークフロー⾃動⽣成の研究の流れ 背景 引用もと：https://iclr.cc/media/PosterPDFs/ICLR%202025/27691.png
10. 1. 背景 2. 解決アプローチの設計 3. ⼿法開発 4. 知⾒と改善
11. © 2025 LayerX Inc. 11 プロンプト、ワークフロー⾃動⽣成 解決アプローチ設計 ⼈間⽤の業務ルールをAI⽤の業務ルールにうまく変換できるのか？ ⼈間⽤の業務ルール Input Search LLM LLM Code Output AI⽤の業務ルール
12. © 2025 LayerX Inc. 12 解決アプローチ設計 AFlow: Automating Agentic Workflow Generation https://arxiv.org/pdf/2410.10762 LLMがワークフローを⾃動的に⽣成‧改善していく⼿法 プロンプト、ワークフロー⾃動⽣成 ワークフロー(探索空間)を、ノード、エッジ、オペレーター3つの要素で表現
13. 13 Confidential © 2025 LayerX Inc. まずはシンプルな⽅法でスタートし、必要に応じて改修する プロンプト、ワークフロー⾃動⽣成 初⼿のアプローチ 解決アプローチ設計 Generator (LLM) Executor (LLM & Code) Evaluator workflow predictions feedback ‧meta prompt ‧context
14. 1. 背景 2. 解決アプローチの設計 3. ⼿法開発 4. 知⾒と改善
15. 15 Confidential © 2025 LayerX Inc. 取り組むタスクの概要 AIでビジネスドキュメントを業務に合わせて変換‧抽出‧整理する プロンプト Agentic Workflow ⾃動⽣成
16. 16 Confidential © 2025 LayerX Inc. 取り組むタスクの概要 ⾒積書から商品名、価格、耐⽤年数等を抽出して国税庁基準に分類 プロンプト Agentic Workflow ⾃動⽣成
17. 17 Confidential © 2025 LayerX Inc. ⾒積書からの情報抽出‧分類タスクの3課題 コンテキスト爆発 : 全ての実⾏ログをコンテキストに収められない 課題① モグラ叩き問題 : 悪いサンプルを改善すると、良いサンプルが悪化する 課題② 最適化が不安定 : 10回に1回しか⾼精度が出ない 課題③ ⾒積書からの情報抽出‧分類
18. 18 Confidential © 2025 LayerX Inc. ループごとにコンテキストが積み重なっていく ⾒積書からの情報抽出‧分類 Generator (LLM) Executor (LLM & Code) Evaluator workflow predictions feedback ‧meta prompt ‧context 1st loop 2nd loop 3rd loop 4th loop … コンテキスト爆発 : 全ての実⾏ログをコンテキストに収められない 課題①
19. 19 Confidential © 2025 LayerX Inc. コンテキスト爆発 : 全ての実⾏ログをコンテキストに収められない 課題① 解決策: 下位50%のサンプルの 実⾏ログに絞る ⾒積書からの情報抽出‧分類 下位50%のサンプルに絞り込んだ例
20. 20 Confidential © 2025 LayerX Inc. モグラ叩き問題 : 悪いサンプルを改善すると、良いサンプルが悪化する ⾒積書からの情報抽出‧分類 課題② こっちを叩く ためには こっちは一緒に 叩けない
21. 21 Confidential © 2025 LayerX Inc. モグラ叩き問題 : 悪いサンプルを改善すると、良いサンプルが悪化する ⾒積書からの情報抽出‧分類 課題②      スコア差分表 解決策: 1ステップ前の状態を 保存し、スコア差分表をコ ンテキストに導⼊
22. 22 Confidential © 2025 LayerX Inc. 最適化が不安定 : 10回に1回しか⾼精度が出ない 課題③ → 約3回に1回でうまくいくように [1] Large Language Monkeys: Scaling Inference Compute with Repeated Sampling ⾒積書からの情報抽出‧分類 Repeated Samplingの概要図 [1] [2] 戦えるAIエージェントの作り⽅ → とても参考になりました 解決策: Repeated Sampling の活⽤
23. 23 Confidential © 2025 LayerX Inc. ⾒積書からの情報抽出‧分類の結果 ⾒積書からの情報抽出‧分類 以下のようなワークフローが⽣成され、精度は94.1%まで向上(注1,2) (注1) GeneratorにはGPT-5で、Executorにはgpt-4.1-miniを利⽤ VLM (商品名と価格の抽出) LLM (耐⽤年数の⼤カテゴ リーごとに分類) LLM (耐⽤年数ラベルの推定) (注2) サンプル数は80で、訓練データでの精度。まずは訓練データにフィッティングできるかを検証するため
24. 24 Confidential © 2025 LayerX Inc. タスク2：⾒積書からの情報抽出‧分類 # この⾒積書PDFから、テーブルの⾏ごとに「商品名」「価格」を抽出します。価格は誤差を避けるため、数量と単価‧⾏合計の関係を明⽰的に読み取り、以下の⽅針で選択してくださ い。 # 抽出ポリシー（価格の選択） - ⾏内に数量（数量、Qty、台、式、セット、m、個 等）が明⽰され、明らかに数量>1の場合は「単価（unit_price）」を価格として採⽤する。 - 数量が1または数量が明確でない場合は「⾏合計（line_total）」を価格として採⽤する。 - 単価‧合計のどちらとも特定できない場合のみ price_source="unknown" とし、推測や計算はしない。 # 厳守ルール: - 計算や単位変換を⾏わない（表⽰されている整数値をそのまま採⽤）。 - OCR誤読補正をしない（⾒えた⽂字‧数字をそのまま使う）。 - 数字が複数並ぶ場合は、列⾒出しと⽔平⽅向の対応から「単価」「合計/⾦額/⼩計」欄を判断する。右端の⾦額列が合計欄であることが多いが、数量>1のときは合計ではなく単価欄を 優先する。 - ⾒出し/カテゴリ合計（例: 「その他設備」「諸費⽤」「⾞両関連」「⼯具‧器具関連」「⼩計」「合計」「消費税」等）は品⽬ではなく、row_roleを適切に付与 （heading/category_summary/subtotal/tax/grand_total/shipping_total）し、単価‧合計の選択はしない。 - 値引きは符号を保持。通貨記号やカンマは除去し整数化。 row_role と price_source: - row_role: one of ["item","service","work","discount","heading","category_summary","subtotal","tax","grand_total","shipping_total"] - price_source: one of ["unit_price","line_total","subtotal","category_total","grand_total","tax","unknown"] # 出⼒形式（JSONオブジェクト、説明⽂禁⽌） { "items": [ { "商品名": "<⾏テキスト>", "価格": <整数>, "row_role": "<上記のいずれか>", "price_source": "<上記のいずれか>", "数量": <整数またはnull>, "unit_price": <整数または null>, "line_total": <整数またはnull> } , ... ] } # 補⾜ - 「数量」「unit_price」「line_total」は判読できた範囲で記録（無ければnull）。 - サービス‧⼯事（据付/搬⼊/試運転/教育/申請 等）は row_role を "service" または "work" とする。 - 表が乱れている場合でも、その⾏テキストに最も紐づく列の値を選ぶ。 ⽣成されたプロンプト : VLM(商品名と価格の抽出)ノード
25. 25 Confidential © 2025 LayerX Inc. あなたは⾒積明細の正規化エンジンです。⼊⼒items配列から、スコア最⼤化のために次を実施してください。 - ⽬的: 単価または⾏合計に基づく対象明細（商品‧サービス‧⼯事‧値引き）のみを残し、⾒出し‧カテゴリ合計‧⼩計‧総計‧税‧送料などの⾮対象⾏を厳格に除外する。価格は必 ず数量規則に従って再選択し、選んだ値で「価格」を強制上書きする（計算や単位変換は禁⽌）。 - 後段分類強化のため、各⾏の row_role を row_role_hint として保持する。 # [絶対遵守] 価格の再選択‧強制上書き（⾮計算‧⾮変換‧選択のみ）: - ⼊⼒には各⾏ごとに {商品名, 価格, row_role, price_source, 数量, unit_price, line_total} が与えられる。 - 最終出⼒の「価格」は、以下の規則で「既に与えられている整数のいずれか（unit_price / line_total / ⼊⼒の価格）」から必ず1つを選んで置き換える。VLM出⼒の「価格」や 「price_source」があっても、下記数量規則を優先し必ず上書きする。 1) 数量が明確に>1のとき: unit_price が判読可能(⾮null)なら unit_price を採⽤し、これを「価格」に設定する。 2) 数量が1 または 数量が不明(null)のとき: line_total が判読可能(⾮null)なら line_total を採⽤し、これを「価格」に設定する。 3) 参照すべきフィールドがnull/⽋落のときは、判読可能なもう⼀⽅（unit_price または line_total）の整数を採⽤。両⽅とも無ければ⼊⼒の「価格」をそのまま残す。 4) 「千円」などの単位表記が含まれる場合でも、単位変換や推測は⾏わない。あくまで⼊⼒に存在する整数値（unit_price / line_total / 価格）の中から選ぶ。 5) 値引きは符号を保持（負値のまま）。 # [domain 推定（1つ選択）] - vehicle_fleet: トラック/バン/ダンプ/ウイング/トレーラ/ETC/ドラレコ/⾞両登録 等 - office_shop: 家具/家電/看板/ポスター/ラミネータ/プロジェクタ/パソコン/インターホン/電話/時計 等 - metal_fabrication: レーザー/パンチ/ベンダ/溶接/ショットブラスト/電解研磨/PVD 等 - textile: カード機/織機/テンター/染⾊/サイジング/ワインダー/酸化炉/黒鉛化炉/電解槽 等 - steel_building: Steel-/RC-系建物、配電盤/バスダクト/照明制御/ATS、UPS、給排⽔設備、アーケード/オーニング 等 - agri_planting: 果樹棚/ホップ棚/フェンス/サイロ/⽔路/貯⽔槽/暗渠/⼟管/集⽔桝/苗⽊ 等 - construction_equipment: タワークレーン/仮設リフト/路⾯カッター/現場発電機 等 - gas_station: スタンド設備/地中タンク/ディスペンサ/防爆照明 等 - food_process: ニーダー/充填機/冷却機/⾦属検出機/ユニットクーラ 等 - wood_forestry: ウィンチ/樹⽪むき/チッパー/キルン/集塵 等 - hotel_hospitality: ホテル‧宿泊‧接客施設向け備品/什器 等 # [出⼒形式] - JSON配列のみ、説明⽂禁⽌。 - 以下省略.... ⽣成されたプロンプト : LLMノード(耐⽤年数の⼤カテゴリーごとに分類) タスク2：⾒積書からの情報抽出‧分類
26. 26 Confidential © 2025 LayerX Inc. あなたは固定資産コードの専⾨分類エンジンです。与えられた1件の明細（商品名、価格、domain、row_role_hint）に対して、最も適切な固定資産分類コードを1つ選び、code（3桁 ⽂字列）または"other"を付与してください。価格は変更せずにそのまま出⼒します。domainは補助情報であり、最終判断は商品名の意味に基づきます。 ⼊⼒（1アイテム） { "商品名": "<明細⾏テキスト>", "価格": <整数>, "domain": "<gas_station / steel_building / vehicle_fleet / office_shop / metal_fabrication / food_process / textile / wood_forestry / agri_planting / construction_equipment>", "row_role_hint": "<item/service/work/discount>" } 出⼒: { "code": "<3桁コード or other>", "商品名": "<⼊⼒の商品名>", "価格": <⼊⼒の価格> } # 絶対遵守: - 付帯サービス（設計、申請、据付、搬⼊‧荷揚げ、基礎⼯事、配線‧配管、試運転、調整、検査、教育、研修、初期設定、ステッカー施⼯、ラッピング、架装、清掃、廃材処分、輸送 ‧陸送‧送料 など）は、row_role_hint が service/work の場合は必ず code="other"。 - ⼊⼒の価格は変更しない。迷う場合はコードではなくotherを選ぶ。 - 建物コード(096/097/081/082/071/072/093/063/066など)は、商品名にその数値が明⽰されている場合のみ採⽤する。 - 【優先ルール】商品名に「FAX」「ファクス」「ファクシミリ」「FAX機能付」のいずれかが含まれる場合は、複合機等(028)ではなく必ず030（FAX/ファクシミリ）を選ぶ。 # 拡張分類ガイド（Master Data準拠‧頻出品⽬強化）： [建物‧建物附属設備] - 建物パッケージ: 商品名に 096/097/081/082/071/072/093/063/066 などがあれば該当コード。 - 098: アーケード/キャノピー/ひさし（⾦属）。 - 099: オーニング（⽇よけ、樹脂/布系）。 - 100: 店舗⽤簡易装備（レジカウンター、簡易サインスタンド/内照式サインスタンド、POSカート、ノックダウン棚、組⽴式試着室 等）。 - 101: 蓄電池電源装置‧UPS‧⾮常照明⽤バッテリー、産業⽤蓄電システム、DC電源ラック、集中電源装置。 - 102: 電気設備（配電盤、照明/照明制御、バスダクト/バスタクト、ATS、⾃動切替開閉器）。また、照明器具（LED⾼天井灯/LEDダウンライト/投光器/LED灯具⼀式/照明制御装置 /DALI関連）は102。 - 103: 給排⽔‧衛⽣‧ガス（直結増圧給⽔ユニット、汚⽔排⽔ポンプ、業務⽤給湯器、グリーストラップ、ガス減圧器/レギュレータユニット）。 [⾞両‧運搬具] - 104: 軽（軽乗⽤/0.66L以下）。 - 以下省略... ⽣成されたプロンプト : LLMノード(耐⽤年数ラベルの推定) タスク2：⾒積書からの情報抽出‧分類
27. 1. 背景 2. 解決アプローチの設計 3. ⼿法開発 4. 知⾒と改善
28. 28 Confidential © 2025 LayerX Inc. 多様なタスクで検証した結果、以下のような⼿法に帰着 現時点のワークフロー⽣成⼿法 Generator (LLM) Executor Evaluator workflow predictions Memory feedback sampling ‧meta prompt ‧context
29. 29 Confidential © 2025 LayerX Inc. 得られた知⾒ • 知⾒1：コンテキストエンジニアリング ◦ 実⾏ログ、⼊⼒⽂書、スコア差分表の追加により、Generator(LLM)が適切な 改善判断をできるようになり精度向上 • 知⾒2：探索⽅法の⼯夫 ◦ 探索⽅法をRepeated Samplingに変えることで最適化の安定性が⼤幅に向上
30. 最後に
31. 31 Confidential © 2025 LayerX Inc. 最後に ① 部署横断のコミュニケーションが⼤事 → 初期段階から関係部署と議論し、必要に応じて問題設定を（現実的なラインに）  緩和‧最適化することでナイーブな⼿法でも⼗分に成果を出せる ② エンジニアリングで解決できるところは解決し、不確実性を抑制する ③ 諦めない⼼が⼤事
32. We are hiring! AIシニアデータエンジニア Applied R&D リサーチエンジニア https://open.talentio.com/r/1/c/layerx/pages/110834 https://open.talentio.com/r/1/c/layerx/pages/107758 MLOps / 機械学習基盤エンジニア https://open.talentio.com/r/1/c/layerx/pages/112898
33. プロンプトやAIエージェントを ⾃動的につくる⽅法 ありがとうございました！