マルチモーダル非構造データとの闘い

2026/04/06【DataOps Night #10 ～エンタープライズAIエージェントを支える技術～】登壇資料
https://finatext.connpass.com/event/386359/

Transcript

1. © LayerX Inc. マルチモーダル⾮構造データとの闘い 2026/04/06 LayerX Ai Workforce事業部 Yusuke Shibui
2. ⾃⼰紹介 shibui yusuke • いろいろ → Stability AI → LayerX（いまここ） • 検索データ, R&Dチームのマネージャー • MLOpsコミュニティ運営 • 最近やりたいこと ⽣成AIの⽣成AI以外のエンジニアリング • Github: @shibuiwilliam • FB: yusuke.shibui • データ検索基盤チームの起ち上げ https://tech.layerx.co.jp/entry/2026/01/20/140000
3. 機械学習を本番システムに組み込む方法を デザインパターンとして整理！ 機械学習を組み込んだ本番システムを 実際にハンズオンで作る！ 【共著】大企業からスタートアップまで、 MLOpsの実践例を集約！ 乞うご期待！ Under development
4. © LayerX Inc. 4 LLM/VLMで解けるようになった課題 多様なモダリティのドキュメント理解、整理、⽣成
5. © LayerX Inc. 5 Ai Workforceとは 「知的単純作業」 ドキュメントワークの多くは、思考⼒‧集中⼒が必要であり、その業界‧業務の専⾨性が必要である。 ⼀⽅、正解が決まっていてクリエイティビティがなく、「早く終わらせる」以外に差別化が乏しい。 毎回同じことの繰り返しで やりがいがない 必要なファイルを探すのに 時間がかかる 自分以外に 引き継げる人がいない
6. © LayerX Inc. 6 AIワークフロー機能を使って、さまざまな処理をブロックのように組み合わせることで幅広い業務をAIが代⾏。 処理結果に対して根拠の箇所に直接スクロールしてハイライトしてくれるレビュー機能などを備える。 「知的単純作業」 をLLMとAI Agentで解くAi Workforce AIワークフローの構築 業務実行＆レビュー Ai Workforceとは
7. © LayerX Inc. 7 LLM/VLMで解けるようになった課題と、新たな課題 グラフ ダイアグラム テーブル テキスト 構造 フロー 多様なモダリティのドキュメント理解、整理、⽣成
8. © LayerX Inc. 8 ⽣成AI時代のデータ管理と活⽤をテーマに、課題や取り組みについて話します！ • 多様なドキュメントデータを⽣成AIで理解し拡張する • マルチモーダルなデータを活⽤するために適切なデータ基盤を作る この登壇を聞いて、⽣成AI時代のデータ基盤を⼀緒に作りたい⽅がいらしたら幸いです！ jobs.layerx.co.jp にアクセス！ 今⽇話すこと
9. ドキュメントとAIエージェント
10. © LayerX Inc. 10 LLM/VLMで増えるデータ ⾼い精度での情報抽出 各種コンテンツの⽣成
11. © LayerX Inc. 11 LLM/VLMで増える扱えるデータ 世の中のドキュメントはマルチモーダル { "title": "なぜスタートアップなのか", "description": "イノベーションを創出し、⼤きく成⻑するスター トアップは経済成⻑のドライバーとなる存在であることを⽰すス ライド。特に、⽶国経済ではGAFAMのような新興企業が経済成⻑ を牽引していることを強調している。", "graph_overview": { "graph_title": "⽇本（TOPIX）と⽶国（S&P）における直近10年 間の株式市場のパフォーマンスの推移", "x_axis": "年（2010〜2020）", "y_axis": "騰落率（%）", "data_series": [ { "label": "S&P500（GAFAM含む）", "color": "⻘", "trend": "2010年以降、急上昇し約+900%近くまで成⻑。" }, { "label": "S&P500（GAFAM除く）", "color": "⾚", "trend": "緩やかな上昇。約+200〜300%程度の伸び。" }, { "label": "TOPIX", "color": "黒", "trend": "ほぼ横ばいで推移。成⻑率は+100〜200%程度。" } ] }, "graph_meaning": { "main_message": "GAFAMのような新興企業が⽶国経済成⻑を 牽引しており、それらを除くと⽇⽶の株式市場の成⻑差は⼩さい ことを⽰している。", "insight": "スタートアップや新興企業の存在が経済全体の成⻑ に⼤きな影響を与えており、⽇本でも同様にイノベーションを⽣ み出すスタートアップの育成が重要であることを⽰唆している。" } }
12. © LayerX Inc. 12 データとAIエージェント
13. © LayerX Inc. 13 データとAIエージェント AIエージェントが価値を ⽣むためのデータ （コンテキスト, メモリ）
14. © LayerX Inc. 14 データとAIエージェント AIエージェントは 各種データを⽤いて 業務や開発を⾃動化する
15. © LayerX Inc. 15 AIエージェントのためのデータ 全量データを⼊れて AIエージェントだけで⾼度に 情報抽出、整理したいが、 Needle-in-haystackになる
16. © LayerX Inc. 16 AIエージェントのためのデータ メタデータ ファイル OCR
17. © LayerX Inc. 17 AIエージェントのためのデータ メタデータ ファイル OCR ダイアグラム → 意味理解 グラフ → 意味理解
18. © LayerX Inc. 18 AIエージェントのためのデータ メタデータ ファイル OCR ダイアグラム → 意味理解 グラフ → 意味理解
19. © LayerX Inc. 19 AIエージェントのためのデータ メタデータ ファイル OCR ダイアグラム → 意味理解 グラフ → 意味理解 固有表現 関係性
20. © LayerX Inc. 20 AIエージェントのためのデータ 情報整理 意味理解と 情報検索
21. © LayerX Inc. 21 LLM/VLMで増えるデータ LLM/VLM/RAGで処理 LLM/VLM/RAGはデータパイプラインの 重要な技術
22. © LayerX Inc. 22 ドキュメントはLLM/VLM、プロンプトエンジニアリング、ML/AI、RAGを活⽤してデータ抽出される   データパイプラインの⼀部にLLM/VLM、プロンプトエンジニアリング、ML/AI、RAGを導⼊ 汎⽤的な情報抽出： LLM/VLM利⽤ 品質改善： プロンプトエンジニアリング、LLM-as-a-Judge、Human-in-the-Loop 特定要件に特化： 独⾃にML/AI/OCRを学習、推論 さらに複雑な要件特化： RAGや上記の組み合わせ マルチモーダルなドキュメントから情報抽出する
23. マルチモーダル⾮構造データとの闘い
24. © LayerX Inc. 24 マルチモーダルデータを扱う課題 { "title": "なぜスタートアップなのか", "description": "イノベーションを創出し、⼤きく成⻑するスター トアップは経済成⻑のドライバーとなる存在であることを⽰すス ライド。特に、⽶国経済ではGAFAMのような新興企業が経済成⻑ を牽引していることを強調している。", "graph_overview": { "graph_title": "⽇本（TOPIX）と⽶国（S&P）における直近10年 間の株式市場のパフォーマンスの推移", "x_axis": "年（2010〜2020）", "y_axis": "騰落率（%）", "data_series": [ { "label": "S&P500（GAFAM含む）", "color": "⻘", "trend": "2010年以降、急上昇し約+900%近くまで成⻑。" }, { "label": "S&P500（GAFAM除く）", "color": "⾚", "trend": "緩やかな上昇。約+200〜300%程度の伸び。" }... } LLM/ VLM LLM/ VLM 情報抽出 変換、登録 利⽤
25. © LayerX Inc. 25 マルチモーダルデータを扱う課題 • 正確性 • 網羅性 • 有⽤性 { "title": "なぜスタートアップなのか", "description": "イノベーションを創出し、⼤きく成⻑するスター トアップは経済成⻑のドライバーとなる存在であることを⽰すスラ イド。特に、⽶国経済ではGAFAMのような新興企業が経済成⻑を 牽引していることを強調している。", "graph_overview": { "graph_title": "⽇本（TOPIX）と⽶国（S&P）における直近10年 間の株式市場のパフォーマンスの推移", "x_axis": "年（2010〜2020）", "y_axis": "騰落率（%）", "data_series": [ { "label": "S&P500（GAFAM含む）", "color": "⻘", "trend": "2010年以降、急上昇し約+900%近くまで成⻑。" }, { "label": "S&P500（GAFAM除く）", "color": "⾚", "trend": "緩やかな上昇。約+200〜300%程度の伸び。" }... } LLM/ VLM LLM/ VLM • 信頼性 • 更新性 • ⽤途 • 発⾒可能性 • ⾃⼰修復性
26. © LayerX Inc. 26 マルチモーダルデータを扱う課題 • 正確性 • 網羅性 • 有⽤性 { "title": "なぜスタートアップなのか", "description": "イノベーションを創出し、⼤きく成⻑するスター トアップは経済成⻑のドライバーとなる存在であることを⽰すス ライド。特に、⽶国経済ではGAFAMのような新興企業が経済成⻑ を牽引していることを強調している。", "graph_overview": { "graph_title": "⽇本（TOPIX）と⽶国（S&P）における直近10 年間の株式市場のパフォーマンスの推移", "x_axis": "年（2010〜2020）", "y_axis": "騰落率（%）", "data_series": [ { "label": "S&P500（GAFAM含む）", "color": "⻘", "trend": "2010年以降、急上昇し約+900%近くまで成⻑。" }, { "label": "S&P500（GAFAM除く）", "color": "⾚", "trend": "緩やかな上昇。約+200〜300%程度の伸び。" }... } LLM/ VLM LLM/ VLM モデル⾃体の認識性能 プロンプトエンジニアリング LLM-as-a-Judge ML/AIとの組み合わせ LoRA/Fine tuning Feedback loopを回したいが、 データ規模と処理コスト的に 何度も検証できるものではない
27. © LayerX Inc. 27 マルチモーダルデータを扱う課題 { "title": "なぜスタートアップなのか", "description": "イノベーションを創出し、⼤きく成⻑するス タートアップは経済成⻑のドライバーとなる存在であることを⽰ すスライド。特に、⽶国経済ではGAFAMのような新興企業が経済 成⻑を牽引していることを強調している。", "graph_overview": { "graph_title": "⽇本（TOPIX）と⽶国（S&P）における直近10 年間の株式市場のパフォーマンスの推移", "x_axis": "年（2010〜2020）", "y_axis": "騰落率（%）", "data_series": [ { "label": "S&P500（GAFAM含む）", "color": "⻘", "trend": "2010年以降、急上昇し約+900%近くまで成⻑。" }, { "label": "S&P500（GAFAM除く）", "color": "⾚", "trend": "緩やかな上昇。約+200〜300%程度の伸び。" }... } LLM/ VLM LLM/ VLM • 信頼性 • 更新性 • ⽤途 • 正確性 • 網羅性 • 有⽤性 ←情報抽出の性能が 変換‧登録の品質になる→ ⽤途によって変換⽅法や登録先が 異なるが、実装‧実⾏コストは 情報抽出より⾼い
28. © LayerX Inc. 28 マルチモーダルデータを扱う課題 { "title": "なぜスタートアップなのか", "description": "イノベーションを創出し、⼤きく成⻑するスター トアップは経済成⻑のドライバーとなる存在であることを⽰すス ライド。特に、⽶国経済ではGAFAMのような新興企業が経済成⻑ を牽引していることを強調している。", "graph_overview": { "graph_title": "⽇本（TOPIX）と⽶国（S&P）における直近10 年間の株式市場のパフォーマンスの推移", "x_axis": "年（2010〜2020）", "y_axis": "騰落率（%）", "data_series": [ { "label": "S&P500（GAFAM含む）", "color": "⻘", "trend": "2010年以降、急上昇し約+900%近くまで成⻑。" }, { "label": "S&P500（GAFAM除く）", "color": "⾚", "trend": "緩やかな上昇。約+200〜300%程度の伸び。" }... } LLM/ VLM LLM/ VLM • 発⾒可能性 • ⾃⼰修復性 情報抽出、変換、登録の品質が AIエージェントによるデータ活⽤の 妥当性になる 同時に、AIエージェント⾃体が データ利活⽤の品質を左右
29. © LayerX Inc. 29 マルチモーダル⾮構造データとの闘い • ほとんどのドキュメントはマルチモーダルであり、AIエージェントもマルチモーダル対応が必要 • 画像やグラフ、ダイアグラム、⾳声、動画等は⾃然⾔語よりも受け取り⼿によって理解が異なる • 従来のマルチモーダルデータのエンジニアリングはML/AI領域だったが、AIエージェントの⼒を発揮 するためにデータエンジニアリングの戦場にもなってきている • 俺達の闘いはこれからだ！
30. マルチモーダル⾮構造データの闘い ありがとうございました！
31. © LayerX Inc. 31 We are hiring! AI検索エンジニア AIシニアデータエンジニア https://open.talentio.com/r/1/c/layerx/pages/109629 https://open.talentio.com/r/1/c/layerx/pages/107758