非構造化データをAI活用につなげるデータ基盤 ～データ取込みから検索・活用まで～

JDMCエンジニアの会主催ランチプレゼン20の投影資料です。
■配信日：
2026年8月31日（月）12:00-12:20
https://www.youtube.com/watch?v=ygJd8RMi3RE

■テーマ：
非構造化データをAI活用につなげるデータ基盤 ～データ取込みから検索・活用まで～

■概要

ナレッジ検索やRAGアシスタントの裏側では、ファイルサーバーなどに保存されたPDFをはじめとする非構造化データを取り込み、テキスト抽出、チャンク分割、Embedding生成を行い、その結果をベクターデータベースに反映するデータパイプラインが重要な役割を担います。

本番運用の観点では、ファイルの追加・更新・削除に追随できるメタデータ管理、AI要件に対応できるデータベース、複数の運用担当者でも扱いやすいGUIベースのパイプライン管理、さらに可用性と拡張性を備えたGPUやストレージなどの基盤が求められます。

このランチプレゼンでは、非構造化データのパイプライン処理と、エージェントAIやフィジカルAIの活用を見据え、データ取り込みから検索・活用までを支えるデータ基盤 Dell AI Data Platformの全体像をわかりやすくお伝えします。

■発表者
デル・テクノロジーズ委株式会
AIプラットフォーム ソリューションズ本部
Data Analytics/AI担当シニアスペシャリスト
小野 良夫さん

（おの　よしお）データマネジメントおよびAIに関するプリセールスを担当しています。

■司会
岡谷憲二さん
エンジニアの会サブリーダー

Transcript

1. 非構造化データをAI活用 につなげるデータ基盤 ～データ取込みから検索・活用まで～ 2026年8月31日(月) デル・テクノロジーズ株式会社 AIプラットフォームソリューションズ本部 Data Analytics／AI担当シニアスペシャリスト 小野 良夫
2. アジェンダ • 背景 • Dell AI Data Platform with NVIDIA • 操作/デモ 2 Copyright © Dell Inc. All Rights Reserved.
3. AIへの需要は、かつてないほど高まっています モデルの準備は整っています。インフラへの投資も確保されています。 エージェント型AIの時代が到来しました。 AI環境は準備済です 企業データは整っていない • AIモデルは本番運用に耐えうる品質に達 している • サイロに閉じ込められ、可視性がなく、適 切に管理されていない • GPUインフラへの投資は確保されている • AIイニシアチブは本番導入前に停滞してい る • AIエージェントはエンタープライズへ進出し ている • 投資が十分な成果につながっていない 多くのAIプロジェクトは、モデルが原因で失敗するのではありません。 データが原因で失敗するのです。 3 Copyright © Dell Inc. All Rights Reserved.
4. 分断されたデータがAI活用を妨げている クラウド サイロに閉じ込められている 統合されたアクセス手段がない ダークで非構造化されている ファイルサーバー AIから見えない ガバナンスが効いていない Databases アプリ AIがデータにアクセ スできない AIにはアクセスが必要だが、ポリシーには管理が求 められる データパイプラインが複雑 手作業でつなぎ合わせられている PoCから本番導入へのギャップ Edge / IoT デモでは動作しても、実データでは停滞する 4 Copyright © Dell Inc. All Rights Reserved.
5. 統合されたデータが、AIによる成果を加速させます。 もし、データレイヤーが統合されたならば、すべてが加速します AIをより迅速に本番導入 データパイプラインを自動 実行 GPU投資からより早く リターンを創出 ガバナンスとアクセス管理 を連携 その場でクエリを実行。選択したデータだけを移動します。 5 Copyright © Dell Inc. All Rights Reserved.
6. データの混沌から、AIの成果へ Your data クラウド ファイルサーバー Databases Dell AI Data Platform AI outcomes データ準備 | ガバナンス | 処理 | 検索 | 活用 Insights Data Orchestration Data Engines Apps AIエージェント 分析 自動化 Storage Engines Edge / IoT Discovery PoCから本番導入へ | 非構造化データを活用可能に | 大規模なガバナンス | 年単位ではなく数週間でAIを実現 6 Copyright © Dell Inc. All Rights Reserved.
7. Storage Engine：AIパフォーマンスのために構築 あらゆるワークロードを管理、拡張、保護する専用設計のストレージ。 PowerScale ObjectScale Unified file & object Enterprise object at scale 統合ファイルサーバーおよびオブジェクトスト レージ：AIからアーカイブまで、非構造化 データの実績ある基盤。柔軟で安全、AI対 応。 大規模エンタープライズオブジェクトスト レージ：データレイク、モデル成果物、 RAG用コーパス向けに、エクサバイト規 模まで拡張できるクラウドネイティブなS3 オブジェクトストレージ。 Lightning File System Parallel file 並列ファイルシステム：最も高度なトレーニン グおよび推論に対応する、超高スループットの 並列ファイル性能。 3つのエンジン、1つの基盤。NVIDIAにより、エンドツーエンドで高速化。 7 Copyright © Dell Inc. All Rights Reserved.
8. Data Engine：データをAI対応に 最初にデータを移動することなく、クエリ、処理、検索を実行。 Data Analytics Engine Data Processing Engine Data Search Engine Cross-source SQL Batch & streaming クロスソースSQL：フェデレーテッドクエリに より、レイクハウス、データベース、クラウドを 横断。データの場所でクエリを実行し、選 択したデータだけを移動。 バッチおよびストリーミング：データが存在 する場所の近くで、構造化データと非構 造化データを取り込み、変換。 ハイブリッドおよびベクトル検索：インデックス 作成とベクトル検索により、非構造化コンテン ツをRAGやAIエージェント向けの根拠に基づ くコンテキストへ変換。 Hybrid & vector search 生データからAI対応コンテキストまで、1つのプラットフォームで実現。 8 Copyright © Dell Inc. All Rights Reserved.
9. Data Orchestration Engine AIライフサイクル全体のデータパイプラインをオーケストレーションさせる AI-driven automation Unified platform AI主導の自動化：マルチモーダルデータ全体でクラス タリング、フィルタリング、アクティブラーニングを実行し、 データ準備を加速。 統合プラットフォーム：データ、パイプライン、モデルを、協 働型SaaS環境で一元管理。 Developer-centric Enterprise-grade 開発者中心の設計：Python SDKとモジュール型コン ポーネントを備えたAPIファースト設計により、柔軟な自 動化を実現。 エンタープライズ対応：クラウド、オンプレミス、ハイ ブリッド環境で、安全性、コンプライアンス、拡張 性を確保。Dell検証済み。 取り込み → 準備 → データの拡充 | 作成 → トレーニング → 公開 9 Copyright © Dell Inc. All Rights Reserved.
10. 高品質なマルチモーダルデータセットを インデックス化、拡充、キュレーション あらゆる非構造化データを活 用 Docs, PDF, text, audio, video, LiDAR and structured data (coming soon) 適切なデータを選択 データ管理機能により、あらゆる種類の非構 造化データのクエリ、バージョン管理、キュレー ションをサポート。 数百万件のアイテムへ拡張 動画、画像、音声など、数百万件に及ぶ個 別アイテムへ拡張し、革新的なAIアプリケー ションを構築。 Copyright © Dell Inc. All Rights Reserved. 10 Copyright © Dell Inc. All Rights Reserved.
11. NVIDIA統合 NVIDIA NIM Hub: NVIDIAソフトウェアを一元的に扱 う専用ハブです。最新のNIMにアク セスし、簡単に切り替え、探索・発 見できます。 2 3 Fast NIM Deployment: 任意のNIMを、AIブループリントの パイプラインへワンクリックでデプロイ できます。自己インストールと比較し て、ベンチマークで性能を検証済み です。. 1 NGC Auto-updated: 現在37個のNIMを提供中で、 2026年2月中旬までにさらに200 個以上を自動更新する予定です。 Copyright © Dell Inc. All Rights Reserved. 11 Copyright © Dell Inc. All Rights Reserved.
12. How Developers Build with Our AI Development Platform Data Management Multi-Modal Pipelines ML Operations RLHF Model Marketplace Functions & Apps Copyright © Dell Inc. All Rights Reserved. 12 Copyright © Dell Inc. All Rights Reserved.
13. PDFファイル テキスト抽出 メタデータ抽出 チャンク(分割) txtファイル DOEではPipelineというオブジェクトで処理を定義します。処理内容、処理状況は一目瞭然です。 このPipelineデモでは、PDFファイルからテキストを抽出して、分割して、テキストファイルで保存する処 理の実装を紹介します。 本来のRAGならば、この処理の後に、PDFから得られたテキストや画像をEmbedding、ベクターDB へにアップロードする処理が続きます。 いわゆるRAGでは、ベクターDBに格納されたPDFやHTML由来のデータに対して、検索が行われま す。 単純に抽出したテキストをベクターDBに突っ込めばよい、というわけではないです。 実用的な精度を得るためには、メタデータの付与、テキストのチャンク (分割単位)、テキストの内容 (例 文章は簡潔明瞭か、 FAQとして整理されているか、など) を最適化する必要があります。これら の処理の結果を、自動もしくは人手によってモニタリングすることは非常に重要です。 Copyright © Dell Inc. All Rights Reserved.
14. Datasetオブジェクトは、フォルダやS3バケツのようなモノで、ファイルの集まり(処理対象となるPDFファイル、LiDAR データなど)を管理します。 Copyright © Dell Inc. All Rights Reserved.
15. このPipelineの定義では、処理の最初はDatasetノードです。 Datasetノードでは前頁のDatasetオブジェクトを指定しています。 Triggerを設定することで、このDatasetにファイルがアップロードされたらPipelineを自動 実行することが可能です。 Copyright © Dell Inc. All Rights Reserved.
16. 次の処理は、PDFからテキストを抽出することであり、そのため にPDF To Txtノードを設定します。 Open Code Editorを開くことで、dataloop sdk(dtlpy) を通じてDataオブジェクトからPDF(や、ppt, docなど)からテ キストを抽出するPythonコードがプリセットされていることを確 認することができます。コードはカスタマイズ可能です。 Service Settingsでは、このノードのコンテナイメージや割り 当てられたリソースを確認することができます。 Copyright © Dell Inc. All Rights Reserved.
17. 抽出されたテキストに対してPost-Processing処理を行います。 具体的には、メタデータの取得や生成、付属するアノテーション情報(例 OCRにより 得られたテキスト)の抽出などであり、カスタムコードをCodeノードで設定します。 Copyright © Dell Inc. All Rights Reserved.
18. Text-to-Chunksノードでは、いわゆるチャンク化（Chunking）を行います。PDFから抽 出したテキストを一定の単位で分割し、後続のEmbedding生成やRAG検索で利用しやす い形式のテキストファイルとして出力します。 ここでは、512文字ごとにテキストファイルを生成する設定としています。 RAGでは通常、EmbeddingモデルやLLMのコンテキスト長を考慮してチャンクサイズを決定 しますが、本設定ではトークン数ではなく文字数を基準に分割しています。 ただし、この方式では段落や見出しなどの文脈上の区切りを考慮していません。そのため、文 章の途中で分割される可能性があり、検索精度や回答品質に影響する場合があります。 実運用では、文字数だけでなく、段落・見出し・セクションなどの意味的な境界を考慮した チャンク化を行うことで、より高いRAG性能が期待できます。 Copyright © Dell Inc. All Rights Reserved.
19. 出力されたテキストは、Chunk dataというデータセットに保存されます。 Copyright © Dell Inc. All Rights Reserved.
20. Chunk dataというデータセットに出力されたチャンキング済テキストファイルの一覧です。 Copyright © Dell Inc. All Rights Reserved.
21. オマケです。DOEでは、フィジカルAIで話題のLiDARに関するアノテーションやPipelineを扱うことができます。
22. 先刻のUIはLiDAR Studioです。別の機会がありましたら紹介いたします。
23. 終わりに • Data Orchestration Engineは、非構造化データをAIアプリで利用可能にするための処理 を自動化、可視化しています。 • デモには含まれませんが… – 静止画像を自動分類したり、アノテーションを自動追加する機能が提供されます。 – Pipelineでは一般的に必要と考えられる処理に対応したノードが用意されています。 ▪ ラベリングノードでは、手作業を行い人間が完了と設定することで後続の処理が実行されます。 ▪ EmbeddingやVLMによる画像のテキスト付与といったノードも提供されます。 Internal Use - Confidential 23 Copyright © Dell Inc. All Rights Reserved.
24. Thank you
25. ご質問 • Dataloopはコンテナ環境やGPU環境を含みますか？ – 含みません。Dataloop外部のk8s環境やGPU環境が必要です。同様にストレージ環境(ObjectStorageなど)も必要 です。 • クラウドサービスとの使い分けは？ – オンプレミス/クラウドの判断(既にデータがクラウド/オンプレミス環境にある、または、AI主権やAIガバナンスの観点でクラウ ドにデータを出せない、など)、データの運用(画像・動画・3Dデータのラベリングや人手レビューが必要なのか？、または、文 書取り込みからチャンク化、Embedding、検索、回答生成までを比較的シンプルに構成したいのか？)といった観点で、 検討いただきたいと考えています。 • DataloopはSaaSですか？、オンプレですか？ – 2026年現在はSaaSによる提供となります。 – 2027年以降、オンプレ環境を提供します。 Internal Use - Confidential 25 Copyright © Dell Inc. All Rights Reserved.