No content

#HPEDiscover AIの本格活用を加速させる Private LLM Jan 28, 2025 サービスデリバリー統括本部 トランスフォーメーションコンサルティング本部 テクノロジーアーキテクト部 杉山 禎夫

2022 Explosion 2023-2024 Experimentation 2025- Production • ChatGPT 公開 • 2ヶ月で1億ユーザーに APIサービスやオープンモデル によるPoCが盛んに AIの本番環境への活用が進む 生成AIの本格活用

4 PoCから本番環境へ展開されるのは1割 生産性向上に到達できない 要件の定義、データの整備、AIの チューニングなどに時間を要し、 PoCのタイムリミットまでに成果を 出すことができない。 Brand and reputation risks Security and data privacy concerns Lack of specialized skills and expertise Infrastructure challenges from PoC to Production データプライバシー アクセス性とコントロール サイロ化したデータへのアクセス、AIが 利用するデータとユーザー権限のコント ロールが複雑で管理しきれない。 AIの進歩の早さ 企業の中でどんなモデル、ツール、 ユースケースを採用すればよいの か決めることが難しい。

Agenda AIの企画・課題設定の考え方 AIシステムの評価と改善のサイクル AI本格活用を実現するプラットフォーム

6 AI本格活用へのステップ サービス運用・保守、目標達成状況確認、モデル改善・チューニング SLA・SLO、認証認可、可用性など運用品質、製品品質に関わる開発、テスト 全体アーキテクチャ設計、セキュリティ要件確定、プロトタイプ開発 アジャイルによるアルゴリズム・モデル開発と評価 データ収集、データ理解、基礎解析、技術選定 ビジネス要件の分析、課題ヒアリング、事業インパクトのある課題を選定 課題選定 データ収集 プロトタイプ・トライアル 本開発・大規模展開 PoC (解法検証) 運用

AIの企画・課題設定の考え方 7

8 生成AIの特徴 AI (人工知能) Machine Learning (機械学習) Deep Learning (深層学習) 生成AI ミスの許容度合い 入出力の複雑さ 入出力が 定形 入出力が 不定形 入力が不定形 出力が定形 許容不能 許容可能 プログラ ミング 士業 機械学習 深層学習 生成AI

9 生成AIでできること • ルール、フォーマットに 沿った文章を生成する。 定型ライティング • アイデアのブレスト、 壁打ち相手になる。 提案 • 定性データ（自由記述な ど）を定量評価に変換する。 定量評価 • 文章からキーワードを 抽出する。文章を複数の 要素に分解する。 抽出・分解 • 文章を翻訳する。 • プログラムを別の言語に 変換する。 変換 • 自然言語の文章を分類 する。 条件分岐

10 生成AI ユースケース コード生成 文書作成 情報検索 カスタマーサービス チャットボット SWエンジニアの 「Co-pilot」として、 コーディング規約を 自社で管理しながら、 より迅速にコードを 生成。 保険、処方箋など、 フォームへの入力 作業を自動化。マーケ ティング資料、部品 マニュアルなどを作成。 社内文書や情報を 検索結果に追加して 強化する。 独自のデータを使用 して社内サポート チャットボットを作成 し、ナレッジベースを 強化し、より迅速な 問題解決を実現。 最適化されたコール センターで顧客サー ビスチームの生産性 を向上させ、顧客 体験を改善。

11 業務フローの可視化 工程 分岐 インプット アウトプット 例: コールセンター業務 オペレーターが ヒアリング FAQ確認 FAQから回答 YES NO 質問 ヒアリング結果 参照文書 確認 参照文書 から回答 YES エスカレーション NO FAQ有無 質問 FAQ 顧客への回答 質問 FAQ 質問 参照文書 参照文書 有無 質問 参照文書 顧客への回答 質問 対応履歴

12 生成AIに合わせた業務フロー 工程 分岐 インプット アウトプット 例: コールセンター業務 オペレーターが ヒアリング AIがFAQと 参照文書を確認 AIが回答を生成 YES 質問 ヒアリング結果 オペレーターが 回答を確認 エスカレーション NO 回答可否 質問 FAQ 顧客への回答 ドラフト 質問 FAQ 参照文書 顧客への回答 質問 対応履歴 参照文書 顧客への回答 ドラフト

13 評価指標・基準 • 許容される処理時間 • 出力の正確さ 要件充足 • 業務時間削減 • 売上、収益 向上 業務改善効果 • AIの知見の蓄積 • PoCサイクルの短縮 間接的な価値

14 生成AIの 特性を理解する 生成AIに合わせた 業務フローを 具体的な評価基準を 考える AIの企画・課題設定の考え方

15 AI本格活用へのステップ サービス運用・保守、目標達成状況確認、モデル改善・チューニング SLA・SLO、認証認可、可用性など運用品質、製品品質に関わる開発、テスト 全体アーキテクチャ設計、セキュリティ要件確定、プロトタイプ開発 アジャイルによるアルゴリズム・モデル開発と評価 データ収集、データ理解、基礎解析、技術選定 ビジネス要件の分析、課題ヒアリング、事業インパクトのある課題を選定 課題選定 データ収集 プロトタイプ・トライアル 本開発・大規模展開 PoC (解法検証) 運用 再掲

AIシステムの評価と改善のサイクル 16

17 オフライン評価 生成AIシステム開発時 人間による評価 ユーザー目線に近い、比較的正確な評価ができる。 一方、工数がかかる。 LLMによる自動評価 (LLM as a Judge) 一貫した、効率的な評価ができる。 一方、精度が劣る。 オフライン評価 (事前評価) システム構築時に、作成、収集したデータを用いて 評価する手法。

18 オンライン評価 1. 生成AIシステム運用 • ユーザーが実際に入力 したデータとフィードバック の収集 2. データ収集・分析 オンライン評価 (事後評価) 本番環境でユーザーが入力したデータを用いて評価 する手法。

19 評価からの改善のサイクル 1. 生成AIシステム運用 • ユーザーが実際に入力 したデータとフィードバック の収集 2. データ収集・分析 • 評価用データ更新 • チューニング用データ作成 3. データ選別・加工 • LLM as a Judge、 手動評価を併用 5. 評価テスト・デプロイ • 生成AIシステム、データ、 モデルのチューニング 4. チューニング 最終評価 AIシステム導入によって課題策定時に設定した目標を達成できているか

20 NVIDIA AI Enterprise (NeMo, NIM) 1. 生成AIシステム運用 • ユーザーが実際に入力 したデータとフィードバック の収集 2. データ収集・分析 • 評価用データ更新 • チューニング用データ作成 3. データ選別・加工 • LLM as a Judge、 手動評価を併用 5. 評価テスト・デプロイ • 生成AIシステム、データ、 モデルのチューニング 4. チューニング

21 AI Agent 汎用的なAI 用途特化型のAI チャットボット 特定業務の代替 サービス・製品への組み込み • 指示を出せる人にしか 使えない • 何ができるかわからない 状態で使いづらい • 用途が明確になることで 使いやすく End to EndのAI 複数のAIやツールを利用して動く 与えられた目標に基づいてプラン ニングして行動 • 人間の介在が減り、 求める結果に対して 利用できるように

22 生成AIに合わせた業務フロー 例: コールセンター業務 オペレーターが ヒアリング AIがFAQと 参照文書を確認 AIが回答を生成 YES オペレーターが 回答を確認 エスカレーション NO 再掲

23 AI Agent 例: コールセンター業務 オペレーターが ヒアリング 回答に必要な 情報収集 AIが回答を生成 YES オペレーターが 回答を確認 エスカレーション NO 顧客の契約 状況確認 FAQや参照 文書を確認 対応履歴を 確認

24 生成AIシステムの 評価のアプローチ 評価からの 改善のサイクル End to Endの AI Agent AIシステムの評価と改善のサイクル

AI本格活用を実現するプラットフォーム 25 の前に、

26 Edge to Cloud with AI 体験コーナー HPE GreenLake for Private Cloud EnterpriseでNewオンプレミスへ Private AI Chat Search ソリューション RAGの精度向上を実現する オンプレミスLLMソリューション OpsRampで体感するハイブリッド・ マルチクラウド環境の統合管理

27 データ処理と パイプライン モデル学習と チューニング モデルデプロイと モニタリング コンテナプラットフォーム GPUインフラ 分散ファイル & オブジェクトストア 探索的データ分析 ビジネス価値創出 AI本格活用に必要なもの データエンジニア インフラエンジニア データサイエンティスト 機械学習エンジニア アプリケーション エンジニア ビジネスアナリスト

28 Public Clouds • 便利： 一方、コントロールで きない部分もある • 透明性が低い： ブラック ボックスなAPI • 高額： 規模が大きくなると • 狭い範囲： プラットフォーム によって制御される Private Cloud • データ： 管理され、安全 • コスト： 安定しており、 予測可能 • ワークフロー： シンプル かつ透明性 • 堅牢かつ技術的に高度： オプション性と予測可能な 結果 DIY Open Source • 継続的なリスク： 社内にAI の専門家が必要 • 後手に回る： 機能が遅れ、 先導できない • ユーザーの不満： 通常、 ユーザーにとってより困難 AIプラットフォームのアプローチ

29 NVIDIA GPUs NVIDIA Spectrum-X Networking Private Cloud Liquid Cooling Innovation AI Lifecycle Services HPE GreenLake cloud control plane: Manage, monitor, observe, expand Advisory, Support and Managed Services Solution Design, Deployment, Data Governance, and Integration Vertical-specific solutions and consulting AI Models AI Software NVIDIA AI Enterprise NeMo Curator NeMo Customizer NeMo Evaluator NeMo Retriever NeMo Guardrails HPE AI Essentials Data pipeline Orchestration MLOps NVIDIA NIM Community Models Partner Models Custom Models AI Optimized infrastructure HPE Data Lakehouse AI Servers and Storage Certified by NVIDIA NVIDIA AI Computing by HPE

30 NVIDIA AI Computing by HPE HPE Private Cloud AI

© 2025 Hewlett Packard Enterprise Development LP Thank you