Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AIの本格活用を加速させるPrivate LLM

AIの本格活用を加速させるPrivate LLM

in HPE Discover More AI Tokyo 2025

Yoshio Sugiyama

January 30, 2025
Tweet

More Decks by Yoshio Sugiyama

Other Decks in Technology

Transcript

  1. 2022 Explosion 2023-2024 Experimentation 2025- Production • ChatGPT 公開 •

    2ヶ月で1億ユーザーに APIサービスやオープンモデル によるPoCが盛んに AIの本番環境への活用が進む 生成AIの本格活用
  2. 4 PoCから本番環境へ展開されるのは1割 生産性向上に到達できない 要件の定義、データの整備、AIの チューニングなどに時間を要し、 PoCのタイムリミットまでに成果を 出すことができない。 Brand and reputation

    risks Security and data privacy concerns Lack of specialized skills and expertise Infrastructure challenges from PoC to Production データプライバシー アクセス性とコントロール サイロ化したデータへのアクセス、AIが 利用するデータとユーザー権限のコント ロールが複雑で管理しきれない。 AIの進歩の早さ 企業の中でどんなモデル、ツール、 ユースケースを採用すればよいの か決めることが難しい。
  3. 8 生成AIの特徴 AI (人工知能) Machine Learning (機械学習) Deep Learning (深層学習)

    生成AI ミスの許容度合い 入出力の複雑さ 入出力が 定形 入出力が 不定形 入力が不定形 出力が定形 許容不能 許容可能 プログラ ミング 士業 機械学習 深層学習 生成AI
  4. 9 生成AIでできること • ルール、フォーマットに 沿った文章を生成する。 定型ライティング • アイデアのブレスト、 壁打ち相手になる。 提案

    • 定性データ(自由記述な ど)を定量評価に変換する。 定量評価 • 文章からキーワードを 抽出する。文章を複数の 要素に分解する。 抽出・分解 • 文章を翻訳する。 • プログラムを別の言語に 変換する。 変換 • 自然言語の文章を分類 する。 条件分岐
  5. 10 生成AI ユースケース コード生成 文書作成 情報検索 カスタマーサービス チャットボット SWエンジニアの 「Co-pilot」として、

    コーディング規約を 自社で管理しながら、 より迅速にコードを 生成。 保険、処方箋など、 フォームへの入力 作業を自動化。マーケ ティング資料、部品 マニュアルなどを作成。 社内文書や情報を 検索結果に追加して 強化する。 独自のデータを使用 して社内サポート チャットボットを作成 し、ナレッジベースを 強化し、より迅速な 問題解決を実現。 最適化されたコール センターで顧客サー ビスチームの生産性 を向上させ、顧客 体験を改善。
  6. 11 業務フローの可視化 工程 分岐 インプット アウトプット 例: コールセンター業務 オペレーターが ヒアリング

    FAQ確認 FAQから回答 YES NO 質問 ヒアリング結果 参照文書 確認 参照文書 から回答 YES エスカレーション NO FAQ有無 質問 FAQ 顧客への回答 質問 FAQ 質問 参照文書 参照文書 有無 質問 参照文書 顧客への回答 質問 対応履歴
  7. 12 生成AIに合わせた業務フロー 工程 分岐 インプット アウトプット 例: コールセンター業務 オペレーターが ヒアリング

    AIがFAQと 参照文書を確認 AIが回答を生成 YES 質問 ヒアリング結果 オペレーターが 回答を確認 エスカレーション NO 回答可否 質問 FAQ 顧客への回答 ドラフト 質問 FAQ 参照文書 顧客への回答 質問 対応履歴 参照文書 顧客への回答 ドラフト
  8. 13 評価指標・基準 • 許容される処理時間 • 出力の正確さ 要件充足 • 業務時間削減 •

    売上、収益 向上 業務改善効果 • AIの知見の蓄積 • PoCサイクルの短縮 間接的な価値
  9. 17 オフライン評価 生成AIシステム開発時 人間による評価 ユーザー目線に近い、比較的正確な評価ができる。 一方、工数がかかる。 LLMによる自動評価 (LLM as a

    Judge) 一貫した、効率的な評価ができる。 一方、精度が劣る。 オフライン評価 (事前評価) システム構築時に、作成、収集したデータを用いて 評価する手法。
  10. 18 オンライン評価 1. 生成AIシステム運用 • ユーザーが実際に入力 したデータとフィードバック の収集 2. データ収集・分析

    オンライン評価 (事後評価) 本番環境でユーザーが入力したデータを用いて評価 する手法。
  11. 19 評価からの改善のサイクル 1. 生成AIシステム運用 • ユーザーが実際に入力 したデータとフィードバック の収集 2. データ収集・分析

    • 評価用データ更新 • チューニング用データ作成 3. データ選別・加工 • LLM as a Judge、 手動評価を併用 5. 評価テスト・デプロイ • 生成AIシステム、データ、 モデルのチューニング 4. チューニング 最終評価 AIシステム導入によって課題策定時に設定した目標を達成できているか
  12. 20 NVIDIA AI Enterprise (NeMo, NIM) 1. 生成AIシステム運用 • ユーザーが実際に入力

    したデータとフィードバック の収集 2. データ収集・分析 • 評価用データ更新 • チューニング用データ作成 3. データ選別・加工 • LLM as a Judge、 手動評価を併用 5. 評価テスト・デプロイ • 生成AIシステム、データ、 モデルのチューニング 4. チューニング
  13. 21 AI Agent 汎用的なAI 用途特化型のAI チャットボット 特定業務の代替 サービス・製品への組み込み • 指示を出せる人にしか

    使えない • 何ができるかわからない 状態で使いづらい • 用途が明確になることで 使いやすく End to EndのAI 複数のAIやツールを利用して動く 与えられた目標に基づいてプラン ニングして行動 • 人間の介在が減り、 求める結果に対して 利用できるように
  14. 23 AI Agent 例: コールセンター業務 オペレーターが ヒアリング 回答に必要な 情報収集 AIが回答を生成

    YES オペレーターが 回答を確認 エスカレーション NO 顧客の契約 状況確認 FAQや参照 文書を確認 対応履歴を 確認
  15. 26 Edge to Cloud with AI 体験コーナー HPE GreenLake for

    Private Cloud EnterpriseでNewオンプレミスへ Private AI Chat Search ソリューション RAGの精度向上を実現する オンプレミスLLMソリューション OpsRampで体感するハイブリッド・ マルチクラウド環境の統合管理
  16. 27 データ処理と パイプライン モデル学習と チューニング モデルデプロイと モニタリング コンテナプラットフォーム GPUインフラ 分散ファイル

    & オブジェクトストア 探索的データ分析 ビジネス価値創出 AI本格活用に必要なもの データエンジニア インフラエンジニア データサイエンティスト 機械学習エンジニア アプリケーション エンジニア ビジネスアナリスト
  17. 28 Public Clouds • 便利: 一方、コントロールで きない部分もある • 透明性が低い: ブラック

    ボックスなAPI • 高額: 規模が大きくなると • 狭い範囲: プラットフォーム によって制御される Private Cloud • データ: 管理され、安全 • コスト: 安定しており、 予測可能 • ワークフロー: シンプル かつ透明性 • 堅牢かつ技術的に高度: オプション性と予測可能な 結果 DIY Open Source • 継続的なリスク: 社内にAI の専門家が必要 • 後手に回る: 機能が遅れ、 先導できない • ユーザーの不満: 通常、 ユーザーにとってより困難 AIプラットフォームのアプローチ
  18. 29 NVIDIA GPUs NVIDIA Spectrum-X Networking Private Cloud Liquid Cooling

    Innovation AI Lifecycle Services HPE GreenLake cloud control plane: Manage, monitor, observe, expand Advisory, Support and Managed Services Solution Design, Deployment, Data Governance, and Integration Vertical-specific solutions and consulting AI Models AI Software NVIDIA AI Enterprise NeMo Curator NeMo Customizer NeMo Evaluator NeMo Retriever NeMo Guardrails HPE AI Essentials Data pipeline Orchestration MLOps NVIDIA NIM Community Models Partner Models Custom Models AI Optimized infrastructure HPE Data Lakehouse AI Servers and Storage Certified by NVIDIA NVIDIA AI Computing by HPE