OpenShift_AI_ワークショップ座学資料.pdf

Slide 1

Slide 1 text

V00001 V00001 2025年12月10日 OpenShift AI ワークショップレッドハット株式会社エコシステムソリューションアーキテクト部 1

Slide 2

Slide 2 text

V00001 ▸ Red Hat AIの狙い ▸ Red Hat AI製品紹介 ▸ Red Hat OpenShift AI概要 ▸ ユースケースとハンズオン内容 ▸ Red Hat AI 3 目次 2

Slide 3

Slide 3 text

V00001 Red Hat AIの狙い 3

Slide 4

Slide 4 text

V00001 イントロダクションビジネスにおける⽣成AIの適⽤は驚くべきペースで進⾏⼀⽅で⽣成AIのエコシステムはより複雑化統制された⽣成AI 活⽤を進めるにはプラットフォームが鍵

Slide 5

Slide 5 text

V00001 AIアプリ開発サイクル AI を運用にのせるためのライフサイクル 5 データの収集と準備モニターモデルモデルの開発モデルアプリモデルを再トレーニングするコード展開する操作・監視 QA 反復するオートメーション検証モデルのデプロイ

Slide 6

Slide 6 text

V00001 AIアプリの企画から運用 6 モデルを実験から本番環境に迅速に移行する OperanShift AI は、AI を実際のアプリケーションに組み込むための触媒 AI を運用にのせる作業は、 AI 機能を組織の日常業務に統合するプロセスです。これには、組織の全体的な目標に貢献しながら、モデルを実験から本番環境に移行することが含まれます。目標を設定データの収集と準備モデルの開発または調整モデルの監視と管理アプリ開発にモデルを統合する

Slide 7

Slide 7 text

V00001 CONFIDENTIAL Red Hat Associate and NDA partner use only, no further distribution PoCと本番環境の差異(クラウドサービスの有無、使用可能なモデルの有無、実行環境の違い )により開発工数が増大課題となるパターン1 7 On-premise 顧客環境 AI Dev App Dev Infra Eng AI Application AI Application AI Application Customer A Production Customer A PoC Infra Eng 社内検証・開発環境サービス実装・モデル再評価環境構築・ツール選定環境変更を吸収するための工数増大

Slide 8

Slide 8 text

V00001 CONFIDENTIAL Red Hat Associate and NDA partner use only, no further distribution AIアプリの提供形態・使用技術の多様化に伴うスキル・環境・アーキテクチャのサイロ化による現場のオーバーヘッドが増大課題となるパターン2 8 On-premise 社内検証・開発環境顧客環境 On-premise AI Dev App Dev Infra Eng Infra Eng Infra Eng Infra Eng AI Application AI Application AI Application AI Application AI Application AI Application AI Application AI Application Customer A Customer B Customer C Customer D オーバーヘッド大

Slide 9

Slide 9 text

V00001 Hardware  Devices  AI Runtime  OS  Driver  AI Models  単一サーバーでの推論実行   k8sでの推論実行   MLOpsツールチェーン   ニーズに合わせた  実行環境の選択  オープンLLMや  国産ベンダーのAIを  自由に選択  コストや消費電力を   踏まえ最適な  デバイスを選択  Any Model  Any Device  Llama3  Mistral  InstructLab  国産LLM  Intel  NVIDIA  AMD  柔軟な推論環境を   実現する推論エンジン   生成AIをビジネスに本格活用するために必要な要素と RHの提案 9 Red Hat AIプラットフォームの狙い対応するAIモデルやハードウェアのエコシステムを拡大し、お客様が幅広い選択肢から AIの効果を検証し、期待する結果を生み出すAIを商用環境で安定的に実行するために必要なプラットフォームを提供します。

Slide 10

Slide 10 text

V00001 CONFIDENTIAL Red Hat Associate and NDA partner use only, no further distribution 場所を選ばずAIアプリケーションの価値の最大化に注力できるプラットフォーム Red Hat AIプラットフォームが目指す世界 10 On-premise 社内検証・開発環境顧客環境 On-premise AI Dev App Dev Infra Eng AI Application Customer A Customer B Customer C Customer D AI Application AI Application AI Application AI Application

Slide 11

Slide 11 text

V00001 Red Hat AI製品紹介 11

Slide 12

Slide 12 text

V00001 12 信頼性、一貫性、包括的な基盤エッジプライベートクラウド物理仮想パブリッククラウドハードウェアアクセラレーション * NVIDIA, AMD, Intel, Google TPU supported in Red Hat AI. AWS Inferentia/Neuron IBM AIU are on our roadmap 推論エンジン推論アプライアンス SW AI開発・運用基盤 SW Red Hat AI製品ラインナップ

Slide 13

Slide 13 text

V00001 Hardware  Devices  AI Runtime  OS  Driver  AI Models  単一サーバーでの推論実行   k8sでの推論実行   MLOpsツールチェーン   ニーズに合わせた  実行環境の選択  オープンLLMや  国産ベンダーのAIを  自由に選択  コストや消費電力を   踏まえ最適な  デバイスを選択  Any Model  Any Device  Llama3  Mistral  InstructLab  国産LLM  Intel  NVIDIA  AMD  柔軟な推論環境を   実現する推論エンジン   生成AIをビジネスに本格活用するために必要な要素と RHの提案 13 Red Hat AIプラットフォームの狙い対応するAIモデルやハードウェアのエコシステムを拡大し、お客様が幅広い選択肢から AIの効果を検証し、期待する結果を生み出すAIを商用環境で安定的に実行するために必要なプラットフォームを提供します。

Slide 14

Slide 14 text

V00001 14 Red Hat AI製品の対応ユースケース Red Hat AI Inference Server Red Hat Enterprise Linux AI Red Hat OpenShift AI OS/ドライバユーザ用意 Red Hat提供 Red Hat・ベンダ提供 AIモデルによる推論実行対応対応対応モデルのチューニング対応スクラッチからのモデルの学習対応コンテナアプリケーションとの連携開発対応分散処理対応推論エンジン AI開発・運用基盤 SW 推論アプライアンス SW

Slide 15

Slide 15 text

V00001 オープンソースソフトウェアとの関係 15 The future of AI is open Red Hatのオープンソースコミュニティへの関与は、強力なAIコラボレーションの触媒となる AI Open source communities Open Data Hub CodeFlare

Slide 16

Slide 16 text

Red Hat OpenShift AI概要 16

Slide 17

Slide 17 text

AIアプリ開発のポイント 17 トレーニング、サービス、モニタリングワークロード管理トレーニングジョブには、アクセラレータへのアクセスを伴うさまざまなコンピューティングリソース要件が必要です。サービスを提供するには、推論リクエストに基づいてオンデマンドでスケールする機能が必要です。オーケストレーションデータの取り込みと処理からモデルの構築とステージングまでの反復可能で安全なパイプラインの一貫性。複数のプラットフォームに展開すると、さまざまな方法論が必要になることがよくあります。プラットフォームとベンダーの複雑さ機械学習モデルは通常、各モデルやユースケースに応じて異なる特定のハードウェアプラットフォーム向けに最適化されます。新しいテクノロジーを採用するとリスクが生じます。運行管理モデルのパフォーマンスと品質に関する洞察は一貫性がなく、企業全体で異なります。モデルの透明性が欠如していると、展開内のリスクが増大します。課題

Slide 18

Slide 18 text

Red Hat OpenShift AI 18 OpenShift® 上に構築一貫性のある、クラウドからエッジまでの本番展開と監視機能を提供 Gen および予測 AI 向けに設計基盤モデルと従来の ML のワークロードの需要を満たすように拡張強化されたコラボレーションデータサイエンティストとインテリジェントなアプリケーション開発者に統合プラットフォームを提供実験から本番まで、AI/ML モデルとアプリケーションのライフサイクルを開発、トレーニング、提供、監視、管理します。 DevOps を ML に適用する厳密なパイプラインとワークフローを設定して、開発から運用まで前進

Slide 19

Slide 19 text

Operating system Dashboard Data Science Projects Admin Features Model Registry Accelerator Profiles Model Development, Training & Tuning Model Serving Models Performance metrics Operations metrics Quality metrics Serving Engines Serving Runtimes KServe ModelMesh vLLM, TGIS OpenVINO Custom Distributed Workloads Kubeflow Training Operator Notebooks Training Runtimes ISV, Custom (BoY) Ray ● Minimal Python ● PyTorch ● VS Code ● RStudio* KubeRay Granite Models Ecosystem models Kueue Pipelines Kubeflow Pipelines Accelerators AMD ROCm NVIDIA CUDA Intel Gaudi ● TensorFlow ● JupyterLab ● TrustyAI PyTorch CodeFlare SDK Custom (BoY) Kubeflow Notebooks OpenShift Operators OpenShift GitOps (ArgoCD) OpenShift Pipelines (Tekton) OpenShift Serverless (Knative) OpenShift Monitoring (Prometheus) OpenShift Service Mesh (Istio) Authorino 19 An open-source platform for foundation models Train or fine tune conversational and generative AI Red Hat OpenShift AI - for foundation model, from development to serving Bias/Fairness metrics TrustyAI: LM-Eval, Guardrails Triton* *Tested and verified

Slide 20

Slide 20 text

Red Hat OpenShift AI 20 AI/ML エコシステム内の戦略的パートナーシップ AI/ML ライフサイクル情報処理データベースインフラストラクチャパートナーデータガバナンスとセキュリティデータ分析 AI 運用ハードウェアアクセラレーション

Slide 21

Slide 21 text

21 オペレーティング ·システム Red Hat OpenShift AI AI/ML プラットフォームプラットホームサービスハードウェアアクセラレータベアメタル仮想化エッジクラウド（Secured）クラウドオペレーティング ·システムオペレーティング ·システムデータとモデルのパイプラインモデルの提供モデルモニタリングモデル開発分散ワークフロー GPUのサポートどこにでも導入可能データの収集と準備モデルの開発または調整モデルの監視と管理アプリ開発にモデルを統合する再訓練 Red Hat の AI/ML プラットフォーム Red Hat OpenShift AI ドリフト・バイアス検知・ AI ガードレール

Slide 22

Slide 22 text

ユースケースとハンズオン内容 22

Slide 23

Slide 23 text

AI学習/推論プロセス全体像データストリーミングデータ準備モデル作成モデル検証データサイエンスパイプライン（バッチ学習）データストアパイプライン化データソースモデルサービング API提供モデルAPI モデルモニタリング再学習アプリケーションデータサイエンティスト ML エンジニアアプリ開発者クラスタ管理インフラエンジニア学習済みモデルモデルレジストリ

Slide 24

Slide 24 text

AI学習/推論プロセス全体像データストリーミングデータ準備モデル作成モデル検証データサイエンスパイプライン（バッチ学習データ処理）データストアパイプライン化データソースモデルサービング API提供モデルAPI モデルモニタリング再学習アプリケーションデータサイエンティスト ML エンジニアアプリ開発者クラスタ管理インフラエンジニア学習済みモデルモデルレジストリ本日のハンズオン範囲

Slide 25

Slide 25 text

Red Hat AI 3 25

Slide 26

Slide 26 text

26 Red Hat AI overview AIの進化をビジネスの価値に繋げるエンタープライズAIプラットフォームエージェント開発機能の拡充 ● AI Hub / GenAI Studio ● Llama Stack Operator ● MCP開発ガイド ● Model as a Service ● llm-d ● モデル最適化 ● モデルカタログ推論機能の更なる進化柔軟なLLMチューニング ● データ合成の多⾔語対応 ● チューニング機能の汎⽤化 ● KubeFlow Training v2 プラットフォーム機能強化 ● 新たなアクセラレーター ● OEM/クラウド対応拡充 ● GPUaaS Accelerate Agentic AI innovation Fast, ﬂexible and scalable inference Connecting models to data Scaling AI across the hybrid cloud

Slide 27

Slide 27 text

27 エージェント開発機能の拡充 Accelerate Agentic AI innovation

Slide 28

Slide 28 text

28 Accelerate Agentic AI innovation エンタープライズグレードなAIエージェント開発 AIエージェントの開発と運用をシンプルに The Engine/Foundation エージェント開発のバックボーン ● セキュアでスケーラブルなAI APIサーバー (Llama Stack) ● Inference, RAG, Evals, Safety, Compliance, etc The Connectors エコシステムとの相互接続 ● オープンプロトコル (e.g., MCP, A2A.) ● カタログ、レジストリ The Platform (AgentOps) エージェントのライフサイクルマネジメント ● DevOpsからAgentOpsへ ● ガバナンス、セキュリティ、モニタリング The Experience シームレスなAI開発体験 ● GenAI UI (プレイグラウンド、プロンプト管理) ● エージェントstarter kits + 開発フレームワーク互換性 Agentic AI

Slide 29

Slide 29 text

29 Accelerate Agentic AI innovation プラットフォームに統合されたAI体験 AI hub Gen AI studio AIモデル、MCP、エージェントを管理しカタログからデプロイプレイグラウンドでモデルや MCPの組み合わせを実験

Slide 30

Slide 30 text

30 Llama Stack Model Context Protocol (MCP) What’s New? • MCP開発ガイド: MCPサーバー開発のための設計&設定ガイド • プレイグラウンド: MCPサーバーとモデルの組み合わせをすぐに評価 • AIアセットのカタログ化: 利⽤可能なアセットを⼀覧として提供 • Llama Stack tool calling: ⽣成AIモデルからシームレスなツール実⾏ Why it Matters? • 実験から開発へのサイクルを加速 • 様々な開発フレームワークとの統合 • MCPを介したツール操作により幅広いユースケースを解決 • Certiﬁed AI Assetの提供 Accelerate Agentic AI deployments Llama Stack Server MCP Server MCP Server MCP Server Client OpenAI Agent SDK Llama Guard Prompt Guard LangChain / LangGraph Safety Tool Llama Stack Client LLM VectorDB Milvus FAISS Llama gpt-oss Azure OpenAI External Service Local Files Execution

Slide 31

Slide 31 text

31 推論機能の更なる進化 Fast, ﬂexible and scalable inference

Slide 32

Slide 32 text

Pod 1 Pod 3 Pod 2 32 Fast, ﬂexible and scalable inference ⽣成AIの統合推論スタックオープンモデルのスケーラブルな推論と柔軟な活⽤ GPU Instinct TPU Pod 2 Instinct Pod 1 GPU Pod 3 TPU Accelerators ニーズに応じたアクセラレーターの選択 Inference Server パフォーマンス最適化された推論エンジン Distributed Inference Framework 推論を効果的にスケール Models どのようなモデルでも実⾏ AI Gateway/API Management 推論サービスへのアクセスを⼀元管理 Model as a Service

Slide 33

Slide 33 text

33 AIゲートウェイを通じて⽣成AIの推論APIをサービス提供 • AIモデルの実⾏と利⽤を⼀元的に管理 ■ OpenShift AIコンソールを通じて簡単にアクセス ■ ユーザーごとの認証/RBAC ■ APIトークンの払い出しとアプリケーションへの設定 ■ 利⽤量トラッキングとチャージバック ■ レートリミット ■ ハードウェアリソースの有効活⽤ Fast, ﬂexible and scalable inference Model-as-a-Service in OpenShift AI Model as a service Developers End users AI Gateway Available Models AI Engineer GPUs utilization End user apps Development environments ITOps ITOps

Slide 34

Slide 34 text

Fast, ﬂexible and scalable inference 34 推論への需要に合わせた柔軟なスケーリング Kubernetesネイティブな分散推論フレームワーク • インフラの利⽤効率を最⼤化、推論スループットを向上 • マルチターンエージェント向けの⾼速なレスポンス • シンプルな運⽤管理 Deliver faster, cheaper, and more manageable AI systems for enterprise production Now includes llm-d reimagines how LLMs run on Kubernetes

Slide 35

Slide 35 text

35 Red Hat AI Inference Server 更なるAIモデルとアクセラレーターのバリエーションをサポート Single platform to run any model, on any accelerator, on any cloud Edge Virtual Public Cloud Private Cloud Physical Neuron TPU Gaudi Instinct GPU Llama Qwen DeepSeek Gemma Mistral Molmo Phi Nemotron Granite Spyre Fast, ﬂexible and scalable inference

Slide 36

Slide 36 text

36 Red Hat AI Model Repository Red Hatが量⼦化し検証済みのAIモデル Broad Collection of models Llama Qwen Mistral DeepSeek Gemma Phi Molmo Granite Nemotron Validated models ▸ 現実のユースケースに即したシナリオでのテスト ▸ 様々なアクセラレーターでのパフォーマンス計測 ▸ GuideLLM, LM Eval Harnessによるベンチマーキング Optimized models ▸ 量⼦化による⾼速化と効率化 ▸ 精度を維持したままより少ないリソースでAIモデルを実⾏ ▸ 最新の研究に基づく量⼦化アルゴリズムの適⽤ Choice of Models ▸ Transformers (Dense, MoE), マルチモーダルLLM, エンべディング, Hybrid / Novel Attention, Vision ▸ Hugging Face compatible (safe tensors), OCI互換コンテナ Fast, ﬂexible and scalable inference

Slide 37

Slide 37 text

Slide 38

Slide 38 text

38 柔軟なLLMチューニング Connecting models to data

Slide 39

Slide 39 text

多⾔語への対応とAIモデルの⾃由な選択 Connecting models to data 39 Training hub Data processing 多言語でのデータ合成をサポートし、高品質な学習用データセット構築を可能に Synthetic data generation 任意のモデルに対してLLMの破滅的忘却を抑制しつつファインチューニング、継続学習を実施モデルのカスタマイズやRAGのためのデータをドキュメントから自動的に作成 Evaluate 複数の標準的な評価ベンチマークをジョブとして簡単に実行モジュール化されたチューニングスタック

Slide 40

Slide 40 text

柔軟な実⾏環境の選択 Connecting models to data 40 実験から分散学習へのスムーズな移⾏ Experimental workbench Distributed training ● Jupyter Notebook ● Code Server ● KubeFlow Trainer v2 ● Kueue Integration インタラクティブなPython 開発環境を素早く提供複数GPUサーバーを使った分散学習ジョブの実⾏ New

Slide 41

Slide 41 text

41 プラットフォーム機能強化 Scaling AI across the hybrid cloud

Slide 42

Slide 42 text

42 ハイブリッドクラウドでのAIの実⾏アクセラレーター、OEMサーバー、クラウドのサポートを拡充 Hardware Accelerators OEM Servers Cloud Environments *NVIDIA, AMD and Intel are supported in Red Hat AI. Google TPU and IBM AIU supported in Red Hat AI Inference Server only and support for IBM AIU is coming in RHOAI 3.0. AWS Neuron is on on our roadmap. Scaling AI across the hybrid cloud Neuron Gaudi TPU GPU Instinct AIU

Slide 43

Slide 43 text

43 Delivering GPU-as-a-Service アクセラレーターの利⽤効率を最⼤化 Scaling AI across the hybrid cloud Physical Virtual Private cloud Public cloud Edge Dynamic Accelerator Slicing Notebooks, Inference, Training Multi-cluster, multi-tenant support マルチクラスタ、マルチテナントでの利⽤最適化 Dynamic Accelerator Slicing アクセラレーターの動的な分割とワークロードへの割り当て Kueue Integration 公平かつ効率的なリソーススケジューリング Kueue

Slide 44

Slide 44 text

V00001 linkedin.com/company/red-hat youtube.com/user/RedHatVideos facebook.com/redhatinc twitter.com/RedHat V00001 44 Red Hat is the world’s leading provider of enterprise open source software solutions. Award-winning support, training, and consulting services make Red Hat a trusted adviser to the Fortune 500. Thank you