OpenShift_AI_ワークショップ座学資料.pdf

Slide 1

Slide 1 text

V00001 V00001 2024年8月1日 OpenShift AI ワークショップレッドハット株式会社エコシステムソリューションアーキテクト中村雅史 1

Slide 2

Slide 2 text

V00001 ▸ Red Hat OpenShift AI概要 ▸ 機能の紹介目次 2

Slide 3

Slide 3 text

Red Hat OpenShift AI概要 3

Slide 4

Slide 4 text

So for an enterprise, that could mean thousands of different apps and thousands of different AI models. We have to prepare for that future. Chris Wright Chief Technology Officer and Senior vice President, Global Engineering Red Hat 数千のアプリケーション開発とAIモデルが共存する世界が来る。その未来に備えて、今歩き出さなければいけない。 Red Hat OpenShift AI 4

Slide 5

Slide 5 text

誰もがモデルの上にアプリケーションを構築し、イノベーションを起こせるよう、モデルにまつわるすべてを民主化する ● 電力目標達成のためのワークロードスケジューリング (Kepler) ● セキュアなモデル構築の補償 (AI Bill of Materials) ● AIレコメンデーションの信頼性の向上 (TrustyAI) データを安全かつプライベートに保ちながら、クラウドに拡張することで AIを費用対効果の高い方法で活用する能力を管理できなければならない ● その両方に対応できるプラットフォームとツール ● エンタープライズテクノロジーの基盤としての Linux ● オープンソースイノベーションとコミュニティコラボレーション Optimizing IT Infrastructure for the AI Era ｜ Red Hat Summit 2024 アプリケーションと AIモデルの両方が企業を動かす未来 Chris Wright- CTO and SVP, Global Engineering 現在のアプリケーションの半分が AIモデルに置き換わる、つまり何千もの異なるアプリケーションと何千もの異なる AIモデルを抱えることになる。企業はその未来に備えなければならない Red Hatが未来と現在のギャップを埋める AIが浸透した世界で成功するために必要なこと巨大なテクノロジームーブメントの一部になれる幸運と、 AIに対する現在の懐疑的な意見に触れた上で、レッドハットは組織が進みたい場所へのお手伝いをすることができる、という初日の MattのKeynoteをテクノロジー観点から強調したセッションとなった。

Slide 6

Slide 6 text

Red Hat OpenShift AI AI を運用にのせるためのライフサイクル 6 データの収集と準備モニターモデルモデルの開発モデルアプリモデルを再トレーニングするコード展開する操作・監視 QA 反復するオートメーション検証モデルのデプロイ

Slide 7

Slide 7 text

Red Hat OpenShift AI 7 モデルを実験から本番環境に迅速に移行する OperanShift AI は、AI を実際のアプリケーションに組み込むための触媒 AI を運用にのせる作業は、 AI 機能を組織の日常業務に統合するプロセスです。これには、組織の全体的な目標に貢献しながら、モデルを実験から本番環境に移行することが含まれます。目標を設定データの収集と準備モデルの開発または調整モデルの監視と管理アプリ開発にモデルを統合する

Slide 8

Slide 8 text

Red Hat OpenShift AI 8 AI運用に関わる人々 AI プロジェクトの運用はチームスポーツ 8 データサイエンティスト、データエンジニア、アプリ開発者事業部門 IT運用 ▸ ビジネスまでの時間の価値 ▸ 予測の信頼性 ▸ 進化するビジネスへの対応 ▸ ツール、データ、インフラストラクチャへのセルフサービスアクセス ▸ AI 対応アプリを迅速に作成するためのコラボレーション環境 ▸ 高可用性 ▸ 安全 ▸ 管理のしやすさ ▸ スケーラビリティ ▸ 既存の機能を強化する vs 「リッピングして置き換える」

Slide 9

Slide 9 text

Red Hat OpenShift AI 9 トレーニング、サービス、モニタリングワークロード管理トレーニングジョブには、アクセラレータへのアクセスを伴うさまざまなコンピューティングリソース要件が必要です。サービスを提供するには、推論リクエストに基づいてオンデマンドでスケールする機能が必要です。オーケストレーションデータの取り込みと処理からモデルの構築とステージングまでの反復可能で安全なパイプラインの一貫性。複数のプラットフォームに展開すると、さまざまな方法論が必要になることがよくあります。プラットフォームとベンダーの複雑さ機械学習モデルは通常、各モデルやユースケースに応じて異なる特定のハードウェアプラットフォーム向けに最適化されます。新しいテクノロジーを採用するとリスクが生じます。運行管理モデルのパフォーマンスと品質に関する洞察は一貫性がなく、企業全体で異なります。モデルの透明性が欠如していると、展開内のリスクが増大します。課題

Slide 10

Slide 10 text

Red Hat OpenShift AI 10 Red Hat OpenShift AI = AI 導入を簡素化 AI の導入を促進し、AI イニシアチブに対する信頼を高めるように設計 AI 対応アプリの迅速な開発と配信のためのコンポーザブルプラットフォーム E2E AI/ML エクスペリエンスを提供するための認定 AI パートナーエコシステムフレキシブル拡大

Slide 11

Slide 11 text

11 11 OpenShift Operators OpenShift GitOps OpenShift Pipelines OpenShift Serverless Prometheus Dashboard Application Model Development & Training Data Science Projects Admin Features Object Storage Model Serving Model Monitoring Performance metrics Model explainers Quality metrics Serving Engines Serving Runtimes Kserve ModelMesh OVMS (built-in) Caikit/TGIS (built-in) Custom Distributed workloads KubeRay CodeFlare Data and model Pipelines Workbenches Custom images ISV images - Minimal Python - PyTorch - CUDA - Standard Data Science - TensorFlow - VSCode - RStudio - TrustyAI CodeFlare SDK Operating system Model Registry OpenShift ServiceMesh

Slide 12

Slide 12 text

12 Red Hat OpenShift AI Red Hat OpenShift AI - 主な機能探索的データサイエンス、モデルのトレーニング、チューニング、提供のためのインタラクティブで協調的な UI モデル開発実稼働環境にモデルをデプロイするためのモデル提供ルーティングモデルの提供モデルのパフォーマンスと精度を追跡するための一元的な監視モデルモニタリングデータサイエンスパイプラインを作成および自動化するためのビジュアルエディターデータとモデルのパイプライン効率的なデータ処理、モデルのトレーニング、チューニング、提供のためのシームレスなエクスペリエンス分散ワークロード

Slide 13

Slide 13 text

Red Hat OpenShift AI 13 AI/ML エコシステム内の戦略的パートナーシップ AI/ML ライフサイクル情報処理データベースインフラストラクチャパートナーデータガバナンスとセキュリティデータ分析 AI 運用ハードウェアアクセラレーション

Slide 14

Slide 14 text

Red Hat OpenShift AI 14 OpenShift® 上に構築一貫性のある、クラウドからエッジまでの本番展開と監視機能を提供 Gen および予測 AI 向けに設計基盤モデルと従来の ML のワークロードの需要を満たすように拡張強化されたコラボレーションデータサイエンティストとインテリジェントなアプリケーション開発者に統合プラットフォームを提供実験から本番まで、AI/ML モデルとアプリケーションのライフサイクルを開発、トレーニング、提供、監視、管理します。 DevOps を ML に適用する厳密なパイプラインとワークフローを設定して、開発から運用まで前進

Slide 15

Slide 15 text

機能の紹介 15

Slide 16

Slide 16 text

16 オペレーティング ·システム Red Hat OpenShift AI AI/ML プラットフォームプラットホームサービスハードウェアアクセラレータベアメタル仮想化エッジクラウド（Secured）クラウドオペレーティング ·システムオペレーティング ·システムデータとモデルのパイプラインモデルの提供モデルモニタリングモデル開発分散ワークフロー GPUのサポートどこにでも導入可能データの収集と準備モデルの開発または調整モデルの監視と管理アプリ開発にモデルを統合する再訓練 Red Hat の AI/ML プラットフォーム Red Hat OpenShift AI

Slide 17

Slide 17 text

モデルのトレーニングモデルトレーニングのハイライトモデルのトレーニングとワークロードの調整を高速化および管理することで、生成 AI を含むさまざまなユースケースをサポート使いやすいインターフェースを備えた単一または複数クラスター環境でバッチトレーニングの開始と管理基礎モデルのパイプラインを自動化分散トレーニングによるパフォーマンスとスケーラビリティの向上さまざまなアクセラレータから選択して規模とパフォーマンスのニーズを満たす

Slide 18

Slide 18 text

モデルのトレーニング 18 ワークロードを分散して効率を高めるコンピューティング能力を動的に割り当てることによって、インフラストラクチャではなくモデリングに重点を置く最小限の労力で立ち上げて実行できるようにし、セットアップと展開を自動化データサイエンティストにとって自然な Python フレンドリーな SDK を使用し、リソースを管理し、ジョブを送信大規模なデータ分析などのタスクに高度なキューを使用し、ジョブの実行に優先順位を付けて分散 OpenShift AI エコシステムへのシームレスな統合によるデータサイエンスのワークフローを合理化する

Slide 19

Slide 19 text

モデルのトレーニング 19 分散ワークロードクラスターをより簡単に構成する 1. クラスターの作成リクエストを送信する 2. 集約されたリソースのクラスターを評価し、利用可能な場合にディスパッチする 3. 保留中のクラスターを監視して、集約されたリソースを提供し、ワークロードの実行を保証します 4. クラスターからステータスとログを取得するジョブを開発して送信します。 5. クラスターの削除リクエストを送信するプロセス Red Hat OpenShift AI データサイエンティストマルチクラスターディスパッチング動的なスケーリングクラスター作成する消去追加

Slide 20

Slide 20 text

20 モデルの提供モデル提供をより柔軟かつ透明にする ▸ 製品ダッシュボードとプロジェクトワークスペースに統合されたモデル提供ユーザーインターフェイス (UI) ▸ TensorFlow、PyTorch、ONNX などのさまざまなモデルフレームワークをサポート ▸ 基盤モデル用に最適化されたすぐに使えるオプションまたは独自のカスタム推論サーバーのいずれかの推論サーバーを選択 ▸ Hugging FaceやStability AI などのプロバイダーからモデルやGranite などのモデルを提供 ▸ ワークロードの必要に応じてクラスターリソースをスケールアップまたはスケールダウン

Slide 21

Slide 21 text

モデルの提供 21 モデルを提供、拡張、監視する必要なリソースを選択し、必要に応じてモデル提供をスケールモデルを公開して安全にするモデルフレームワークを選択デプロイされたモデルのエンドポイントを表示

Slide 22

Slide 22 text

モデルモニタリング 22 モデルのパフォーマンス指標さまざまなモデルパフォーマンスメトリクスにアクセスして、独自の視覚化を構築したり、データを他の可観測性サービスと統合することが可能（すぐに使用できるパフォーマンスと運用メトリクスの視覚化）

Slide 23

Slide 23 text

データサイエンスパイプライン 23 データサイエンスパイプラインコンポーネント ▸ データサイエンスタスクをパイプラインに統合 ▸ データの準備、モデルの構築、モデルの提供などのプロセスを連鎖させる ▸ 本番環境でのモデルの継続的な配信とテスト ▸ パイプライン実行のスケジュール、追跡、管理 ▸ グラフィカルフロントエンドを使用してパイプラインを簡単に構築データを収集データ処理モデルトレーニング既存のモデルをダウンロードする新モデルと既存モデルを比較より良い場合は新しいモデルをプッシュ

Slide 24

Slide 24 text

データサイエンスパイプライン 24 Red Hat OpenShift データサイエンスパイプラインのユーザーインターフェイス OpenShift AI ユーザーインターフェイスを使用すると、パイプラインとパイプラインの実行を追跡および管理できます。

Slide 25

Slide 25 text

V00001 linkedin.com/company/red-hat youtube.com/user/RedHatVideos facebook.com/redhatinc twitter.com/RedHat V00001 25 Red Hat is the world’s leading provider of enterprise open source software solutions. Award-winning support, training, and consulting services make Red Hat a trusted adviser to the Fortune 500. Thank you

Slide 26

Slide 26 text

▸ RHEL AI および OpenShift AI の一部として、モデルをカスタマイズするための Granite LLM モデルとツールを提供 ▸ 単一サーバーおよび分散ワークロード用のインフラストラクチャスタック、および、基盤モデルの構築、微調整、提供のスケジューラーの開発 ▸ すぐに使える「独自モデルの持ち込み」ユースケースを OpenShift AI で有効にし、オープンソースとパートナーのエコシステムモデルの統合を組み込む ▸ 自社のポートフォリオの多くに Generative AI 機能を組み込む･ OpenShift Lightspeed プレビューと RHEL Lightspeed ビジョンを Red Hat Summit で発表 26 生成 AI と基盤モデルに関する Red Hat 戦略 Overview of Red Hat OpenShift AI

Slide 27

Slide 27 text