OpenShift_AI_ワークショップ座学資料.pdf

Transcript

1. V00001 V00001 2024年8月1日 OpenShift AI ワークショップ レッドハット株式会社 エコシステムソリューションアーキテクト 中村雅史 1
2. V00001 ▸ Red Hat OpenShift AI概要 ▸ 機能の紹介 目次 2
3. Red Hat OpenShift AI概要 3
4. So for an enterprise, that could mean thousands of different apps and thousands of different AI models. We have to prepare for that future. Chris Wright Chief Technology Officer and Senior vice President, Global Engineering Red Hat 数千のアプリケーション開発 とAIモデル が共存する世界が来る。 その未来に備えて、今歩き出さなければいけない。 Red Hat OpenShift AI 4
5. 誰もがモデルの上にアプリケーションを構築し、イノベーションを起こせるよう、モデ ルにまつわるすべてを民主化する • 電力目標達成のためのワークロードスケジューリング (Kepler) • セキュアなモデル構築の補償 (AI Bill of Materials) • AIレコメンデーションの信頼性の向上 (TrustyAI) データを安全かつプライベートに保ちながら、クラウドに拡張することで AIを費用対 効果の高い方法で活用する能力を管理できなければならない • その両方に対応できるプラットフォームとツール • エンタープライズテクノロジーの基盤としての Linux • オープンソースイノベーションとコミュニティコラボレーション Optimizing IT Infrastructure for the AI Era ｜ Red Hat Summit 2024 アプリケーションと AIモデルの両方が企業を動かす未来 Chris Wright- CTO and SVP, Global Engineering 現在のアプリケーションの半分が AIモデルに置き換わる、つまり何千もの異なるアプリケーションと何千もの異なる AIモデルを抱え ることになる。企業はその未来に備えなければならない Red Hatが未来と現在のギャップを埋める AIが浸透した世界で成功するために必要なこと 巨大なテクノロジームーブメントの一部になれる幸運と、 AIに対する現在の懐疑 的な意見に触れた上で、レッドハットは組織が進みたい場所へのお手伝いをする ことができる、という初日の MattのKeynoteをテクノロジー観点から強調したセッ ションとなった。
6. Red Hat OpenShift AI AI を運用にのせるためのライフサイクル 6 データの収集と準備 モニターモデル モデルの開発 モデル アプリ モデルを 再トレーニングする コード 展開する 操作・監視 QA 反復する オートメーション 検証 モデルのデプロイ
7. Red Hat OpenShift AI 7 モデルを実験から本番環境に迅速に移行する OperanShift AI は、AI を実際のアプリケーションに組み込むための触媒 AI を運用にのせる作業は、 AI 機能を組織の日常業務に統合するプロセスです。 これには、組織の全体的な目標に貢献しながら、 モデルを実験から本番環境に移行することが含まれます。 目標を設定 データの収集と準備 モデルの開発または調整 モデルの監視と管理 アプリ開発にモデルを統合する
8. Red Hat OpenShift AI 8 AI運用に関わる人々 AI プロジェクトの運用はチーム スポーツ 8 データサイエンティスト、デー タエンジニア、 アプリ開発者 事業部門 IT運用 ▸ ビジネスまでの時間の価値 ▸ 予測の信頼性 ▸ 進化するビジネスへの対応 ▸ ツール、データ、インフラストラク チャへのセルフサービス アクセス ▸ AI 対応アプリを迅速に作成するた めのコラボレーション環境 ▸ 高可用性 ▸ 安全 ▸ 管理のしやすさ ▸ スケーラビリティ ▸ 既存の機能を強化する vs 「リッピ ングして置き換える」
9. Red Hat OpenShift AI 9 トレーニング、 サービス、 モニタリング ワークロード管理 トレーニング ジョブには、アクセラレータへのアクセスを伴うさまざまなコンピュー ティング リソース要件が必要です。サービスを提供するには、推論リクエストに 基づいてオンデマンドでスケールする機能が必要です。 オーケストレーション データの取り込みと処理からモデルの構築とステージングまでの反復可能で安 全なパイプラインの一貫性。複数のプラットフォームに展開すると、さまざまな方 法論が必要になることがよくあります。 プラットフォームとベンダーの複雑さ 機械学習モデルは通常、各モデルやユースケースに応じて異なる特定のハード ウェア プラットフォーム向けに最適化されます。新しいテクノロジーを採用すると リスクが生じます。 運行管理 モデルのパフォーマンスと品質に関する洞察は一貫性がなく、企業全体で異なりま す。モデルの透明性が欠如していると、展開内のリスクが増大します。 課題
10. Red Hat OpenShift AI 10 Red Hat OpenShift AI = AI 導入を簡素化 AI の導入を促進し、AI イニシアチブに対する信頼を高めるように設計 AI 対応アプリの迅速な 開発と配信のためのコン ポーザブル プラット フォーム E2E AI/ML エクスペリエ ンスを提供するための認 定 AI パートナー エコシ ステム フレキシブル 拡大
11. 11 11 OpenShift Operators OpenShift GitOps OpenShift Pipelines OpenShift Serverless Prometheus Dashboard Application Model Development & Training Data Science Projects Admin Features Object Storage Model Serving Model Monitoring Performance metrics Model explainers Quality metrics Serving Engines Serving Runtimes Kserve ModelMesh OVMS (built-in) Caikit/TGIS (built-in) Custom Distributed workloads KubeRay CodeFlare Data and model Pipelines Workbenches Custom images ISV images - Minimal Python - PyTorch - CUDA - Standard Data Science - TensorFlow - VSCode - RStudio - TrustyAI CodeFlare SDK Operating system Model Registry OpenShift ServiceMesh
12. 12 Red Hat OpenShift AI Red Hat OpenShift AI - 主な機能 探索的データサイエンス、モデルの トレーニング、チューニング、提供の ためのインタラクティブで協調的な UI モデル開発 実稼働環境にモデルをデプロイす るためのモデル提供ルーティング モデルの提供 モデルのパフォーマンスと精度を追 跡するための一元的な監視 モデルモニタリング データ サイエンス パイプラインを作 成および自動化するためのビジュ アル エディター データとモデルの パイプライン 効率的なデータ処理、モデルのト レーニング、チューニング、提供の ためのシームレスなエクスペリエン ス 分散ワークロード
13. Red Hat OpenShift AI 13 AI/ML エコシステム内の戦略的パートナーシップ AI/ML ライフサイクル 情報処理 データベース インフラストラクチャパートナー データガバナンスとセキュリティ データ分析 AI 運用 ハードウェアアクセラレーション
14. Red Hat OpenShift AI 14 OpenShift® 上に構築 一貫性のある、クラウドからエッジまで の本番展開と監視機能を提供 Gen および予測 AI 向けに設計 基盤モデルと従来の ML のワークロードの 需要を満たすように拡張 強化されたコラボレーション データサイエンティストとインテリジェントな アプリケーション開発者に統合プラット フォームを提供 実験から本番まで 、AI/ML モデル とアプリケーションのライフサイクル を開発、トレーニング、提供、監 視、管理します。 DevOps を ML に適用する 厳密なパイプラインとワークフローを設定し て、開発から運用まで前進
15. 機能の紹介 15
16. 16 オペレーティング ·システム Red Hat OpenShift AI AI/ML プラットフォー ム プラットホーム サービス ハードウェアアクセ ラレータ ベアメタル 仮想化 エッジ クラウド （Secured） クラウド オペレーティング ·システム オペレーティング ·システム データとモデルの パイプライン モデルの提供 モデルモニタリング モデル開発 分散ワークフロー GPUのサポート どこにでも 導入可能 データの収集と準備 モデルの開発または調整 モデルの監視と管理 アプリ開発に モデルを統合する 再訓練 Red Hat の AI/ML プラットフォーム Red Hat OpenShift AI
17. モデルのトレーニング モデルトレーニングのハイライト モデルのトレーニングとワークロードの調整を高速化お よび管理することで、 生成 AI を含むさまざまなユース ケースをサポート 使いやすいインターフェースを備えた単一また は複数クラスター環境で バッチトレーニングの 開始と管理 基礎モデルのパイプラインを自動化 分散トレーニングによる パフォーマンスとス ケーラビリティの向上 さまざまなアクセラレータから選択して 規模とパフォーマン スのニーズを満たす
18. モデルのトレーニング 18 ワークロードを分散して効率を高める コンピューティング能力を動的に割り当てるこ とによって、インフラストラクチャではなくモ デリングに重点を置く 最小限の労力で立ち上げて実行できるよう にし、セットアップと展開を自動化 データ サイエンティストにとって自然な Python フレンドリーな SDK を使用し、 リソースを管理し、ジョブを送信 大規模なデータ分析などのタスクに高度な キューを使用し、ジョブの実行に優先順位 を付けて分散 OpenShift AI エコシステムへのシームレス な統合によるデータサイエンスのワークフ ローを合理化する
19. モデルのトレーニング 19 分散ワークロード クラスターをより簡単に構成する 1. クラスターの作成リクエストを送信する 2. 集約されたリソースのクラスターを評価し、利用 可能な場合にディスパッチする 3. 保留中のクラスターを監視して、集約されたリ ソースを提供し、ワークロードの実行を保証しま す 4. クラスターからステータスとログを取得するジョブ を開発して送信します。 5. クラスターの削除リクエストを送信する プロセス Red Hat OpenShift AI データサイエン ティスト マルチクラスターディス パッチング 動的なスケーリング クラスター 作成する 消去 追加
20. 20 モデルの提供 モデル提供をより柔軟かつ透明にする ▸ 製品ダッシュボードとプロジェクト ワークスペースに統合され たモデル提供ユーザー インターフェイス (UI) ▸ TensorFlow、PyTorch、ONNX などのさまざま なモデル フレームワークをサポート ▸ 基盤モデル用に最適化されたすぐに使えるオプションま たは独自のカスタム推論サーバーのいずれかの 推論 サーバーを選択 ▸ Hugging FaceやStability AI などのプロバイダーからモ デルやGranite などの モデルを提供 ▸ ワークロードの必要に応じて クラスター リソースをス ケールアップまたはスケールダウン
21. モデルの提供 21 モデルを提供、拡張、監視する 必要なリソースを選択し、必 要に応じてモデル提供をス ケール モデルを公開して 安全にする モデル フレーム ワークを選択 デプロイされたモデ ル のエンドポイント を表示
22. モデルモニタリング 22 モデルのパフォーマンス指標 さまざまなモデル パフォーマンス メトリクスにアクセ スして、独自の視覚化を構築したり、データを他の 可観測性サービスと統合することが可能 （すぐに使用できる パフォーマンスと運用メトリクスの視覚化）
23. データ サイエンス パイプライン 23 データ サイエンス パイプライン コンポーネント ▸ データ サイエンス タスクをパイプラインに統合 ▸ データの準備、モデルの構築、モデルの提供などのプロ セスを連鎖させる ▸ 本番環境でのモデルの継続的な配信とテスト ▸ パイプライン実行のスケジュール、追跡、管理 ▸ グラフィカルフロントエンドを使用してパイプラインを簡単 に構築 データを収集 データ処理 モデル トレーニング 既存のモデルをダウ ンロードする 新モデルと 既存モデルを比較 より良い場合は新 しいモデルをプッ シュ
24. データ サイエンス パイプライン 24 Red Hat OpenShift データサイエンスパイプラインの ユーザーインターフェイス OpenShift AI ユーザー イン ターフェイスを使用すると、パイ プラインとパイプラインの実行を 追跡および管理できます。
25. V00001 linkedin.com/company/red-hat youtube.com/user/RedHatVideos facebook.com/redhatinc twitter.com/RedHat V00001 25 Red Hat is the world’s leading provider of enterprise open source software solutions. Award-winning support, training, and consulting services make Red Hat a trusted adviser to the Fortune 500. Thank you
26. ▸ RHEL AI および OpenShift AI の一部として、モデルをカスタマイズするための Granite LLM モデルとツールを提供 ▸ 単一サーバーおよび分散ワークロード用のインフラストラクチャ スタック、および、基 盤モデルの構築、微調整、提供のスケジューラーの開発 ▸ すぐに使える「独自モデルの持ち込み」ユースケースを OpenShift AI で有効にし、 オープンソースとパートナーのエコシステム モデルの統合を組み込む ▸ 自社のポートフォリオの多くに Generative AI 機能を組み込む ･ OpenShift Lightspeed プレビューと RHEL Lightspeed ビジョンを Red Hat Summit で発表 26 生成 AI と基盤モデルに関する Red Hat 戦略 Overview of Red Hat OpenShift AI
27. 27 Open Hybrid Cloud Platforms Red Hat Enterprise Linux | Red Hat OpenShift | Red Hat Ansible Platform Acceleration | Performance | Scale | Automation | Observability | Security | App Connectivity | Secure Supply Chain Red Hat’s AI portfolio strategy Partner Ecosystem Hardware | Accelerators | Delivery AI enabled portfolio Lightspeed portfolio Usability & Adoption | Guidance | Virtual Assistant | Code Generation AI workload support Optimize AI workloads Optimization & Acceleration | Deployment & Run | Compliance | Certification | Built-in security Trust Choice Consistency Realizing Value from AI/ML AI Models Foundation and ML models Open source Granite Family | Bring your own model | Partner ecosystem models AI Platforms RHEL AI + OpenShift AI Development & Tuning | Serving & Monitoring | MLOps | Resource Management