Nutanix Kubernetes PlatformでLLMを動かす話

Slide 1

Slide 1 text

Nutanix Kubernetes Platform LLM @jyoshise A.K.A. GAFA

Slide 2

Slide 2 text

No content

Slide 3

Slide 3 text

Nutanix Enterprise AI 登場 3

Slide 4

Slide 4 text

Nutanix Enterprise AI が提供するもの 4 あらゆる Kubernetes Nutanix Kubernetes Platform | CNCF準拠 | パブリッククラウド Nutanix Cloud Infrastructure セキュアなインフラ | レジリエントストレージ | ハイパーコンバージェンスコアインフラストラクチャー AI とモダンアプリ生成AIアプリを展開生成AIアプリを構築エンタープライズモデルリポジトリロールベースアクセスコントロール推論エンドポイントサービス日々の AI 運用 Nutanix Enterprise AI お好みの LLM | セキュアなエンドポイント API | あらゆる Kubernetes

Slide 5

Slide 5 text

Nutanix Enterprise AIの動作は? 5 APIとエンドポイント、LLM、インフラストラクチャを監査、監視 Nutanix Enterprise AIをあらゆるKubernetes上で展開して利用 1. Nutanix Kubernetes ® Platform Red Hat OpenShift Azure AKS | AWS EKS | GCP Rancher | Docker Nutanix Enterprise AI インターフェイスにログインし、シンプルに使いたいLLMを選択して展開 2. 自社のモデル 4. APIクレデンシャルを開発者またはアプリケーションオーナーに共有テストモードアクセスで生成AI に質問 APIトークン提供: B23014KJH…… API ? セキュアなモデルを利用するためのAPIを作成し、モデルへのアクセスを検証 3. ユーザーベースのAPI を作成しモデルへアクセス自社のモデル API API API Endpoint API B23014KJH …

Slide 6

Slide 6 text

ふん、Nutanix Enterprise AIっていうのかい。贅沢な名だね。でもこれってただの「推論APIサーバー」では？

Slide 7

Slide 7 text

そうだが？

Slide 8

Slide 8 text

DEMO

Slide 9

Slide 9 text

Slide 10

Slide 10 text

10 Nutanix AI ソリューション概要 GPU搭載サーバー生成 AI アプリ Nutanix Enterprise AI Nutanix Kubernetes Platform ファウンデーションモデル Nutanix Cloud Infrastructure GPT-in-a-Box 2.0 Nutanix Unified Storage サイジング/ インテグレーションサービス New New GPU搭載サーバー生成 AI アプリ Nutanix Enterprise AI パートナーの Kubernetes ファウンデーションモデル Nutanix Cloud Infrastructure あらゆるCNCF準拠K8s上 New 生成 AI アプリ Nutanix Enterprise AI Amazon EKS Azure AKS, Google Cloud GKE ファウンデーションモデルパブリッククラウド上ネイティブ GPUが利用できるクラウド New

Slide 11

Slide 11 text

AIを加速: エッジからマルチクラウドまで 11 データセンターで再訓練データセンターで再訓練データセンターパブリッククラウドクラウドを再訓練エッジエッジでNutanixソフトウェアを活用: 小規模な常時接続されていないエッジロケーションでのコンパクトなカスタマイズされたAI推論を稼働させるのに理想的エッジエッジデータセンターで Nutanixソフトウェアを活用: モデルのトレーニング、クラウドで作られたLLM のカスタマイズのためのデータ主権を備えたAI対応インフラストラクチャデータセンタークラウドを再訓練パブリッククラウドでNutanixソフトウェアを活用: LLMにアクセスするための一貫性のあるデータ主権を備えたインフラストラクチャデータセンターをまたがり再訓練

Slide 12

Slide 12 text

Xinference • Xorbits社によるOSS • Pythonで動作 • LLM, Embedding, Rerank, Image, Audioなど多様なModelのServingに対応そこまでガチじゃない用途（ご自宅など）には、ふつうに GPU仮想マシンでOSS推論サーバーを動かすのもあり Ollama • Ollama ProjectによるOSS • Goで動作 • LLMとEmbedding Modelに対応

Slide 13

Slide 13 text

よろしい。で、どうすればAIが使えるの？

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Dify Dify • 中国LangGenius社によるSaaS/OSS • ノーコードでAIアプリケーションを作成/ 公開できるプラットフォーム • 豊富なテンプレート • 多くのモデルプロバイダーをサポート • RAGパイプライン作成機能 • カスタムツールやAPIの統合

Slide 16

Slide 16 text