KubeCon NA 2024 Recap: Managing and Distributing AI Models Using OCI Standards and Harbor / Kubernetes Meetup Tokyo #68

Kubernetes Meetup Tokyo #68 での発表資料です。
KubeCon + CloudNativeCon North America 2024 でのセッション "Managing and Distributing AI Models Using OCI Standards and Harbor" を recap し、関連する Kubernetes に追加される機能や PFN での事例を紹介します。

Transcript

1. KubeCon + CloudNativeCon North America 2024 Recap Managing and Distributing AI Models Using OCI Standards and Harbor Hidehito Yabuuchi, Preferred Networks, Inc. 2024-12-12 Kubernetes Meetup Tokyo #68
2. 2 • 薮内 秀仁 (YABUUCHI Hidehito) • Preferred Networks, Inc. (PFN) • 機械学習プラットフォーム ◦ スケジューラ ◦ コンテナレジストリ ◦ マネジメントコンソール、etc. • 社内 CI/CD プラットフォーム • KubeCon 初参加 自己紹介 これに関連する セッションを紹介
3. 3 https://sched.co/1i7pB https://youtu.be/Dhkb-gDn6NU 取り上げるセッション
4. 4 • AI モデルを ◦ どう保存するか ◦ Pod にどう ダウンロードするか • コンテナイメージなら ◦ コンテナレジストリに 置き、pull 課題：AI モデルのレジストリ 画像出典：Managing and Distributing AI Models Using OCI Standards and Harbor - Steven Zou & Steven Ren, VMware by Broadcom
5. 5 • AI モデルを OCI artifact に包み、コンテナレジストリに push • コンテナと同様に pull し Pod にボリュームとしてマウント 解決策：OCI Artifact 画像出典：Managing and Distributing AI Models Using OCI Standards and Harbor - Steven Zou & Steven Ren, VMware by Broadcom
6. 6 • opencontainers/image-spec ◦ 「コンテナイメージ」が満たすべき形式 • OCI artifact ◦ コンテナイメージ以外でも OCI Image Spec に沿ってパッケージ化 ◦ 例：Helm chart, WASM module, マルウェアのシグネチャ OCI Image Spec / OCI Artifact 画像出典：https://github.com/opencontainers/image-spec/blob/main/img/build-diagram.png
7. 7 OCI Artifact にする利点 画像出典：Managing and Distributing AI Models Using OCI Standards and Harbor - Steven Zou & Steven Ren, VMware by Broadcom • コンテナイメージのしくみ、 レジストリの機能が使える ◦ バージョニング ◦ アクセス制御、etc. • コンテナイメージのエコシステムを活用できる ◦ キャッシュサーバ ◦ P2P で事前配布、etc.
8. 8 • OCI image のアノテーションで AI モデル特有の付加情報を記述 • CloudNativeAI/model-spec で事前定義アノテーションを定める CNAI Model Format Specification 画像出典：Managing and Distributing AI Models Using OCI Standards and Harbor - Steven Zou & Steven Ren, VMware by Broadcom
9. 9 • OCI artifact を pull し Pod にボリュームとしてマウントする機能 • 公式ブログ：Kubernetes 1.31: Read Only Volumes Based On OCI Artifacts (alpha) KEP-4639: OCI VolumeSource kind: Pod ... spec: containers: - volumeMounts: - name: volume mountPath: /volume volumes: - name: volume image: reference: quay.io/crio/artifact:v1 pullPolicy: IfNotPresent OCI artifact を pull Pod にボリューム としてマウント
10. 10 コンテナイメージ関連のサービス・ツール • pfnet/image-pull-secrets-provisioner ◦ OIDC に則り image pull secret を自動作成 • キャッシュサーバ ◦ 透過的 pull-through キャッシュ • ローカル → Pod データ共有 ◦ ローカルディレクトリを OCI artifact として push / pull し Pod にコピー PFN での関連事例
11. 11 コンテナイメージ関連のサービス・ツール • pfnet/image-pull-secrets-provisioner ◦ OIDC に則り image pull secret を自動作成 • キャッシュサーバ ◦ 透過的 pull-through キャッシュ • ローカル → Pod データ共有 ◦ ローカルディレクトリを OCI artifact として push / pull し Pod にコピー PFN での関連事例 OCI VolumeSource で... OCI artifact のアクセス 制御にも使える OCI artifact のキャッシュに も使える よりシンプルな実装に → OCI artifact のエコシステムがより発展
12. 12 • Managing and Distributing AI Models Using OCI Standards and Harbor - Steven Zou & Steven Ren, VMware by Broadcom を紹介 ◦ AI モデルを題材に、OCI artifact を使った コンテンツを保存・配布するしくみ • OCI VolumeSource (KEP-4639, alpha) で OCI artifact をボリュームに ◦ Kubernetes の OCI image サポートを OCI artifact に拡張 • PFN ではコンテナイメージ関連のサービス・ツールを開発・運用 ◦ OCI artifact のエコシステムの発展に期待 まとめ
13. Making the real world computable