KubeCon + CloudNativeCon North America 2024 Recap Managing and Distributing AI Models Using OCI Standards and Harbor Hidehito Yabuuchi, Preferred Networks, Inc. 2024-12-12 Kubernetes Meetup Tokyo #68

2 ● 薮内 秀仁 (YABUUCHI Hidehito) ● Preferred Networks, Inc. (PFN) ● 機械学習プラットフォーム ○ スケジューラ ○ コンテナレジストリ ○ マネジメントコンソール、etc. ● 社内 CI/CD プラットフォーム ● KubeCon 初参加 自己紹介 これに関連する セッションを紹介

3 https://sched.co/1i7pB https://youtu.be/Dhkb-gDn6NU 取り上げるセッション

4 ● AI モデルを ○ どう保存するか ○ Pod にどう ダウンロードするか ● コンテナイメージなら ○ コンテナレジストリに 置き、pull 課題：AI モデルのレジストリ 画像出典：Managing and Distributing AI Models Using OCI Standards and Harbor - Steven Zou & Steven Ren, VMware by Broadcom

5 ● AI モデルを OCI artifact に包み、コンテナレジストリに push ● コンテナと同様に pull し Pod にボリュームとしてマウント 解決策：OCI Artifact 画像出典：Managing and Distributing AI Models Using OCI Standards and Harbor - Steven Zou & Steven Ren, VMware by Broadcom

6 ● opencontainers/image-spec ○ 「コンテナイメージ」が満たすべき形式 ● OCI artifact ○ コンテナイメージ以外でも OCI Image Spec に沿ってパッケージ化 ○ 例：Helm chart, WASM module, マルウェアのシグネチャ OCI Image Spec / OCI Artifact 画像出典：https://github.com/opencontainers/image-spec/blob/main/img/build-diagram.png

7 OCI Artifact にする利点 画像出典：Managing and Distributing AI Models Using OCI Standards and Harbor - Steven Zou & Steven Ren, VMware by Broadcom ● コンテナイメージのしくみ、 レジストリの機能が使える ○ バージョニング ○ アクセス制御、etc. ● コンテナイメージのエコシステムを活用できる ○ キャッシュサーバ ○ P2P で事前配布、etc.

8 ● OCI image のアノテーションで AI モデル特有の付加情報を記述 ● CloudNativeAI/model-spec で事前定義アノテーションを定める CNAI Model Format Specification 画像出典：Managing and Distributing AI Models Using OCI Standards and Harbor - Steven Zou & Steven Ren, VMware by Broadcom

9 ● OCI artifact を pull し Pod にボリュームとしてマウントする機能 ● 公式ブログ：Kubernetes 1.31: Read Only Volumes Based On OCI Artifacts (alpha) KEP-4639: OCI VolumeSource kind: Pod ... spec: containers: - volumeMounts: - name: volume mountPath: /volume volumes: - name: volume image: reference: quay.io/crio/artifact:v1 pullPolicy: IfNotPresent OCI artifact を pull Pod にボリューム としてマウント

10 コンテナイメージ関連のサービス・ツール ● pfnet/image-pull-secrets-provisioner ○ OIDC に則り image pull secret を自動作成 ● キャッシュサーバ ○ 透過的 pull-through キャッシュ ● ローカル → Pod データ共有 ○ ローカルディレクトリを OCI artifact として push / pull し Pod にコピー PFN での関連事例

11 コンテナイメージ関連のサービス・ツール ● pfnet/image-pull-secrets-provisioner ○ OIDC に則り image pull secret を自動作成 ● キャッシュサーバ ○ 透過的 pull-through キャッシュ ● ローカル → Pod データ共有 ○ ローカルディレクトリを OCI artifact として push / pull し Pod にコピー PFN での関連事例 OCI VolumeSource で... OCI artifact のアクセス 制御にも使える OCI artifact のキャッシュに も使える よりシンプルな実装に → OCI artifact のエコシステムがより発展

12 ● Managing and Distributing AI Models Using OCI Standards and Harbor - Steven Zou & Steven Ren, VMware by Broadcom を紹介 ○ AI モデルを題材に、OCI artifact を使った コンテンツを保存・配布するしくみ ● OCI VolumeSource (KEP-4639, alpha) で OCI artifact をボリュームに ○ Kubernetes の OCI image サポートを OCI artifact に拡張 ● PFN ではコンテナイメージ関連のサービス・ツールを開発・運用 ○ OCI artifact のエコシステムの発展に期待 まとめ

Making the real world computable