Developing image pull secrets provisioner / Kubernetes Meetup Tokyo #65

Kubernetes Meetup Tokyo #65 での発表資料です。
最近公開した https://github.com/pfnet/image-pull-secrets-provisioner について紹介します。
任意の Kubernetes クラスタで、クラウドサービス上のプライベートレジストリに格納したコンテナイメージを使うための認証をセキュアに構成する仕組みです。
開発の経緯や技術的な詳細、工夫した点などについてお話しします。

Transcript

1. Developing image pull secrets provisioner Kubernetes Meetup Tokyo #65 (2024-06-06) 薮内秀仁, Preferred Networks, Inc.
2. 2 • 薮内 秀仁 (YABUUCHI Hidehito) • Preferred Networks, Inc. (PFN) • 社内向け機械学習プラットフォーム & 社外向けクラウドサービス • 社内 CI/CD プラットフォーム 自己紹介
3. 3 • Image pull secret を作成・更新する Kubernetes コントローラ • セキュア ◦ 有効期限の短い認証情報のみ • 汎用 ◦ 任意の Kubernetes クラスタに対応 ◦ OIDC による ID 連携をサポートする 任意のレジストリに対応 pfnet/image-pull-secrets-provisioner
4. 4 1. レジストリ側で k8s ServiceAccount との ID 連携を構成しておく 2. SA のアノテーションに ID 連携の情報を書く 3. Pod で SA を使う 4. SA に紐づく image pull secret が pod に伝搬しイメージを取得できる 使いかた（ユーザ目線）
5. 5 PFN Confidential 開発の背景
6. 6 • マネージド（e.g., EKS + ECR）の場合 ◦ いい感じに統合されている • オンプレ/マルチ/ハイブリッドクラスタの場合 ◦ レジストリの認証情報を image pull secret に格納する プライベートなコンテナイメージを使うには？
7. 7 • 公式ドキュメントの説明* 1. docker login でアクセストークンを作成し、 2. kubectl create secret で トークンを格納した image pull secret を作る • 󰢄 アクセストークンが無期限 ◦ 漏れると誰でも・いつでもプライベートなコンテナイメージを 取得できてしまう ◦ 👉 有効期限の短い認証情報を作り自動更新しよう Image pull secret はどう作る？ *: Pull an Image from a Private Registry | Kubernetes
8. 8 • 󰢄 PFN には昔から image pull secret を作る仕組みがあったが Google Artifact Registry を前提としていた • Preferred Computing Platform (PFCP)* では お客様が使う他のレジストリにも対応したい ◦ Amazon ECR など • 👉 広く採用されている標準を使おう さまざまなレジストリに対応したい *: PFN が開発中の、MN-Core™ シリーズを利用できる AI クラウドサービス PFN、深層学習を高速化するプロセッサーMN-Core 2の開発および、MN-Coreシリーズのク ラウドサービス構想を発表 - 株式会社Preferred Networks
9. 9 • レジストリの認証情報を発行し image pull secret に仕立てる 仕組みがほしい ◦ 有効期限が短い認証情報を発行し自動更新する ◦ 広く採用されている標準に従いレジストリの認証情報を得る • Kubernetes クラスタは OpenID プロバイダになれる* ◦ 👉 OpenID Connect (OIDC) による ID 連携を採用しよう 採用するプロトコル *: Configure Service Accounts for Pods | Kubernetes
10. 10 • K8s ServiceAccount の ID トークンを クラウドリソース用のアクセストークンに交換できる ◦ クラウド側で SA を信頼しておく OIDC による ID 連携 アクセストークン ID トークン JWT (JSON Web Token) クラスタ c0 から来た k8s SA ns0/sa0 です ns0/sa0 リソース c0 の ns0/sa0 は リソースへのアクセス OK
11. 11 PFN Confidential Image pull secrets provisioner
12. 12 Image pull secret 作成・更新の流れ
13. 13 • 事前にレジストリ側で k8s SA との OIDC による ID 連携を構成しておく • AWS での例 ◦ repo0 からイメージ取得できるポリシー pol0 ◦ K8s SA ns0/sa0 は pol0 を含む role0 を引き受ける • ns0/sa0 の ID トークンで role0 のトークンを取得できる ns0/sa0 repo0 pol0 / role0
14. 14 • SA をウォッチ • ID 連携情報がアノテーションにある SA を reconcile ns0/sa0
15. 15 • TokenRequest API で SA の ID トークンを取得 • トークンは JWT 形式 ◦ OIDC での ID トークンとして使える { "iss": "https://example.com", # トークンの発行者 "exp": 1731613413, # 有効期限 # トークンを発行した対象 "sub": "system:serviceaccount:ns0:sa0" } ns0/sa0
16. 16 • SA の ID トークンを提示し レジストリ用のトークンを要求 (Token Exchange) • アノテーションに書かれた ID 連携情報にしたがう ns0/sa0 repo0 pol0 / role0 ※ 各プロバイダの SDK や CLI を使っていれば自動で トークン交換してくれるが今回は自分でしないといけない
17. 17 • ID トークンの署名を検証 • トークン発行者 URL をもとに 公開鍵を取得 (OpenID Connect Discovery) ns0/sa0 • 署名検証鍵 (JWK) を公開 • 方法例 ◦ S3 に置いて CloudFront で配信
18. 18 レジストリからコンテナイメージを 取得するためのトークンを返す ns0/sa0 repo0 pol0 / role0
19. 19 • トークンを image pull secret の 形式に変換し Secret を作成 • SA に紐づけ • SA を使う pod に伝搬するように ns0/sa0 { "auths": [ { "REGISTRY": { "password": "ACCESS-TOKEN", # プロバイダごとに異なる "username": "USERNAME" } } ] }
20. 20 • トークンには有効期限がある • 期限前に reconcile されるよう requeue • トークンを再発行し image pull secret を更新 ns0/sa0
21. 21 PFN Confidential 工夫した点
22. 22 • Image pull secret 作成・更新の成否と理由をユーザに伝えたい ◦ 󰢄 コントローラのログは読めない • 👉 Kubernetes Event の作成で通知 ◦ EventRecorder を作り、 ServiceAccount に関するイベントとして Event リソースを作成 イベントによる通知 $ kubectl describe serviceaccount sa0 Events: Type Reason Age From Message ---- ------ ---- ---- ------- Warning FailedProvisioningImagePullSecret 57m image-pull-secrets-provisioner Failed to create or refresh ... Normal ProvisionedImagePullSecret 52m image-pull-secrets-provisioner Provisioned an image pull ...
23. 23 • ServiceAccount に image pull secret が紐づけられると、 その後 SA を使う pod に image pull secret が伝搬する • 󰢄 Image pull secret 作成前からある pod には伝搬しない ◦ イメージ取得に失敗する • 👉 イメージ取得に失敗している pod を自動で evict（退去） Pod eviction
24. 24 • pfnet/image-pull-secrets-provisioner は image pull secret を作成・更新する Kubernetes コントローラ • OIDC による ID 連携を採用 ◦ 有効期限の短い認証情報のみ ◦ 幅広いレジストリに対応 • イベントによるユーザ通知 • 古い pod を自動で evict まとめ
25. 25 • Preferred Networks の計算基盤関連チームでは採用を実施中です！ ◦ 機械学習プラットフォームエンジニア （クラスタのサービス化） ◦ ストレージエンジニア （ストレージの企画設計管理運用） ◦ 大規模計算基盤エンジニア/ネットワーク・インフラ運用エンジニア （クラスタの物理設計、MN-Core™ を含めた先端システム設計等） • カジュアル面談もやってます → We’re hiring!
26. Making the real world computable