Kubernetes のスケーラビリティを左右するデータストアの話

Kubernetes のスケーラビリティを左右するデータストアの話第18回分散システム集会 @honahuku

普段お使いの k8s クラスタの Node 数はいくつですか？分散システム集会

主要なマネージドKubernetesのノード数上限 • GKE (Google Cloud) • 5,000ノード (デフォルト) /
65,000ノード (最大) • EKS (AWS) • 10万ノード • AKS (Azure) • 5,000ノード • 割り当てと上限 | Google Kubernetes Engine (GKE) | Google Cloud • 詳解: Amazon EKS 超大規模クラスター | Amazon Web Services ブログ • Azure Kubernetes Service (AKS) のリソース、SKU、リージョンの制限 - Azure Kubernetes Service | Microsoft Learn

Amazon EKS はどのように 1 クラスタ 10 万ノードに対応したのか / Under the
Hood EKS Ultra Scale Cluster - Speaker Deck AWS / Ryota Yamada -san

etcd • ワーカーノード数を増やしていくとボトルネックとして挙げられる etcd • etcdはKubernetesクラスタのすべての状態を保持する分散キーバリューストア

etcdの課題 • 既存のetcdはRaftを使ってメンバー間で一貫性を保つ • Raftのトランザクションログ（WAL）とスナップショットのディスクへの永続化（ fsync）が、大規模なノードの変更やPodの作成（高頻度の書き込み）によって、パフォーマンスを低下させる

GKEの選択 • GKEはオープンソースのetcdからGoogle Cloud のSpannerベースの新しいキーバリューストアへ移行した • Spannerは「事実上無制限のスケール」を謳う Google Cloudの分散データベース

ステートレスなコントロールプレーン • Spannerの利用により、GKEはクラスタ操作のレイテンシ改善（起動やアップグレードなど）とステートレスなコントロールプレーンを実現した • etcd APIを実装することで、Kubernetesコアの変更を避けて互換性を確保している

EKS の選択 / ストレージ層の刷新 • EKSはetcdコアを強化した • 分散合意をRaftからAWS内で利用される Journalへ移行 •
BoltDBの保存先をEBSからインメモリストレージ (tmpfs)へ変更 • 耐久性はJournalが保証するためインメモリでも問題ない

EKS の選択 / リソースごとのシャーディング • リソースタイプごとに etcdクラスタを分割（シャーディング）した
• オブジェクト数が多いNodeやPodといった「ホットな」リソースを分離し、負荷を分散させる

kube-apiserver のチューニング • etcdのスケーリングに加え、EKSはAPIサーバーのチューニングも行っている • キャッシュから整合性のある読み取りを行うための仕組み（KEP-2340） • 巨大なリスト応答を効率的に読み取るストリーミ
ングエンコーディング（KEP-5116）

まとめ • GKEはSpannerによる無限のスケールを追求している • EKSはetcdの抜本的な再構築 (Journal / In-memory /
シャーディング) によって10万ノードを実現した • これらの進化により、トリリオンパラメータモデルの訓練やAGI（汎用人工知能）の実現に必要な計算基盤の利用も加速する(らしい)

Kubernetes のスケーラビリティを左右するデータストアの話

Kubernetes のスケーラビリティを左右するデータストアの話

Honahuku

More Decks by Honahuku

Featured

Transcript