KubeCon + CloudNativeCon NA ‘25 Recap, Extensibility: Gateway API / NRI

Aya Igarashi, Preferred Networks, Inc.
Kubernetes Meetup Tokyo #73 KubeCon NA 2025

Transcript

1. KubeCon + CloudNativeCon NA ‘25 Recap Extensibility: Gateway API / NRI Aya Igarashi, Preferred Networks, Inc. Kubernetes Meetup Tokyo #73 KubeCon NA 2025
2. 2 Who am I? • Aya Igarashi (@Ladicle) • Preferred Networks, Inc. (PFN) • 機械学習プラットフォーム ◦ https://pfcomputing.com/ (PFCP) ◦ 分散バッチジョブ ◦ スケジューラ ◦ ユーザ向けk8s Add-on (autoscaler, etc.) • 最近の趣味: ◦ Vibe CodingでPersonal Agentつくる
3. 3 Extensibility: Gateway API / NRI
4. 4 • Gateway APIのControllerの1つである Envoy Gatewayの発表 ◦ One Size Doesn't Fit All: Adding Org-Specific Gateway API Extensions with Envoy Gateway - Teju Nareddy, Confluent & Guy Dalch, SAP • Why? ◦ 利用しているIngress Nginxの開発が、3月で終了する告知があった ▪ To InGate and Beyond Ingress-nginx! - James Strong, Isovalent @ Cisco & Marco Ebert, Giant Swarm ◦ 移行に向けていろいろ取り組んでいたところだったので選んだ 今回Recapするセッション (1) - Gateway API
5. 5 Gateway APIはIngressの思想を引き継ぎつつも、拡張性を高め、役割分担やプロ トコル対応が強化されたAPI One Size Doesn't Fit All: Adding Org-Specific Gateway API Extensions with Envoy Gateway
6. 6 Ingress同様に公式で定められているのは API仕様で、これを実装するさまざまな Gateway Controllerがある。 Gateway Controller https://gateway-api.sigs.k8s.io/implementations/ 今回セッションは、Envoy Gatewayの話
7. 7 このセッションは、その中のEnvoy Gatewayの話。その名の通りEnvoyベースで、 Gateway APIリソースをXDSに変えて設定を切り替える仕組み One Size Doesn't Fit All: Adding Org-Specific Gateway API Extensions with Envoy Gateway
8. 8 拡張性に対する課題感 : • Gateway Controllerのユースケースは幅広くOSSでは対応できない ◦ 社内固有のセキュリティ要件や、特殊なルーティングなど • OSSにできる機能であっても、Upstreamにマージされるまでは時間がかかる が、その間も利用したい • Forkすれば対応できるが、Forkによる拡張はメンテコストが高い Envoy Gatewayの対応策: 様々なHookポイントを提供し、Forkなしで拡張可能にする One Size Doesn't Fit All: Adding Org-Specific Gateway API Extensions with Envoy Gateway 実際自分のケースでも社内固有の要件で拡張性を重視していたのでこの設計に惹かれた
9. 9 Extension Serverという拡張機能を使うと、自前で実装したカスタムリソースと Extention Serverを使って、挙動を拡張できる これを使った SecurityPolicyなどEnvoyGateway独自のCRも提供されている One Size Doesn't Fit All: Adding Org-Specific Gateway API Extensions with Envoy Gateway
10. 10 • NRIを使ったKubernetesの拡張話 ◦ Not Forking Around: Leveraging NRI To Extend Kubernetes at Scale - Johan Jensen & Wesley Bermbach, Uber ◦ Container Runtime Customization at Netflix: A Case Study With NRI and OCI Hooks - Erikson Tung, Netflix • Why? ◦ 社内でもNRIを使ってRuntimeを拡張しており、どう拡張点をメンテしていく かの話が刺さったので選んだ 今回Recapするセッション (2) - NRI
11. 11 NetflixはForkしたDockerを使っていた UberはStateful StackからKubernetesへ移行 Moving to (Real) Kubernetes どちらもアプリ側を変更するのではなく、イン フラ側で差分を吸収する必要があった In-place resources upgrade, etc. systemd support, CPU isolation, etc.
12. 12 • Upstreamから提供されると理想的なものの、ビジネスの要件によっては待っ ていられない現実がある • Forkすれば短期的には結果が得られるが、NetflixのようにOSSを使っている のにもかかわらずコミュニティの恩恵が受けられなかったり、技術的負債によ りバージョンアップが難しくなる Not Forking Around
13. 13 • NRIは、コンテナが作成される直前に、OCI Spec（実際にコンテナを実行する 際の設定ファイル）を直接変更できる拡張点 • Netflixはこれを利用することで、独自のCPU IsolationやSystemdサポートを入 れたり、Uberはリリース前のIn-place resource upgradeを導入したりと、Fork せずにKubernetesを拡張した Node Resource Interface (NRI) Uberのデモでは、 LLMと連携する NRI Pluginを使って、コンテナ起動時に Podの 内容に応じて適切なリソースを設定したり、 環境変数に絵文字を追加していた
14. 14 • ControllerやAdmission Webhookに比べると、NRI pluginが動作していない時 にPodがカスタムできなくなるので、障害時の影響の大きさや、Upgradeが難 しいなど問題も多い(Netflix側で問題事例が紹介されている) Node Resource Interface (NRI) 拡張点は Upstreamに入れたり、減らせる ならそれに越したことはない
15. 15 大規模計算基盤エンジニア 募集中です。 カジュアル面談 もお気軽にどうぞ ! We’re hiring!
16. Making the real world computable