IKSを本番で使うための道しるべ / IKS in Production

IBM Cloud | ©2019 IBM Corporation IKSを本番で使うための道しるべ日本アイ・ビー・エム株式会社クラウド事業部岸田
吉弘

IBM Cloud | ©2019 IBM Corporation IBM Cloud | ©2018
IBM Corporation このセッションのスコープ 2 IBM Cloud Kubernetes Services (IKS) を本番で利用するにあたり、検討すべき項目をお伝えする話さないこと • Docker、Kubernetesの概要 • IBM Cloud、IKSの概要 • コンテナー開発のベストプラクティス

IBM Corporation コンテナーの適用ロードマップ n CNCF - “Cloud Native Trail Map“ 1. コンテナー化 • 一般的には Docker コンテナで実施 • あらゆるサイズのアプリケーションおよび依存性をコンテナ化できる • 時間が経つにつれ、アプリケーションを分割しマイクロサービス化したくなるはず 2. CI/CD（継続デリバリの仕組み） • 継続インテグレーション・継続デリバリの仕組みをセットアップ • コード変更が新しいコンテナ・イメージとして、自動的にビルドされ、テストされ、デプロイされるように 3. オーケストレーション＆アプリ定義 • 互換性試験に合格した Certified Kubernetes 環境を選びましょう • 複雑なアプリケーションであってもHELMで定義して、導入して更新していくことが可能 https://github.com/cncf/landscape/blob/master/README.md#trail-map

IBM Corporation IBM Cloud Kubernetes Service 4 簡略化されたクラスタ管理 IBM Cloud & Watsonの活用セキュリティの担保独自のクラスター設計統合された運用ツールネイティブKubernetes体験 • 高可用性(HA)のマネージドMaster • Nodeの自動リカバリー • IBM Cloud IAMによるアクセス管理直感的なユーザー・エクスペリエンスと容易なクラスタ管理を提供するマネージド型のKubernetesサービス取得済みコンプライアンス東京リージョンでも利用可能認証取得済みバージョン • 仮想サーバー(共有/専有)、ベアメタルから選択 • マルチゾーンクラスターによる高可用性構成 • 脆弱性アドバイザーによるコンテナイメージと実行中のコンテナの検査 • HSMによる鍵管理 • Watson, IoT, Analyticsなど IBM Cloudサービスと連携 • Secretは自動で暗号化 • Kubernetesの公式認証プロバイダー • Kubernetes APIとツールを100%利用可能 • ロギング、監視サービスがビルトイン • Prometheusやfluentdなどアドオンツールのサポート

IBM Corporation KUBERNETES CLUSTER KUBERNETES クラスター IKSを取り巻くIBM Cloudのサービス USER ON-PREMIS IBM CLOUD USER APPLICATION INTERNET SERVICES DEVELOPER IBM CLOUD SERVICES IoT SERVICES WATSON SERVICES INTEGRATION MOBILE SERVICE CI/CD PIPELINE CONTAINER REGISTRY CONTINUOUS DELIVERY GIT LAB CONTAINER IMAGES LOG・MONITORING LOG ANALYSIS MONITORING AVAILABILITY MONITORING STORAGE・DB BLOCK STORAGE OBJECT STORAGE CLOUD DATABASES NETWORK

IBM Corporation 6 クラスターの構成

IBM Corporation KUBERNETES CLUSTER KUBERNETES クラスター IKSを取り巻くIBM Cloudのサービス ON-PREMIS IBM CLOUD USER

IBM Corporation クラスターの可用性 8 uシングルゾーンまたはマルチゾーンを選択 - 可用性を高めるためにもマルチゾーン・クラスターでの構成を推奨 https://cloud.ibm.com/docs/containers?topic=containers-plan_clusters

IBM Corporation ワーカー・ノードの選択：ハードウェアの選択 9 uベアメタル、仮想（専有）、仮想（共有）から選択 - ベアメタル：ハイパフォーマンスが必要なワークロード、GPU - 仮想（専有）：本番環境 - 仮想（共有）：開発/テスト環境、本番環境

IBM Corporation ワーカー・ノードの選択：サイジング 10 u1つのゾーンが障害で使えなくなっても100%のサービスを継続提供できるよう、それぞれ50%ずつ（合計150%）のワークロード配置を推奨 uスペックはアプリケーションに依存するのでちゃんと検証しましょう - 4コア or 8コアが選ばれることが多い - k8s稼働のためのオーバーヘッド（10%程度）も考慮する TOK04 w5 node w6 node TOK05 w7 node w8 node w9 node TOK02 w1 node w2 node w3 node w4 node 50% 50% 50% Worker Pool Cluster

IBM Corporation マルチゾーン・クラスターによる高可用性構成 11 TOK02 TOK04 TOK05 Worker 1 Worker 2 Worker 3 Worker 1 Worker 2 Worker 3 Worker 1 Worker 2 Worker 3 Global Load Balancer (Cloud Internet Services) IBM Cloud Databases Master バックアップ IBM Cloud Object Storage u MZRなら可用性を担保しつつ国内で完結できる Cross-Regional ロードバランサー機能は IKSに組み込まれている東京リージョンの3つのデータセンターで実現可能マスターノードも 3データセンターに分散配置ゾーン間で分散配置され、常にレプリケーションクロスリージョナルの ICOSに自動バックアップ

IBM Corporation マルチゾーン・クラスター：ネットワーク 12 TOK02 cluster Worker Pool TOK04 TOK05 private VLANs public VLANs VRF or VLAN spanning w5 node w6 node w7 node w8 node w9 node w1 node w2 node w3 node w4 node uマルチゾーン構成の際はVRF（もしくはVLANスパニング）を有効にする必要がある - 各ゾーンで異なるVLAN間で会話できるようにするため - VRFが有効になっているかどうかは`$ ibmcloud account show`で確認

IBM Corporation IKSのバージョニング・ポリシー 13 u最新バージョン (n) がリリースされると、2 つ前のバージョン (n-2) までサポート uそれ以前のバージョン (n-3) は非推奨になった後、サポート対象外になる - サポート対象バージョンの Kubernetes を検証するための30日以上の猶予期間が与えられる (2019/05/22 時点) https://cloud.ibm.com/docs/containers?topic=containers-cs_versions

IBM Corporation 14 CI/CD パイプライン

IBM Corporation KUBERNETES CLUSTER KUBERNETES クラスター IKSを取り巻くIBM Cloudのサービス ON-PREMIS IBM CLOUD USER APPLICATION DEVELOPER CI/CD PIPELINE CONTAINER REGISTRY CONTINUOUS DELIVERY GIT LAB CONTAINER IMAGES

IBM Corporation CI/CD パイプライン ‹#› 16 Plan Code Build Test Release Operate Monitor Unit Integration CI Pipeline CD Pipeline Hook Commit PR Package Dev, Stage Production Log Usage Liveness Issues Maintenance ERROR Review Develop LGTM! Registry

IBM Corporation IBM CloudにおけるCI/CD ‹#› Hook Commit PR ERROR LGTM! Registry Unit Integration Package Dev, Stage Production Log Usage Liveness Issues Maintenance Review Develop Plan Code Build Test Release Operate Monitor CI Pipeline CD Pipeline Gitlab Sauce Labs Web IDE Availability Monitoring Slack Pager Duty Gitlab Delivery Pipeline Delivery Pipeline Gitlab Monitoring Log Analysis Container Registry Nexus Kubernetes Service Kubernetes Service Kubernetes Service

IBM Corporation 18 https://cloud.ibm.com/devops/toolchains

IBM Corporation 19 永続データの保管

IBM Corporation KUBERNETES CLUSTER KUBERNETES クラスター IKSを取り巻くIBM Cloudのサービス ON-PREMIS IBM CLOUD USER APPLICATION DEVELOPER CI/CD PIPELINE CONTAINER REGISTRY CONTINUOUS DELIVERY GIT LAB CONTAINER IMAGES STORAGE・DB BLOCK STORAGE OBJECT STORAGE CLOUD DATABASES

IBM Corporation IKSにおける永続ストレージ 21 w5 node w6 node w7 node w8 node w9 node w1 node w2 node w3 node w4 node cluster Worker Pool TOK02 TOK04 TOK05 PVC PVC PVC uマルチゾーン対応もしているDBaaSまたはICOSの利用を推奨 uIaaSで提供しているファイルストレージ or ブロックストレージも利用可能 - ただしゾーンをまたげないためマルチゾーンの場合は注意が必要 uIaaS上の仮想サーバー/ベアメタルにDBを導入してPrivate NWで接続することもできる

IBM Corporation マルチゾーン対応のストレージソリューション 22 https://cloud.ibm.com/docs/containers?topic=containers-integrations&locale=ja#storage_services IBM Cloud Object Storage DBaaS (IBM Cloud Databases, Cloudant) SDS（Software Defined Storage) (Portworx) ※ 要ライセンス

IBM Corporation IBM Cloud Databases (ICD) 23 IBM Cloud Object Storage (Cross Regional) Follower Leader Follower Customer 1 Namespace Customer 2 Namespace Customer 3 Namespace Kubernetes cluster within a IBM Cloud Region • フルマネージドのデータベース・サービス • オープンソースの様々なデータベースを提供 • デフォルトでMZRに分散配置（データベースの種類ごとに 2メンバーまたは3メンバーで構成） • Cross-regional の Cloud Object Storageに自動バックアップ Availability Zone B Availability Zone C Availability Zone A Backups Replication Replication

IBM Corporation 24 ログ & モニタリング

IBM Corporation KUBERNETES CLUSTER KUBERNETES クラスター IKSを取り巻くIBM Cloudのサービス ON-PREMIS IBM CLOUD USER APPLICATION DEVELOPER CI/CD PIPELINE CONTAINER REGISTRY CONTINUOUS DELIVERY GIT LAB CONTAINER IMAGES LOG・MONITORING LOG ANALYSIS MONITORING AVAILABILITY MONITORING STORAGE・DB BLOCK STORAGE OBJECT STORAGE CLOUD DATABASES

IBM Corporation IKSのロギング 26 取得可能なログ ① ワーカー・ノード • OSのイベント ② コンテナー • コンテナのSTDOUT、STDERR ③ アプリケーション ④ ストレージ ⑤ kube-system • kubelet、kube-proxy などの情報 ⑥ kube-audit • API サーバーに送信された情報 ⑦ Ingress • ネットワーク・トラフィックに関する情報 uIKSでは以下のコンポーネントのログがローカルで生成され、書き込まれる u一元的にみるにはIBM Cloudのサービスや外部サービスを使うのがよい https://cloud.ibm.com/docs/containers?topic=containers-health

IBM Corporation IBM Log Analysis with logDNA 27 • リアルタイムログ監視 • ログソースの自動解析と索引作成 • キーワードベースのログ検索とグラフ作成 • 重要なイベントやエラーのアラート通知 • IBM Cloud Object Storage へログをアーカイブ • 30以上のログソースのサポート

IBM Corporation LogDNAによるログの取得 28 IBM Cloud Log Analysis with LogDNAサービスを使用してログを取得可能 IBM Log Analysis with LogDNA LogDNA Web UI API Alert System Log Search Archive Customer app logs Machine Generated data Kubernetes cluster Virtual Server instance IBM Cloud Databases Customer app IBM Cloud

IBM Corporation LogDNAによるログの取得 29 IKSクラスターにエージェントを導入するだけ！ https://cloud.ibm.com/docs/services/Log-Analysis-with-LogDNA

IBM Corporation IBM Cloud Monitoring with Sysdig 30 - リアルタイムのパフォーマンス監視およびトラブルシューティング - 動的トポロジーマップにより、サービス間の依存関係を視覚的に確認 - カスタマイズ可能なダッシュボード - Kubernetesクラスターを自動検出し様々なメトリクスを収集 - 異常やダウンタイム、パフォーマンス劣化時のマルチチャネル通知 - Email, Slack, PagerDuty, Webhook, OpsGenie, VictorOps - 東京でも動くようになりました！

IBM Corporation モニタリング 31 IBM Cloud Monitoring with Sysdig サービスを使用して様々なメトリクスを収集・管理可能

IBM Corporation Sysdigによるメトリクスの収集 32 IKSクラスターにエージェントを導入するだけ！ https://cloud.ibm.com/docs/services/Monitoring-with-Sysdig

IBM Corporation 33 ネットワーク

IBM Corporation KUBERNETES CLUSTER KUBERNETES クラスター IKSを取り巻くIBM Cloudのサービス USER ON-PREMIS IBM CLOUD USER APPLICATION INTERNET SERVICES DEVELOPER CI/CD PIPELINE CONTAINER REGISTRY CONTINUOUS DELIVERY GIT LAB CONTAINER IMAGES LOG・MONITORING LOG ANALYSIS MONITORING AVAILABILITY MONITORING STORAGE・DB BLOCK STORAGE OBJECT STORAGE CLOUD DATABASES NETWORK

IBM Corporation クラスター・ネットワーク 35

IBM Corporation クラスターネットワーク 36 uIKSのワーカーノードはユーザーの IaaSアカウント上に配置される - IaaSサーバーとPrivateでの通信が可能 uIKS内部のネットワーク制御に `Calico`を使用 uインターネットからクラスターを保護するにはFirewallやCalicoを使用 u Firewall： Vyatta, Fortigate u 仮想サーバーで使える Security GroupはIKSで使えない

IBM Corporation ファイアウォールの選択肢 37 種類 Description できること Calico ネットワークポリシー • クラスターに標準で統合されている Calicoプラグイン • calicoctl コマンドが必要 • ワーカー・ノードで iptablesのルールを設定 • ホワイトリストで特定リソース（CISなど）からのみのリクエストを許可 Cloud Internet Services • IBM Cloudのサービスとして提供 • 実態はCloudflareのデータセンターで稼働 •DDoS 保護 •Web Application Firewall (WAF) •Global Load Balancer (GLB) •CDN Gateway Appliance • Juniper vSRX • Vyatta VRA •Public および private (10 Gbps only) VLAN 保護 •単一ゾーンでのシングルテナントのファイアウォール •Virtual Private Network (VPN) ゲートウェイ Fortigate Security Appliance • 1 Gbps (仮想, 単一のpublic VLAN) • 10 Gbps (物理, 複数のpublic および private VLAN) •Public および private (10 Gbps only) VLAN 保護 •単一ゾーンでのシングルテナントのファイアウォール •Intrusion Prevention System (IPS) •Virtual Private Network (VPN) ゲートウェイ https://cloud.ibm.com/docs/containers?topic=containers-network_policies

IBM Corporation Cloud Internet Services（CIS） 38 Cloudflare社とのパートナーシップにより、世界中の150以上のCloudflare社のデータセンターを活⽤したサービスを IBM Cloud から利⽤できるようになりました。インターネットに公開されたアプリケーションやWebサイトのパフォーマンスを改善し、セキュアに保ちます。セキュリティ回復性パフォーマンス DDoS 防御: レイヤ3、4、または7が対象の⼤量のトラフィックやリクエストを利⽤した攻撃に対する保護 Web アプリケーションファイアウォール (WAF): 既知や未知の脆弱性に対してアプリやウェブサイトを保護 SSL/TLS: 最新の標準暗号化⽅式を利⽤し、インターネットを通じたデータ転送をセキュアに維持 DNS: IPアドレスやエイリアスに対して、⾼速な名前解決を提供 Global Load Balancer (GLB): 可⽤性やサービス健全性に基づいたルーティングにより、可⽤性を向上し、レイテンシを低減 CDN: ロケーションベースのアクセスを提供し、レイテンシを低減し、性能を改善ページルール: ウェブページごとに詳細なアクションを管理、リダイレクト作成、キャッシュ動作調整が可能

IBM Corporation Private Cluster 39 マスター ↔ ワーカーノード間の通信、マスターへのアクセス（kubectlコマンド）がPrivate 経由に

Cloud Service Endpoint 40 uお客様アカウントのIaaS環境（IKS含む）からIBM Cloud上で稼働するサービスに対し、 IBM Cloud のプライベート・ネットワーク経由でアクセス可能に •
Service Endpointにかかる費用は無料 • VRFの有効化が必要

IBM Corporation 42 ユーザー管理

IBM Corporation ユーザーの権限管理 43 https://cloud.ibm.com/docs/containers?topic=containers-users u複数のユーザーが関わる場合は適切な権限管理を付与する

IBM Corporation IBM Cloud IAMとKubernetes RBACの関係 44 https://cloud.ibm.com/docs/containers?topic=containers-access_reference IAM での役割 - 管理者(Admin) - オペレーター(Operator) - エディター(Editor) - ビューワー(Viewer) Kubernetes クラスター ClusterRole - edit - view - admin … Role binding - ClusterRole - Role Default Role binding : - ibm-admin → RBAC ClusterRole admin - ibm-edit → RBAC ClusterRoles edit - ibm-view → RBAC ClusterRoles view ユーザーアカウント `$ kubectl get clusterrolebinding ibm-admin -o yaml`でユーザー確認できる uIBM Cloud IAMで設定した役割は内部でKubernetesのClusterRoleに紐づけられるそれぞれどんな役割が与えられているかは Docsで確認

IBM Corporation KUBERNETES CLUSTER KUBERNETES クラスター IKSを取り巻くIBM Cloudのサービス USER ON-PREMIS IBM CLOUD USER APPLICATION INTERNET SERVICES DEVELOPER IBM CLOUD SERVICES IoT SERVICES WATSON SERVICES INTEGRATION MOBILE SERVICE CI/CD PIPELINE CONTAINER REGISTRY CONTINUOUS DELIVERY GIT LAB CONTAINER IMAGES LOG・MONITORING LOG ANALYSIS MONITORING AVAILABILITY MONITORING STORAGE・DB BLOCK STORAGE OBJECT STORAGE CLOUD DATABASES NETWORK

IBM Corporation 46

IBM Corporation もっと詳しく知りたい方はDocsへ 47 https://cloud.ibm.com/docs/containers

IKSを本番で使うための道しるべ / IKS in Production

IKSを本番で使うための道しるべ / IKS in Production

More Decks by Yoshihiro Kishida

Other Decks in Technology

Featured

Transcript