[July Tech Festa 2019] Kubernetes on OpenStack におけるハマりどころ

July Tech Festa 2019の発表内容になります。
Kubernetesをオンプレミス(OpenStack)で利用する際に私がハマったポイントについての共有になります。

発表時の動画群

* [create cluster by magnum](https://youtu.be/2XeBIdZyco0)
* [check cluster by magnum](https://youtu.be/vIGQdPgHMaE)
* [create pvc](https://youtu.be/e19r6OXz9xY)
* [create loadbalancer](https://youtu.be/uXG-AlLI85g)

Transcript

1. Kubernetes on OpenStack におけるハマりどころ 株式会社アイリッジ 斎藤辰徳
2. 斎藤辰徳 (iRidge, Inc., HN: bbrfkr) Hello! 2 大手SIerにて以下を経験し、現職へ • VMwareを基礎とした仮想化基盤構築 • IaCやコンテナ技術の案件適用推進 現職ではAWSに基軸をおき、以下のミッションを担う • FargateやAuroraなどマネージドサービスを中心に Mobile Appインフラ開発・運用
3. ? ◉ 事業 ◦ O2O(Online to Offline)ソリューション開発 ◦ O2Oアプリの企画・開発 ◉ 技術 ◦ インフラ開発・運用 → AWS × コンテナ がメイン ◦ Managed Serviceを積極活用したCloud Architecture ◦ ECS CLIの国内トップレベルでの利用 AWS Fargate 3 Amazon ECS Amazon ECR Amazon Aurora Amazon Cognito AWS Lambda
4. Background 4 オンプレミスでKubernetesの機能を 最大限に活かしたい
5. Agenda ◉ マネージドKubernetesとセルフホストKubernetes ◉ セルフホストKubernetesとクラウド連携 ◉ ??? マネージドKubernetes ◉ デモ 5
6. パブリックマネージドKubernetes 6 EKS GKE AKS
7. AWS Cloud 7 ◉ Masterノードの管理が不要 ◉ クラウド上のリソースと連携が可能 ELB EFS ASG EBS cluster auto scaling provision, destroy provision, destroy, mount provision, destroy, mount パブリックマネージドKubernetes
8. パブリック セルフホスト Kubernetes プライベート マネージド Kubernetes 8 非パブリックマネージドKubernetes プライベート セルフホスト Kubernetes EC2 + GCE + VMware vSphere OpenStack Nova + + OpenStack Magnum ?
9. AWS Cloud 9 ◉ Masterノードの管理が必要 ◉ クラウド上のリソースと連携が可能 ELB EFS ASG EBS cluster auto scaling provision, destroy provision, destroy, mount provision, destroy, mount パブリックセルフホストKubernetes
10. VMware vSphere Infrastructure 10 ◉ Masterノードの管理が必要 ◉ クラウド上のリソースと連携が不可能な場合も cluster auto scaling provision, destroy provision, destroy, mount provision, destroy, mount プライベー卜セルフホストKubernetes ? ? ? ?
11. 11 オンプレミスでは諦めるしかない…? 要はオンプレミスにクラウドが作れればいい
13. OpenStack Cloud 13 ◉ Masterノードの管理が必要 ◉ クラウド上のリソースと連携が可能な場合も provision, destroy,mount provision, destroy, mount プライベートセルフホストKubernetes provision, destroy Octavia Cinder Manila ?
14. 14 ◉ kubeadm製の場合、以下の機能は使えないはず…！ ◦ type LoadBalancer Serviceの作成 ◦ PersistentVolumeの動的なプロビジョニング ◦ クラスタのオートスケーリング セルフホストKubernetesとクラウド連携 Kubernetesのリソースを監視し 必要に応じてクラウドリソースを作ったり消したりできればいい Cloud Controller Manager
15. 15 ◉ --cloud-provider=externalオプション ◦ 最近はcloud-providerを外だしする傾向に ◦ 以下のコンポーネントで設定が必要 ▪ kube-apiserver ▪ kube-controller-manager ▪ kubelet Cloud Controller Managerの設定
16. 16 ◉ 以下のリポジトリをgit clone ◦ https://github.com/kubernetes/cloud-provider-openstack Cloud Controller Managerの設定 ◉ cloud-configファイルを編集 & Secretに追加 $ cd manifests/controller-manager $ vi cloud-config $ sed -i "s/cloud.conf:.*/cloud.conf: $(base64 -w 0 cloud-config)/g" \ > cloud-config-secret.yaml $ kubectl apply -f .
17. 17 ◉ cloud-configファイルのサンプル Cloud Controller Managerの設定 [Global] region=RegionOne username=admin password=password auth-url=https:/ /os-controller.iridge.bbrfkr:5000/v3 tenant-id=792f17824f504c17bf874ef07cb68db8 domain-id=default ca-file=/etc/ssl/certs/openstack-ca.crt [LoadBalancer] subnet-id=7f951334-e4a9-4e98-a914-7bea9feb42d3 floating-network-id=f8c7e902-afa5-4c94-a15a-a7c9241 0c4c6 use-octavia=true [BlockStorage] bs-version=auto 各サービスのエンドポイント にHTTPSでアクセスする場 合、CA証明書の指定が必 要 ロードバランサにOctaviaを 使う場合は必要
18. 18 ◉ CSI Cinderドライバ ◦ CinderでPVをDynamic Provisioning可能にする ◦ 以下のコンポーネントで構成 (Kubernetes 1.14時代) ▪ csi-attacher ▪ csi-nodeplugin ▪ csi-provisioner Cloud Controller Managerの設定
19. 19 が、私の経験上 CSI Cinderが公式手順で動いたことは 一度もありません。。。！！
20. 20 CSI CinderのCA証明書非対応問題
21. 21 https:/ /github.com/bbrfkr/cloud-provider-openstack (stein-testブランチ)
22. パブリック セルフホスト Kubernetes プライベート マネージド Kubernetes 22 非パブリックマネージドKubernetes プライベート セルフホスト Kubernetes EC2 + GCE + VMware vSphere OpenStack Nova + + OpenStack Magnum
23. OpenStack Cloud 23 ◉ Masterノードの管理が不要(誰もやらないとはいってない ) ◉ クラウド上のリソースと連携が可能 cluster auto scaling provision, destroy provision, destroy, mount provision, destroy, mount プライベートマネージドKubernetes Magnum Octavia Cinder Manila
24. 24 ◉ Heat(AWSにおけるCFn)のテンプレート集 Magnumの実体
25. 25 Heat(とちょっとPython)知ってれば 自分でCluster driver作れるのでは？？ Magnumもじゃじゃ馬。。。 （既存Cluster driverを動かすのに苦労）
26. 26 https://github.com/bbrfkr/magnum (stein-testブランチ)
27. 27 ◉ CentOS7/Kubernetes the Hard Wayベース ◉ 以下をプリインストール ◦ CNI(flannel or calico) ◦ CoreDNS ◦ Cloud Controller Manager ◉ ただひたすらbashスクリプトで頑張る！(？) 自作Cluster driver
28. 28 ◉ 作り方 1. driver.pyを書く 2. template_def.pyを書く 3. Heatテンプレートを書く 4. 構築用bashスクリプトを書く 5. version.pyを書く 自作Cluster driver ◉ 作り方 1. driver.pyを書く 2. template_def.pyを書く 3. Heatテンプレートを書く 4. 構築用bashスクリプトを書く 5. version.pyを書く
29. 29 自作Cluster driver 「os」に呼び出すGlance Imageを定義 Glance Imageにはプロパティ 「os_distro」に同名をつけておく ◉ driver.py Heatテンプレートを呼び出す オブジェクトを返してあげる
30. 30 自作Cluster driver ◉ template_def.py Heatテンプレートの所在を返す関数 Magnumから受け取るパラメータを 取り込み処理するモジュール
31. 31 自作Cluster driver ◉ Heatテンプレート UserDataとしてひたすらbash スクリプトをロード
33. 33 自作Cluster driver ◉ CSI Cinder ◦ Cluster driverに特定ユーザ情報を入れたくない ◦ trust-idで認証したいがデフォルトでできない
34. Magnum Kubernetes Cluster API LB etcd LB 34 自作Cluster driver ◉ どこまでできるか ◦ 構築 ▪ 複数ワーカーノード群 ▪ HAマスターノード群 ▪ API用LB ▪ etcd用LB HA Masters PythonとHeatが書ければ どこまでも。。。 Multiple Workers
35. 35 Demo 〜 OpenStack Magnum 〜
36. 36 まとめ ◉ Kubernetesとクラウドとの連携は cloud-controller-managerがやっている ◉ c-c-mが動いた設定でもCSI Cinderは動かない ◉ Magnumの自作Cluster driverでKaaSを自作可能
37. 質問があればお気軽に！ ◉ Twitter: @bbrfkr ◉ GitHub: https://github.com/bbrfkr Thanks! 37