Backlog における Kubernetes の取り組み / Kubernetes's approach in Backlog

2019/3/8 ヌーラボ 福岡本社で行われたGeeks Who Drinkでの発表資料です。

Transcript

1. Backlog における Kubernetes の取り組み Yuki YOSHIIWA Geeks Who Drink in Fukuoka ­Front End Edition 2­
2. Yuki YOSHIIWA a.k.a. iwa Web Frontend Engineer @ Nulab Inc. ­ React, TypeScript がだいすき！ ­ スイスがすきなので Scala がすき！ ­ ≡ もすきです！ ­ わんこだいすき！ ­ これは若かりし時の我が仔
3. 突然ですが、
4. Backlog は UX 向上にゼンリョク！ 速くて使いやすい、新しい UI を作っています ­ React, TypeScript ­ Scala (Akka HTTP, Play なし) ­ GraphQL, WebSocket ­ Kubernetes UX を最大化するためインフラレベルから見直し ­ どうなるかはヒミツ
5. なんでやるの？
6. 現世代 Backlog の課題
7. 運用つらい問題 国内・海外に複数の環境 ­ 現在8 環境 ­ サーバー台数は200 台+ ­ 伸びるリリース時間… いくつか対策はしている ­ 今回は割愛 ­ 詳しくは SRE チームに
8. 運用つらい問題 サービスいっぱい ­ Issue, Wiki, Git, File, ... ­ これからも増える予定 サービスが増えることで、 運用コストが跳ね上がるの は避けたい
9. サービス増でつらくならないように いくつか Dockerize ­ ECS で動かしている ­ ステートレスな設計 ­ リリース簡単で速い！ 今後はコンテナーベースに していきたい
10. Kubernetes
11. Kubernetes とは Google が社内で培ってき たコンテナー運用にまつわ る知見を元に設計・開発し た、オープンソースのコン テナーオーケストレーショ ンシステム →Google がやってきたこ とを一般化したもの
12. Kubernetes とは Cluster Master Node kube­apiserver Node Node scheduler controller manager etcd kubectl kubelet kube­proxy container runtime Pod containers
13. Kubernetes とは オーケストレーション ( コ ンテナーの構成・設定) は yaml で管理する ­ yaml を正とする運用 (single source of truth) ­ レビューがやりやすい
14. Kubernetes とは ほとんどの関心事を yaml に落とし込める ­ 接続先などの設定 ­ スケーリングの閾値 ­ アップデート時の動作 Infrastructure as Code の 極致と言えるのでは
15. Kubernetes とは やりすぎた例 ­ VM を管理 ­ K8s を管理 ­ データセンターを管理 独自のリソース定義を作る ことで、割となんでもでき るカスタマイズ性
16. Kubernetes とは 耐障害性が非常に高い ­ 優れたスケジューラ ­ 死活監視 ­ セルフヒーリング ホスト/ コンテナーが落ち てもすぐに復旧する！
17. Cacoo も使っている！
18. EKS 、キミにきめた！
19. EKS とは AWS が提供するマネージ ド Kubernetes サービス ­ 面倒ごとから解放される ­ クラスターの管理 ­ アップデート Out­of­box で AWS のサ ービスと統合されている
20. EKS とは Cluster Master Node kube­apiserver Node Node scheduler controller manager etcd kubectl kubelet kube­proxy container runtime Pod containers
21. EKS とは Cluster Master Node kube­apiserver Node Node scheduler controller manager etcd kubectl kubelet kube­proxy container runtime Pod containers API Server など K8s の 根幹となる機能を提供
22. EKS とは Cluster Master Node kube­apiserver Node Node scheduler controller manager etcd kubectl kubelet kube­proxy container runtime Pod containers API Server など K8s の 根幹となる機能を提供 落ちたらまずい 部分を運用しな くていい安心感 アップデートを 自動でやってく れる嬉しい！
23. EKS とは Cluster Master Node kube­apiserver Node Node scheduler controller manager etcd kubectl kubelet kube­proxy container runtime Pod containers API の認証・認可に IAM Role を使える
24. EKS とは Cluster Master Node kube­apiserver Node Node scheduler controller manager etcd kubectl kubelet kube­proxy container runtime Pod containers Node には EKS に最適 化された AMI を使用 Node のスケーリング には Auto Scaling Group を使用
25. EKS とは Cluster Master Node kube­apiserver Node Node scheduler controller manager etcd kubectl kubelet kube­proxy container runtime Pod containers Node には EKS に最適 化された AMI を使用 Node のスケーリング には Auto Scaling Group を使用 信頼と実績のあ る Auto Scaling Group ！
26. なんで EKS ？ Cacoo は自分でクラスターを作っていなかった？ ­ Cacoo チームからつらいところを聞いていた ­ アップデートなど… ­ マネージド K8s が良いという話は聞いていた GKE, AKS は検討しなかった？ ­ AWS を利用しているので EKS にした ­ ハイブリッドクラウドはコスト面で厳しい
27. 実際にあった話
28. 実際にあった話 Critical! 早く対応しない といかん！ K8s 初の深刻な セキュリティ インシデント
29. 実際にあった話 CVE­2018­1002105 という、特殊なリクエストを行 うことで権限昇格することができる、危険性の高い 脆弱性が見つかる ­ K8s 本体をアップデートしないといけない ­ 本体のアップデートはやることが多く非常に面倒
30. 実際にあった話 EKS の対応のタイムライン ­ 2018/12/04 02:01 JST: K8s チームがアナウンス ­ 2018/12/04 13:28 JST: 問い合わせ ­ 2018/12/04 17:07 JST: AWS から対応中と返事 ­ 2018/12/05 17:58 JST: 対応完了の知らせ この間、コマンドを叩くことも、画面からぽちぽち することもなく、アップデート完了
31. 実際にあった話 EKS の対応のタイムライン ­ 2018/12/04 02:01 JST: K8s チームがアナウンス ­ 2018/12/04 13:28 JST: 問い合わせ ­ 2018/12/04 17:07 JST: AWS から対応中と返事 ­ 2018/12/05 17:58 JST: 対応完了の知らせ この間、コマンドを叩くことも、画面からぽちぽち することもなく、アップデート完了 マネージド 最高！
32. Backlog における EKS の構成管理
33. Backlog のアーキテクチャ
34. Backlog のアーキテクチャ Internet nginx web api git svn MySQL Redis log
35. Backlog のアーキテクチャ Internet nginx web api git svn MySQL Redis log Master kube­apiserver Node Pod New UX Service
36. Backlog のアーキテクチャ Internet nginx web api git svn MySQL Redis log Master kube­apiserver Node Pod New UX Service 既存 VPC 内に K8s の Node を配置している
37. Backlog のアーキテクチャ Internet nginx web api git svn MySQL Redis log Master kube­apiserver Node Pod New UX Service インターネットからの アクセスは、nginx → K8s から作成した ELB と流れる
38. Backlog のアーキテクチャ Internet nginx web api git svn MySQL Redis log Master kube­apiserver Node Pod New UX Service DB などにはコンテナー から直接アクセス
39. EKS の構成管理
40. Terraform Terraform を利用 ­ Backlog で実績アリ ­ 既存と組み合わせやすい eksctl は検討したが、マ ッチしなかったので除外
41. Terraform 管理対象 ­ IAM Role ­ Network (Subnet, etc) ­ EKS Cluster ­ Node ­ Auto Scaling Group
42. Terraform Terraform で Node の AMI を変更しても Node が入 れ替わらない… →Terraform では Auto Scaling Group を変更して もローリングアップデートがかからないことがわか った どうするか
43. Terraform + CloudFormation +
44. Terraform 管理対象 ­ IAM Role ­ Network (Subnet, etc) ­ EKS Cluster 主に K8s の Master や、 ネットワーク周りを管理し ている
45. CloudFormation (CFn) AWS 公式 EKS Node のテ ンプレートを利用 ­ Node の面倒を引き受け CFn を利用することで Auto Scaling Group 更新 時にローリングアップデー トがかかるように！
46. Terraform + CloudFormation 定常業務が terraform apply で済むようになった
47. Terraform + CloudFormation terraform apply するとローリングアップデートが かかるため、ダウンタイムなしに 更新できる
48. とても嬉しい！ Amazon Linux 2 のセキュリ ティインシデントが… ↓ AMI を変更して terraform apply
49. とても嬉しい！ K8s のセキュリティインシデ ントで AMI 入れ替えないと… ↓ AMI を変更して terraform apply
50. とても嬉しい！ K8s のバージョンアップしたい！ ↓ 該当のバージョン用の AMI に変更して terraform apply
51. とても嬉しい！ terraform apply するだけなので とても楽になった
52. まとめ
53. まとめ ・Kubernetes (K8s) はとても良いです ・マネージド K8s はすぐに使えて運用も楽です ・EKS を terraform で作るときは CloudFormation を terraform で作るようにしましょう… ・フロントエンドに疲れた方は Kubernetes やってみ ませんか？
54. ヌーラボに興味がある方はこちら！