Kubernetes in Startup ~UbieのインフラをKubernetesに乗せた話~

Kubernetes in Startup ~UbieのインフラをKubernetesに乗せた話~
Japan Container Days v18.12 MeetUp

Transcript

1. Kubernetes in Startup ~UbieのインフラをKubernetesに乗せた話~ Japan Container Days v18.12 MeetUp @sakajunquality
2. - Google Developers Expert - Software Engineer @ Ubie Inc. - やってること #infrastructure #docker #kubernetes - 好きなこと #coffee #beer About @sakajunquality
3. About Ubie - 医療スタートアップ - 創業約1年半 - エンジニア 6名 - 内インフラ: 1
4. Today’s Agenda - PaaSから Kubernetes に移行した話 - Kubernetes 移行で苦労した話 - Kubernetes 移行後苦労した話
5. PaaS から Kubernetes に移行した 話
6. Why Kubernetes? - すでに複数のサービスが動いている、今後もサービスが増える予定 - GCPにはマネージドのKubernetesがある - 個人的に好き
7. - フロント１つ + 複数のバックエンドが稼働 - バックエンドは、Ruby on Rails から Kotlin w/ Spring Boot に移行中 Services in Ubie
8. - フロント１つ + 複数のバックエンドが稼働 - さらにサービスは増える予定 Services in Ubie
9. GCP - Heroku から GCP に移行することが決まっていた - セキュリティやマネージドサービスなどの理由 - GKE - マネージド Kubernetes - CI / CDもマネージド - マネージド Istio など今後も期待
10. 個人的に好き - 個人的には結構重要だと思う
11. 移行 - 移行 - 新しいバックエンドのサービスの稼働 - 既存のサービスの移行 - スケジュール - 2018年10月にUbie入社 - 2018年11月頭に移行完了 - (本当は10月中に終わらせたかった )
12. PaaS から Kubernetes に載せ替えて - リソースが効率化された - Compute / Memory / Disk - サービス間の通信で無駄に外に行くことがなくなった - インターナルなサービスで通信 - 体感速度も上がった！ - プロセスの監視もしっかりできるようになった - デプロイフローも GitOps で統一できた
13. GitOpsの話はシアトルで！
14. Kubernetes is Great!
15. Kubernetes 移行で苦労した話
16. Kubernetes 移行で苦労した話 - Dockernize・環境変数 - なぜか動かないのでデバッグ - Kubernetes 自体
17. Dockernize - そもそものDocker化されていなかった
18. Dockernize - そもそものDocker化されていなかった - → Docker化してもらった
19. Dockernize - そもそものDocker化されていなかった - → Docker化してもらった - → いざ動かしたら動かないw
20. 環境変数 - 環境変数がコード化されていない - heroku config すればOK - 本番・ステージで微妙に違ったり・・・
21. 環境変数 - 環境変数がコード化されていない - heroku config すればOK - 本番・ステージで微妙に違ったり・・・ - → 泥臭く精査(いらないもの消したり)
22. なぜか動かないのでデバッグ - コンテナにtcpdump入れてリクエストを見てみたり・・・ - kubectl exec をひたすら繰り返す
23. Kubernetes 自体が難しい - アプリケーション開発者には Kubernetes は意識させたくない - が、すぐにそこまで作り込めないので触って貰う必要がある
24. 外部でやったハンズオンを社内でやったり https://github.com/sakajunquality/gke-getting-started
25. Kubernetes is Difficult!
26. - 場合によっては、Kubernetes で動かすところまでたどり着くのも難しい - 慣れてないと、Kubernetes 自体難しい Kubernetes is Difficult!
27. Kubernetes 移行後苦労した話
28. Kubernetes 移行後苦労してる話
29. Kubernetes 移行後苦労してる話 - ジョブの実行 - Podがevicted - デプロイの通知 - namespaceの区切り方ミス
30. ジョブの実行 - DBマイグレーションなどの定常的なジョブ - → デプロイのパイプラインに組み込む - → 問題なし
31. ジョブの実行 - 順序を気にするようなアドホックのコマンドを実行する - → batch/v1のJob? - → kubectl exec? - どう自動化に組み込むか？ - リッチなCI用意する?
32. Podがevicted - Podの一覧を見るとevictedになっている - 割り当てたディスクを使い果たす - → アプリケーションのバグだったの修正 - 割り当てたメモリを使い果たす - → 調査中
33. デプロイの通知 - ローリングアップデートの通知がわかりにくい - 単純に作ればいいが、時間が取れていない・・
34. - RubyからKotlinへの書き換えをしているので、言語でnamespaceを区切った - → RBACのことを考えると、組織の発展を考えた区切り方にしたほうが良かった namespaceの区切り方
35. Kubernetes is Hard!
36. Kubernetes is Hard! - 本番運用し始めてから気づくことも - 運用の大変なところはコンテナにしてもそうじゃなくても変わらないところが大き い - どう自動化するかとか
37. Kubernetes is still Great?
38. - オーケストレーションとしてよくできていると思う - アプリケーション開発者に意識させない用にするには、結構作り込みがいる気 がする - ただし作り込めば、新しいサービスを増やす際も共通の基盤として使える Kubernetes is still Great?
39. Kubernetes in startup? - リソースが限られているので、作り込みが甘いのは多少しょうがない - Kubernetes を使って実現したい世界をアプリケーション開発者に共有し、協力 を得る
40. Conclusion
41. Conclusion - Kubernetes is Great! - Kubernetes is Difficult! - Kubernetes is Hard! - Kubernetes is Great!
42. Thank you