Tweet
Tweet

Slide 1

Slide 1 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. EKS를 활용한 '타다' 서비스 구축기 김태호, VCNC

Slide 2

Slide 2 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 안녕하세요 • 김태호입니다. • VCNC에서 백엔드 개발 및 운영을 하고 있습니다. • sapzil.org (블로그) • github.com/dittos

Slide 3

Slide 3 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. VCNC 주요 서비스 기능 라이드 헤일링 출시 2018년 10월 다운로드 330,000 (2019년 02월 기준) 서비스 국가 한국 기능 커플 메신저, 사진 저장, 달력 공유 출시 2012년 3월 다운로드 27,000,000 (2018년 11월 기준) 서비스 국가 전세계 이미지: © VCNC

Slide 4

Slide 4 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 타다는... 새로운 이동의 기준을 제시하는 모빌리티 플랫폼으로, 스마트폰을 이용하여 언제든 원하는 곳까지 더욱 편리하고 안전하게 이동할 수 있습니다. 이미지: © VCNC

Slide 5

Slide 5 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 타다는... 2018년 10월 론칭 후 한 달 만에 약 15만 라이더가 사용하는 주요 모빌리티 서비스로 자리 잡았으 며, 호출수 기준 프리미엄 서비스 시장 1위 사업자로 성장했습니다. 400,000 80% ★ 4.4 15,000 앱 설치수 재탑승률 앱스토어 평가 일일 활성 사용자수

Slide 6

Slide 6 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 발표 목차 1. 타다 시스템 아키텍처 2. Amazon EKS @ 타다 • kops -> EKS 마이그레이션 경험 • AWS 서비스를 활용한 Kubernetes 클러스터 구축

Slide 7

Slide 7 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.

Slide 8

Slide 8 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 타다: 기술 선택 배경 • 빠르게 변화하는 시장 상황 • 짧은 초기 개발 기간 (6월 개발 시작, 10월 정식 출시) • 비트윈 개발 경험

Slide 9

Slide 9 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 비트윈: 흔하지 않은 기술 선택 • 메인 데이터베이스: HBase + Haeinsa • RPC/메시징, 로그 수집: 인하우스 프레임워크 • 덜 중요한 문제 해결에 시간 소모 • 금방 낡기 쉬움

Slide 10

Slide 10 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 타다: 흔한 기술 선택 • 지루한(?) 기술 • MySQL • Spring Boot • Redis • 비교적 새롭지만 충분히 성숙한 기술 • gRPC • Kubernetes • Kotlin • AWS에서 제공하는 기술 • RDS Aurora / ElastiCache • Kinesis (Firehose) • CloudWatch Logs

Slide 11

Slide 11 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 비트윈: 느리고 복잡한 배포 프로세스 • 많은 서비스 / 다양한 기술스택 • Ansible + Packer • 비용 절약을 위해 여러 서비스를 수동으로 묶어서 한 인스턴스에? • 프로비저닝 (AMI 이미지 생성) 하는데 오래걸림 • 서비스끼리 서로 영향을 줌

Slide 12

Slide 12 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 타다: 빠르고 간단한 배포 프로세스 • 통일된 기술 스택 (Kotlin + Spring Boot) • 컨테이너 • 컨테이너 오케스트레이션 (Kubernetes) • "Binpacking"

Slide 13

Slide 13 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 라이더 앱 차량 호출, 차량 위치 확인 드라이버 앱 배차 확인, 차량 위치 전송 이미지: © VCNC

Slide 14

Slide 14 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. API 서버 Aurora MySQL (main) API 서버 API 서버

Slide 15

Slide 15 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. API 서버 각종 워커 Redis subscribe publish gRPC 서버 subscribe gRPC 서버 gRPC 서버

Slide 16

Slide 16 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. API 서버 각종 워커 Redis gRPC 서버 SubscribeRideEvents (rideId=X) gRPC 서버 gRPC 서버

Slide 17

Slide 17 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. API 서버 각종 워커 Redis gRPC 서버 SubscribeRideEvents (rideId=X) gRPC 서버 gRPC 서버 SUBSCRIBE ride.X

Slide 18

Slide 18 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. API 서버 각종 워커 Redis gRPC 서버 SubscribeRideEvents (rideId=X) gRPC 서버 gRPC 서버 SUBSCRIBE ride.X PUBLISH ride.X ...

Slide 19

Slide 19 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. gRPC: 특징 • 오픈소스 RPC 프레임워크 • 다양한 언어 지원 (Java - Server/Android, Swift - iOS) • HTTP/2 프로토콜 기반 • 적은 데이터 전송량 (Protocol Buffers) • 스트리밍 지원 (단방향, 양방향)

Slide 20

Slide 20 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. API 서버 API 서버 위치수집 서버 주기적으로 전송

Slide 21

Slide 21 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. API 서버 API 서버 위치수집 서버 Kinesis Streams

Slide 22

Slide 22 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. API 서버 Aurora MySQL (tracker) API 서버 위치수집 서버 Kinesis Streams Tracker Tracker Tracker

Slide 23

Slide 23 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. API 서버 Aurora MySQL (tracker) API 서버 위치수집 서버 ?

Slide 24

Slide 24 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. API 서버 Aurora MySQL (tracker) API 서버 API 서버 SQS Tracker Tracker Dispatcher Aurora MySQL (main) 차량 호출

Slide 25

Slide 25 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 로그 수집 애플리케이션 (서버/워커) Logging Framework (Logback) Kinesis Appender Kinesis Data Streams S3 Athena Kinesis Data Firehose

Slide 26

Slide 26 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. RDS (Aurora MySQL) Kinesis SQS ElastiCache (Redis) AWS managed Server Server Server LB Kubernetes Server Server Workers 요약

Slide 27

Slide 27 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.

Slide 28

Slide 28 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon EKS? • AWS의 관리형 Kubernetes 서비스 • 2017년 11월: re:Invent에서 프리뷰 버전 출시 • 2018년 6월: 상용(GA) 버전이 미국 리전에만 출시

Slide 29

Slide 29 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon EKS? 올해 1월: 서울 리전에 출시! https://github.com/aws/containers- roadmap/issues/37

Slide 30

Slide 30 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Kubernetes 아키텍처 K8S User ... 워커 노드 (가상or물리) kubelet Pod Pod 워커 노드 (가상or물리) kubelet Pod Pod 마스터 노드 (API 서버, 스케줄러) Pod Spec (Docker 이미지들) 마스터 노드 (API 서버, 스케줄러) 마스터 노드 (API 서버, 스케줄러)

Slide 31

Slide 31 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Kubernetes w/ EKS K8S User ... 워커 노드 (EC2) kubelet Pod Pod 워커 노드 (EC2) kubelet Pod Pod 마스터 노드 (API 서버, 스케줄러) Pod Spec (Docker 이미지들) K8S API EKS (“관리형”) Bring your own node (EKS 최적화 AMI 제공)

Slide 32

Slide 32 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 비교: ECS w/ EC2 ECS User ... 컨테이너 인스턴스 (EC2) ECS agent Task Task 컨테이너 인스턴스 (EC2) ECS agent Task Task ECS Master(?) Task Def. (Docker 이미지들) ECS API

Slide 33

Slide 33 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. EKS 기본 구성 • AWS IAM 기반 Kubernetes API 서버 인증 • ENI 기반 네트워킹 플러그인 • 노드 당 Pod 개수 제한

Slide 34

Slide 34 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. RDS (Aurora MySQL) Kinesis SQS ElastiCache (Redis) AWS managed Server Server Server LB Kubernetes Server Server Workers

Slide 35

Slide 35 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. RDS (Aurora MySQL) Kinesis SQS ElastiCache (Redis) AWS managed (persistent) Server Server Server LB Kubernetes (old) Server Server Server LB EKS

Slide 36

Slide 36 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. RDS (Aurora MySQL) Kinesis SQS ElastiCache (Redis) AWS managed (persistent) Server Server Server LB Kubernetes (old) Server Server Server LB EKS Route 53 Weighted Routing

Slide 37

Slide 37 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. VPC ap-northeast-2a ap-northeast-2c k8s subnet 1 k8s subnet 2 master master master worker worker worker worker worker worker default subnet 1 RDS, ElastiCache (Multi-AZ) default subnet 2 RDS, ElastiCache (Multi-AZ) NLB

Slide 38

Slide 38 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. VPC ap-northeast-2a ap-northeast-2c k8s subnet 1 k8s subnet 2 master master master worker worker worker worker worker worker default subnet 1 RDS, ElastiCache (Multi-AZ) default subnet 2 RDS, ElastiCache (Multi-AZ) EKS subnet 1 worker worker worker EKS subnet 2 worker worker worker NLB NLB

Slide 39

Slide 39 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 모든 서비스 다시 설치 ● Helm 차트로 Kubernetes 리소스가 선언되어 있음 ● 기반 서비스 설치 ○ nginx ○ fluentd (로깅) ○ … ● 워커 설치, 잘 동작하는지 확인 ● 서버 설치

Slide 40

Slide 40 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 트래픽을 새 클러스터로 보내기 *.tadatada.com Old NLB New NLB Old k8s nodes Old k8s nodes Old k8s nodes Old k8s nodes Old k8s nodes New k8s nodes weight=100 weight=0

Slide 41

Slide 41 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 트래픽을 새 클러스터로 보내기 *.tadatada.com Old NLB New NLB Old k8s nodes Old k8s nodes Old k8s nodes Old k8s nodes Old k8s nodes New k8s nodes weight=100 weight=10

Slide 42

Slide 42 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 트래픽을 새 클러스터로 보내기 *.tadatada.com Old NLB New NLB Old k8s nodes Old k8s nodes Old k8s nodes Old k8s nodes Old k8s nodes New k8s nodes weight=0 weight=100

Slide 43

Slide 43 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 이전 클러스터 제거 *.tadatada.com Old NLB New NLB Old k8s nodes Old k8s nodes Old k8s nodes Old k8s nodes Old k8s nodes New k8s nodes

Slide 44

Slide 44 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 이전 클러스터 제거 *.tadatada.com Old NLB New NLB Old k8s nodes Old k8s nodes Old k8s nodes Old k8s nodes Old k8s nodes New k8s nodes

Slide 45

Slide 45 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 이전 클러스터 제거 *.tadatada.com New NLB Old k8s nodes Old k8s nodes New k8s nodes

Slide 46

Slide 46 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS 서비스를 활용한 Kubernetes 클러스터 구축 • 상용 환경에서 사용하기 위해 설치해야 하는 것들 • Ingress – Ingress Controller • 모니터링, 로깅, … • 오토스케일링

Slide 47

Slide 47 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Ingress Controller • Ingress: 클러스터 내부 서비스를 외부에 HTTP(S)로 노출 • 실제로 작동하기 위해서는 Ingress Controller가 필요 • 다양한 종류의 Ingress Controller 솔루션 • NGINX Ingress Controller • AWS ALB Ingress Controller

Slide 48

Slide 48 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Ingress Controller • AWS ALB Ingress Controller • 현재 Ingress 하나마다 ALB를 1개 생성하는 구조 • gRPC 미지원 (ALB) • NGINX Ingress Controller • NGINX 웹서버 기반 • gRPC 모듈 지원 • 외부 로드밸런서 필요

Slide 49

Slide 49 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. gRPC와 로드밸런싱 • Classic ELB (HTTP) • HTTP/2, gRPC 미지원 • Classic ELB (TCP) • 갑작스런 연결 수 증가를 처리하려면 Pre-warm up 필요 • TLS termination은 HTTP/2, gRPC 미지원 (ALPN 설정 불가) • ALB • HTTP/2 지원, gRPC 미지원 • NLB • TLS termination은 HTTP/2, gRPC 미지원 (ALPN 설정 불가)

Slide 50

Slide 50 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. gRPC와 로드밸런싱 • NLB + NGINX • NGINX gRPC 모듈 • NGINX에서 TLS termination • NGINX Ingress Controller • Kubernetes pod load balancing NLB nginx nginx service service k8s nodes https (443) https (30000) http (80)

Slide 51

Slide 51 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. kube2iam • IAM으로 인증하는 AWS 서비스에 접근하려면 인증 정보가 필요 • 액세스 키? • EC2 인스턴스 프로파일로 인스턴스에 IAM 역할을 부여 • Kubernetes 환경에서는 인스턴스 프로파일 활용 어려움 • 하나의 Kubernetes 노드 (=EC2 인스턴스)에는 여러 Pod이 실행될 수 있기 때문 • kube2iam을 사용하여 Pod에 IAM 역할 부여 • Pod annotation으로 IAM role 설정

Slide 52

Slide 52 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 로그 수집 (container-level) 애플리케이션 컨테이너 stdout/stderr CloudWatch Logs CloudWatch Logs Insights Kubernetes 노드 로컬 디스크 컨테이너와 함께 삭제 용량이 커지면 삭제 fluentd

Slide 53

Slide 53 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. CloudWatch Logs Insights

Slide 54

Slide 54 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 모니터링 • EC2 기본 제공 CloudWatch 메트릭은 큰 의미가 없음 • 컨테이너 수준의 지표 - CloudWatch 커스텀 메트릭은 부적합 • Prometheus + Grafana

Slide 55

Slide 55 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 오토스케일링 • Pod 개수 오토스케일링: Horizontal Pod Autoscaler • 노드 개수 오토스케일링: Cluster Autoscaler

Slide 56

Slide 56 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 정리 • 서비스를 외부에 노출: NGINX Ingress Controller + NLB • Pod에 IAM 역할 부여: kube2iam • 로그 수집: fluentd + CloudWatch Logs • 모니터링: Prometheus • 자동 처리량 확장: Cluster Autoscaler

Slide 57

Slide 57 text

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 감사합니다 • Q&A • VCNC 기술 블로그: http://engineering.vcnc.co.kr