Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Startup IT infrastructure: Developing and Working with AWS

Gea-Suan Lin
January 27, 2015

Startup IT infrastructure: Developing and Working with AWS

http://innovation.kktix.cc/events/starup-it-infrastructure-developing-and-working-with-aws

Topic: KKBOX Innovation Chat #5 - 利用AWS開發及實作新創公司的基礎資訊建設
Date: 2015/01/27 14:00~16:00
Location: 高雄 K Square

Gea-Suan Lin

January 27, 2015
Tweet

More Decks by Gea-Suan Lin

Other Decks in Technology

Transcript

  1. Startup IT infrastructure:
    Developing and Working
    with AWS
    Gea-Suan Lin
    KKBOX Technologies

    View Slide

  2. Outline
    ● 開場 (~10 mins)
    ● 關於 Startup IT (~10 mins)
    ● 要如何善用 AWS (~30 mins)
    ● 要如何 Scale AWS (~20 mins)
    ● Q&A (~30 mins)

    View Slide

  3. 我是誰?

    View Slide

  4. View Slide

  5. Gea-Suan Lin
    ● 日本是後院
    ● J-POP
    ○ 梶浦由記、Kalafina
    ○ 水樹奈奈
    ● 演唱會
    ○ https://blog.gslin.org/live/

    View Slide

  6. 所以,我是誰?
    ● Full Stack Engineer?
    ● DevOps?
    ○ https://github.com/gslin

    View Slide

  7. 我擅長什麼?
    ● System Administration
    ○ Traditional, and
    ○ Cloud Services
    ● Database
    ○ Relational, and
    ○ NoSQL
    ● Programming?
    ● https://blog.gslin.org/

    View Slide

  8. 我在 KKBOX 裡做什麼?
    ● 帶五個 Team
    ● 思考 Server Team 的工作內容

    View Slide

  9. Hiring!
    ● 我們在找人 (台北 & 高雄都很多):
    ○ http://tinyurl.com/kkbox-104
    ● 你也可以問 Eric Bi 很多細節!

    View Slide

  10. 關於 Startup IT - Mindset
    ● 人力是最貴的成本
    ● 人力應該專心在核心業務上
    ● 利用成熟的產業降低人力資源的消耗:
    ○ 傳統業務的 Outsourcing
    ○ AWS 的 Outsourcing (今天的重點)

    View Slide

  11. AWS 服務介紹
    ● IAM
    ● Region (觀念)
    ● AZ (觀念)
    ● VPC
    ● EC2
    ● Route53
    ● SES
    ● ELB
    ● RDS
    ● ElastiCache
    ● S3
    ● CloudFront

    View Slide

  12. AWS IAM
    ● AWS Identity and Access Management
    ● AWS 的權限管理系統:
    ○ 用 Group 管理權限
    ○ 用 MFA (2FA) 保護帳號
    ○ 用 Role 釋出權限

    View Slide

  13. Region
    ● AWS 各個區域都有提供服務,但支援度不一:
    ○ us-east-1:最早成立,功能最完整,也是支援歐美區服
    務的最愛
    ○ us-west-2:價位與 us-east-1 接近
    ○ ap-northeast-1:東京區,離台灣最近
    ● 依照服務類型以及需求而選擇

    View Slide

  14. AZ
    ● Availability Zone
    ● http://www.enterprisetech.com/2014/11/14/rare-peek-
    massive-scale-aws/

    View Slide

  15. View Slide

  16. Amazon VPC
    ● Amazon Virtual Private Cloud
    ● 虛擬 Switch 與 DHCP Service
    ● 一個 Region 可以有很多 VPC (目前不重要)
    ● 一個 VPC 可以有很多 Subnet
    ● 一個 Subnet 可以有一個 Routing
    ● 每個 VPC 可以有一個 Main Routing (i.e.
    Default Routing)

    View Slide

  17. Amazon VPC
    ● 建議的切割方法:
    ○ Public Subnet (可以直接連外)
    ○ Private Subnet (可以透過 NAT Instance 連外)
    ○ Internal Subnet (無法連外,需要透過內部的 Proxy
    Server 連外)
    ○ 上面三種 Subnet 都在每個 AZ 建一組

    View Slide

  18. Amazon VPC
    ● Public Subnet:
    ○ Local Routing + Internet Gateway
    ● Internal Subnet:
    ○ Local Routing Only
    ● Private Subnet 建議的 Routing:
    ○ 除了 Local Routing 外,每個 AZ Subnet 都有自己的
    Routing 從自己 AZ 的 NAT instance 出去

    View Slide

  19. Amazon EC2
    ● Amazon Elastic Compute Cloud
    ● 虛擬主機服務:
    ○ 要不要使用 EBS
    ○ HVM 與 PV 的差異
    ○ 為什麼推薦 t2.{micro,small,medium}

    View Slide

  20. Amazon EC2
    ● IAM Role 與 SDK 的配合
    ● aws-cli:
    ○ 官方工具
    ○ AWS Command Line Interface

    View Slide

  21. Amazon Route 53
    ● DNS 管理服務
    ● Private DNS
    ○ 給 VPC 內的機器使用
    ● Public DNS
    ○ 給 Internet 查詢用

    View Slide

  22. Amazon SES
    ● Amazon Simple Email Service
    ● 發信的服務:
    ○ 因為 EC2 直接發信的問題

    View Slide

  23. ELB
    ● Elastic Load Balancing
    ● L4 Switch 或是 L7 Switch:
    ○ HAProxy
    ● 可以對內也可以對外

    View Slide

  24. ELB
    ● HTTP/HTTPS:
    ○ 可以在 ELB 上 Offload HTTPS 流量
    ○ 在設計上,對外全部用 HTTPS!

    View Slide

  25. Amazon RDS
    ● Amazon Relational Database Service
    ● Open Source:
    ○ MySQL、PostgreSQL
    ● 商用:
    ○ Oracle、SQL Server
    ● Amazon 自家:
    ○ Aurora (MySQL compatible)

    View Slide

  26. Amazon ElastiCache
    ● Cache 服務
    ● Memcached、Redis
    ● Memcached:
    ○ 把 Login Session 的資料放進去
    ● Redis:
    ○ 把各種計算好的資料放進去

    View Slide

  27. Amazon S3
    ● Amazon Simple Storage Service
    ● 檔案系統附帶 Web Server:
    ○ JavaScript、CSS、圖片放上來就對了

    View Slide

  28. Amazon CloudFront
    ● CDN 服務
    ● 把 S3 掛上去,甚至把整個站掛上去
    ○ 另外一個服務是 CloudFlare

    View Slide

  29. 綜合起來,舉個例子來說明...
    ● 猜猜巧克力
    ○ KKBOX 的遊戲事業群所發展的手機遊戲:
    ■ Android、iOS
    ■ Server 端用 PHP
    ■ 初期只有用到 S3、EC2、ELB、RDS (MySQL)
    ○ Scale 的故事...

    View Slide

  30. Scale
    ● 你的目標?
    ● 你可以承受的 Downtime?
    ● 最重要的是,你有什麼樣的人?
    ○ 不僅僅是你的員工能力,還包括了人脈

    View Slide

  31. 猜猜巧克力的 Scale
    ● 2014 年大年初 N:
    ○ 使用的量衝起來爆量了
    ○ 被叫起來找問題:
    ■ 後台 AWS Web Console 可以看到是 RDS 的
    CPU 滿了,找出問題馬上修正 DB Schema。
    ■ 順利撐過第一天,但到了第二天...

    View Slide

  32. 猜猜巧克力的 Scale...
    ● 第二天繼續發酵,大年初 N+1:
    ○ 繼續爆衝:
    ■ 把 RDS 機器開到最大台
    ■ 直接加 EC2 機器改善 CPU 使用率 (不是 Auto
    Scaling)
    ■ 找 DBA 協助找出問題,並且要求開發的 Engineer
    要他修改

    View Slide

  33. 之後某一天...
    ● 在第一名 iOS 與 Android 第一名的尖峰時:
    ○ ELB 約 2000 reqs/sec API call。
    ○ EC2 用 20 台 c3.8xlarge。
    ○ RDS 一台最大台。
    ● 某天晚上事業群的老大請客吃老乾杯...

    View Slide

  34. 總而言之...
    ● 你會多少就先用多少
    ● 然後:
    ○ 自己多玩一點,爆量的時候可以自己找問題
    ○ 要嘛廣結善緣,爆量的時候有人願意幫忙

    View Slide

  35. 為什麼不提 Auto Scaling?
    ● 相對複雜:
    ○ 需要有某種 Code Deploy 機制。
    ○ 目前 AWS CodeDeploy 只在 us-east-1 提供,所以如
    果在其他區要自己建立 Deploy 機制。
    ● 啊你的業務又不一定會大起來 (逃)

    View Slide

  36. 為什麼不提 DynamoDB?
    ● 要很有經驗的人才寫得順
    ● 但有經驗的人寫 RDS 會更順
    ● 在 Startup 時不要花那麼多力氣在這
    ● 而且 RDS 可以跟 DynamoDB 共存,有需要
    用到的部份再改寫轉移過去就好

    View Slide

  37. 複習
    ● 很難改的東西儘量一開始就做對:
    ○ IAM
    ○ VPC
    ● 這兩個超級難改!

    View Slide

  38. 複習
    ● 善用 AWS 官方提供的 SDK,上 IAM Role
    ● 善用 RDS 的服務
    ● 能上 HTTPS 就全上 HTTPS
    ● 把圖片、CSS、JavaScript 放到 S3 上

    View Slide

  39. AWS 只有這樣?
    ● 當然不只!
    ● 有很多很好用的服務:
    ○ SNS:行動平台的 Push 機制
    ○ SQS:非同步的 Queue Service
    ○ Redshift:SQL-like 的 BI 工具
    ● 這些服務「會用的話會更好,但沒有用到也還
    okay」的服務

    View Slide

  40. AWS 只有這樣?
    ● 你可以用 RSS Reader 訂起來看!
    ○ Feedly
    ● 前幾天繁體中文版也放出來了:https://aws.amazon.
    com/tw/

    View Slide

  41. Q&A

    View Slide