Share
Embed
Transcript
56 slides
-
© 2018 SB Cloud Corp. TerraformでAlibaba Cloudを管理する SB Cloud Alibaba
Cloud ソリューションアーキテクト 寺尾 英作 -
© 2018 SB Cloud Corp. 寺尾 英作 SBクラウド 技術部 ストラテジックソリューション課
2000年ごろからずっとホスティング・クラウド事業者を多く 経験。インフラエンジニア。 DNS、メール、Apache、CentOS、インフラエンジニア本など を執筆 最近は IoTやデバイス周りのに興味が有る 趣味は、中国語、撮影(Canon 6D)、コミュニティ、アイドル 2 -
© 2019 SB Cloud Corp. アリババグループとは 4 Core Commerce zz
Digital Media &Entertainment Local Services Payment&Financial Service Logistics Marketing Services& Data Management Platform Cloud Computing To make it easy to do business anywhere -
© 2019 SB Cloud Corp. プロダクト一覧 6 仮想サーバー データベース
ネットワークサービス 分析とビッグデータ ストレージとCDN アプリケーション メディアサービス セキュリティ マネジメント IoT ドメインとホスティング ECS (Elastic Compute Service ) SLB (Server Load Balancer) EGS (Elastic GPU Service ) Auto Scaling ROS (Resource Orchestration Service) Container Service (Container Service for Kubernetes) E-HPC SCC (Super Computing Cluster) EBM (ECS Bare Metal Instance) Function Compute DDH (Dedicated Host) OSS (Object Storage Service) Table Store CDN Network Attached Storage VPC (Virtual Private Cloud) Express Connect EIP (Elastic IP) NAT Gateway VPN Gateway Cloud Enterprise Network Global Acceleration MaxCompute DataWorks DataV Data Integration E-MapReduce Service Image Search Elasticsearch Message Service Log Service API Gateway IoT Platform ApsaraVideo for Media Processing ApsaraVideo Live DNS (Domain Name System) Anti-DDoS Basic SSL Certificates Service WAF (Web Application Firewall) RDS RDS for PPAS Redis Memcache HybridDB for PostgreSQL Data Transmission Service CloudMonitor Resource Access Management Key Management Service ActionTrail DCDN Data Transport -
© 2019 SB Cloud Corp. 世界展開 7 リージョン数 19ヶ所 アベイラビリティーゾーン
56ヶ所 課金ユーザー 100万人 世界有数のパブリッククラウドに成長 -
© 2019 SB Cloud Corp. © 2019 SB Cloud Corp.
Compute 8 ECS (Elastic Compute Service ) 多くのシナリオに対応したインスタンスファミリー T5 C5 G5 R5 D1/I2 HFC5 HFG5 EBM SCC GN5 GN6 Burstable Instance • Shared CPU resource • 低コスト • 小規模Web F/E向け Dedicated Instance • Dedicated CPU resource • 高パフォーマンス • 200以上の種類のシナリオに 対応したスペック 柔軟性 • 100台の ECS サーバを10分で 構築可能 • 5分以内に CPUまたはメモリ アッ プグレード可能 信頼性 • 可用性:99.95% • 信頼性:99.9999999% • 障害時自動マイグレーション • 自動バックアップ及び復元 • システム性能監視機能を具備 安全性 • DDoS攻撃を防御 • セキュリティグループによるルー ルで不正アクセスを防御 ネットワーク品質 • BGP バックボーンネットワークに よる最適なルートを選択 • 複数ネットワークオペレーターと 接続 Baremetal Instance • 物理サーバの高性能 • パフォーマンスロスなし • セキュアな物理的な分離 • VM のような柔軟性 • 障害時自動マイグレーションを サポート GPU Instance • GN5: P100を搭載 • GN6: V100を搭載 • 最大 25 Gbps の ネットワーク性能 • スケーリング可能 DDH (Dedicated Host) その他のプロダクト 物理ホストを占有した シングルテナント環境 を提供し、 セキュリティ、コンプライアンス、 ECSの柔軟な移行、ラ イセンス(BYOL)の要件に対応 Auto Scaling ECSの弾力性を最大化する自動拡張サービス Container Service (Container Service for k8s) Kubernetes に対応したフルマネージドの クラウド コンテナー管理サービス Function Compute 基盤の管理が不要で、コーディングに集中できる、 完全にホストされた サーバーレス実行環境 -
© 2019 SB Cloud Corp. © 2019 SB Cloud Corp.
Database 9 ApsaraDB for RDS Relational Database NoSQL Database Hybrid DB = OLTP + OLAP Database Management Table Store Redis Memcache MongoDB インメモリキャッシィを実現する K/V ストアデータベース 高パフォーマンスのマネージド Mecached データベース フルマネージドの NoSQL クラウドデータベースサービス フルマネージドの ドキュメント指向データベース AnaliticDB for PostgreSQL HybridDB for MySQL Greenplum Database をベースとするオンライン MPP データ ウェアハウスサービス 大量のデータのオンライントランザクション処理(OLTP)とオン ライン分析処理(OLAP)をサポート するハイブリッドトランザクション/分析処理(HTAP)リレーショナ ルデータベース Data Transmission Service Data Management Service データベース間でデータ移行とデータ同期を行うサービス データベース管理 New リリース 対応中 リリース 対応中 PPAS ADAM オラクルデータベース 移行ツール リリース 対応中 -
© 2019 SB Cloud Corp. © 2019 SB Cloud Corp.
Storage 10 Object Storage OSS 大容量、高拡張性と信頼性を備えた安全 なオブジェクトストレージサービス ✔ 拡張性 – ファイル数・サイズ制限なし、帯域幅制限な し ✔ セキュリティ – アクセス制御、細かい権限付与、暗号 化 ✔ 拡張機能 – 画像処理、アーカイブ化ストレージ、 Function Compute トリガーなど多数の拡張機能 Block storage Network Attached Storage Cloud Disk ECS にアタッチできる低遅延の高性能・ 高拡張性のブロックレベルストレージ NAS 最大 10 PB の高性能ネットワークア タッチストレージ 全ストレージプロダクトは 99.999999999% の信頼性と 99.99% のサービス可用性を保証します -
© 2019 SB Cloud Corp. © 2019 SB Cloud Corp.
Bigdata / AI 11 MaxCompute + DataWorks ✔ ペタバイトレベルのデータ保存と分析 ✔ ワンストップ開発プラットフォーム ✔ Big Data 開発用IDE ✔ 豊富なデータインテグレーション機能 ✔ ジョブ管理と監視機能 ✔ 細かな権限管理 Image Search Realtime Compute ✔ Apache Flinkをベースに改良したBlinkを ベースにしたストリーム処理マネージド サービス ✔ 数千ノード規模のクラスタ拡張性実績 ✔ 1日数百TBデータ処理実績 ✔ 学習済み画像レコメンドモ デルの利用が可能な画像 検索サービス -
© 2019 SB Cloud Corp. © 2019 SB Cloud Corp.
Alibaba の関わるオープンソース 12 • LVS ◦ 最初にコミットした人は阿里巴巴の開発者 • K8S ◦ 多くのコミッターが多く存在 • Tenjin ◦ Nginxをベースにパフォーマンスの改善などAlibabaが改良したバージョン • Apache Flink ◦ ストリームデータを処理させるためのフレームワーク。Alibabaがメインで開発し、Apacheのトッププロダ クト。 • PouchContainer ◦ DockerをAlibabaが独自のアーキテクチャで改善。 • Dragonfly ◦ P2PのImage配信プロダクト。 • AliOS-Things ◦ IoTデバイス向けのRTOS -
© 2018 SB Cloud Corp. 14 デベロッパー向けリソース CLI Cloud Shell
API Open API Exploer SDK Java/Node.js/Go/PHP/Pyth on/Ruby ROS Terraform Packer Alibaba Cloud Toolkit Eclipse 版 IntelliJ IDEA 版 PyCharm 版 Maven 版 -
© 2018 SB Cloud Corp. 15 CLI ・aliyun CLIツール (Mac/Linux/Windows)
https://github.com/aliyun/aliyun-cli ・Cloud Shellなら直ぐに利用可能 aliyun / terraform / kubectl / ssh などがセットアップ済み https://shell.aliyun.com コンソールにも統合済み 注意: NAS利用が無い場合は、 1時間でデータ消去 27プロダクトに対応 emr, ess, green, hpc, httpdns, iot, itaas, jaq, kms, live, mts, nas, ons, ots, polardb, push, qualitycheck, r-kvstore, ram, rds, ros, sas-api, slb, sts, vod, vpc, waf -
© 2018 SB Cloud Corp. aliyun CLI call RPC APIs
16 基本書式 サンプル $ aliyun <product> <operation> --parameter1 value1 --parameter2 value2 ... $ aliyun rds DescribeDBInstances --PageSize 50 $ aliyun ecs DescribeRegions $ aliyun rds DescribeDBInstanceAttribute --DBInstanceId xxxxxx -
© 2018 SB Cloud Corp. aliyun CLI call RESTful APIs
17 基本書式 サンプル $ aliyun <product> <operation> <PATH> --parameter1 value1 $ aliyun cs GET /clusters POST request: $ aliyun cs POST /clusters --body "$(cat input.json)" DELETE request: $ aliyun cs DELETE /clusters/ce2cdc26227e09c864d0ca0b2d5671a07 -
© 2018 SB Cloud Corp. ROS: Resource Orchestration Service 18
JSON形式のテンプレートを使い、各種リソースを自動で構築が可能なサービス。 Terraformと役割は大きく被り、Terraformの方が対応プロダクトが多い。 -
© 2018 SB Cloud Corp. Terraform 19 Alicloudプロバイダーは公式プロバイダー https://www.terraform.io/docs/providers/alicloud/index.html 利用する際もプロバイダーは自動的に読み込まれます。
設定ファイルはHCL(コメントが書ける!) ECS, SLB, VPC, VPN Gateway, CEN, RDS, MongoDB, KVStore, ESS, OSS, Container, Function Compute, Cloud Monitor, DNS,Log Service, RAM, CDN, KMS, TableStore, MNS, Elasticsearch, NAS,Actiontrail,などな ど多数に対応 -
© 2018 SB Cloud Corp. Packer 20 仮想サーバ ECSのカスタムイメージ構築 Terraformやインスタンス起動時に自動セットアップをしてもよいが、安定性や構築時間に
影響する。マスターインスタンスからカスタムイメージを作成して、インスタンスを構築した 方が展開スピードが速い。 -
© 2018 SB Cloud Corp. 21 API & SDK OpenAPI
Exproler https://api.aliyun.com/#/ Java/Node.js/Go/PHP/Python/Rubyのサンプルコードとテスト実行 リージョンとエンドポイント https://api.aliyun.com/#/region -
© 2018 SB Cloud Corp. Alibaba Cloud Toolkit 22 Eclipse
/ IntelliJ IDEA などのエディタと統合して、プログラムとインフラを一体的に扱うこと が可能。集中力の途切れやすい画面変更を極力少なく出来ます。 -
© 2018 SB Cloud Corp. Alibaba Cloud Toolkit 23 IDEの下部に、仮想サーバインスタンスやRDSインスタンスの一覧が表示される。
仮想サーバにはファイルのアップロードなどがこの画面から可能 DBにSQLを発行したりすることも出来る。 -
© 2018 SB Cloud Corp. Terraform 24 Alicloudプロバイダーは公式プロバイダー https://www.terraform.io/docs/providers/alicloud/index.html 利用する際もプロバイダーは自動的に読み込まれます。
ECS, SLB, VPC, VPN Gateway, CEN, RDS, MongoDB, KVStore, ESS, OSS, Container, Function Compute, Cloud Monitor, DNS,Log Service, RAM, CDN, KMS, TableStore, MNS, Elasticsearch, NAS,Actiontrail,などな ど多数に対応 -
© 2018 SB Cloud Corp. Terraformとは (https://www.terraform.io/) HashiCorp製のインフラの構築・管理ツール。 構築したいインフラ構成をファイルに定義する。
Terraformを実行するとファイルに定義した構成がクラウド上に 構築されるというもの。 27 -
© 2018 SB Cloud Corp. Terraformの対応プラットフォーム例 Alibaba Cloud AWS Google
Cloud Platform Microsoft Azure OpenStack Fastly (CDN) DNSimple (DNS) New Relic (Monitoring) Packet (Bare Metal Cloud) etc 28 -
© 2018 SB Cloud Corp. Terraformの使い方 29 terraform init terraform
plan terraform apply terraform destroy 作業ディレクトリの初期化 リソースのチェック リソースの実行 リソースの破棄 リソースの変更 terraformの基本的なコマンドは以下だけです。 terraform import 既存リソースのterraform化 terraform show リソースの中身確認 -
© 2018 SB Cloud Corp. シンプルなWebアプリケーション構成 31 VPC(192.168.0.0/16) Elastic IP
(グローバルIP) ECS (Webサーバ) セキュリティ グループA vSwitch(192.168.10.0/24) 構築のステップ • VPC作成 • VSwitch作成 • セキュリティグループの作成とルー ルの追加 • VSwitchの中にECSを作成 • EIPの作成とECSにバインド 参照: https://github.com/mosuke5/terraform_examples_for_alibabacloud/tree/master/basic_sample -
© 2018 SB Cloud Corp. Terraformのファイル構成 32 ファイル構成 root terraform.tf
terraform.tfvars variable.tf ・・・ ・・・ ・・・ メインとなるコードです。 変数に設定したい値を記載します。 変数の定義やデフォルト値を記載します。 outputs.tf ・・・ 実行が終わったときに表示する内容 provisioning.sh ・・・ サーバ初回起動時に実行するスクリプト https://github.com/marufeuille/terraform_examples_for_alibabacloud/tree/master/cen_proxy_sample -
© 2018 SB Cloud Corp. プロバイダーの指定 33 プロバイダーは、terraform.tfファイルに以下のように定義しますが、機密情報や個別の設 定は、tfvarsファイルに取り出しておきます。 terrafrom.tf:
provider "alicloud" { access_key = "${var.access_key}" secret_key = "${var.secret_key}" region = "${var.region}" zone = "${var.zone}" } terrafrom.tfvars: access_key = "xxxxxxxxxxxxxxxxxx" secret_key = "xxxxxxxxxxxxxxxxxx" region = "ap-northeast-1" zone = "ap-northeast-1a" variables.tf: variable "access_key" {} variable "secret_key" {} variable "region" { default = "ap-northeast-1" } variable "zone" { default = "ap-northeast-1a" } デフォルト設定 -
© 2018 SB Cloud Corp. VPCとVSwitchの作成 34 terrafrom.tf: resource "alicloud_vpc"
"vpc" { name = "terraform-vpc" cidr_block = "192.168.1.0/24" } resource "alicloud_vswitch" "vsw" { vpc_id = "${alicloud_vpc.vpc.id}" cidr_block = "192.168.1.0/28" availability_zone = "${var.zone}" } -
© 2018 SB Cloud Corp. セキュリティグループの作成とルールの追加 35 terrafrom.tf: resource "alicloud_security_group"
"sg" { name = "terraform-sg" vpc_id = "${alicloud_vpc.vpc.id}" } resource "alicloud_security_group_rule" "allow_http" { type = "ingress" ip_protocol = "tcp" nic_type = "intranet" policy = "accept" port_range = "80/80" priority = 1 security_group_id = "${alicloud_security_group.sg.id}" cidr_ip = "0.0.0.0/0" } セキュリティグループの作成 セキュリティグループに ルールを追加 -
© 2018 SB Cloud Corp. ECSインスタンスの作成 36 terrafrom.tf: resource "alicloud_instance"
"web" { instance_name = "terraform-ecs" availability_zone = "${var.zone}" image_id = "centos_7_3_64_40G_base_20170322.vhd" instance_type = "ecs.n4.small" system_disk_category = "cloud_efficiency" security_groups = ["${alicloud_security_group.sg.id}"] vswitch_id = "${alicloud_vswitch.vsw.id}" user_data = "${file("provisioning.sh")}" } ←OSイメージ ←初回起動時の実行スクリプトを指定 ← インスタンスタイプ ← インスタンス名 ← セキュリティグループ指定 イメージIDは aliyun CLI で以下のように調べることが出来る $ aliyun ecs DescribeImages --PageSize 100 | jq '.Images.Image[].ImageId' ← Ultra クラウドディスクを指定 ← 収容するVSWを指定 -
© 2018 SB Cloud Corp. EIPをインスタンスにバインド 37 EIPを定義して、そのEIPをサーバに割り当てる terrafrom.tf: resource
"alicloud_eip" "eip" { internet_charge_type = "PayByTraffic" } resource "alicloud_eip_association" "eip_asso" { allocation_id = "${alicloud_eip.eip.id}" instance_id = "${alicloud_instance.web.id}" } -
© 2018 SB Cloud Corp. インターネット Region-B CEN Squid on
ECS VSwitch VRouter VPN Gateway LogService CloudMonitor リージョン間プライベートネットワーク構成 Region-A Squid on ECS LogService CloudMonitor EIP EIP B国最寄りのリー ジョン A国最寄りのリー ジョン A国にある特定の Webシステム B国側の利用者 SSL-VPN HTTP Proxyに指定 10.0.1.0/28 172.16.255.0/28 10.255.255.0/28 -
© 2018 SB Cloud Corp. Terraformで設定すること • やること ◦ VPC/VSwitchの作成
◦ ECSの作成 ▪ Squidのインストールと設定 ▪ Logtailエージェントインストール ▪ Cloud Monitorエージェントインストール ◦ EIP作成とバインド ◦ セキュリティグループとルール設定 ◦ VPNゲートウェイの作成と初期設定 ◦ CENの構築 ◦ Log Serviceの設定 • やらないこと ◦ Cloud Monitorの設定(エージェントをいれれば自動で取得開始) ◦ SSLVPNの証明書のダウンロード ◦ CENの帯域購入 40 -
© 2018 SB Cloud Corp. Terraformのファイル構成 42 ファイル構成 root static
templates terraform.tf terraform.tfvars variable.tf ・・・ ・・・ ・・・ ・・・ ・・・ サーバに設置するコンフィグファイルなどのうち、実行時に変化 しないスタティックなファイルをまとめています。 サーバに設置するコンフィグファイルなどのうち、実行時に変化 する動的なファイルをまとめています。 メインとなるコードです。 変数に設定したい値を記載します。 変数の定義やデフォルト値を記載します。 outputs.tf ・・・ 実行が終わったときに表示する内容 https://github.com/marufeuille/alicloud-network-sample/tree/master/two-region-proxy -
© 2018 SB Cloud Corp. template 43 data "template_file" "prv-proxy-a"
{ template = "${file("templates/provisioning-proxy-a.tpl")}" vars = { password = "${var.ecs-password}" publickey = "${var.publickey}" region-id = "${var.region-a}" } } terraform.tf: user_data = "#!/bin/bash\necho \"${file("static/squid/squid-a.conf")}\" > /tmp/squid.conf\n${data.template_file.prv-proxy-a.rendered}" -
© 2018 SB Cloud Corp. LogServiceの仕組み 45 LogServiceはLogtailを使ってログを収集します。ログの設定は ApacheやNginxのようにデフォルトでプリセッ ト値が入っているものもありますが、
Squidはプリセット値がありません。 そこで、正規表現でSquidのログを収集するように設定を行っています。 Proxyサーバ /var/log/squid access.log logtail 監視 ログ(サンプル) 1554718819.175 4 10.255.255.6 TCP_MISS/200 913 POST http://ocsp.digicert.com/ - HIER_DIRECT/117.18.237.29 application/ocsp-response 対応させている正規表現 ([0-9.]+)\s+(\d+)\s+(\d+\.\d+\.\d+\.\d+)\s+([A-Z_/0-9]+)\s+(\d+)\s+(\w+)\s+([\w.:/-_]+)\s+-\s+([\w/_.]+).* 正規表現で抽出 # パラメータ名 説明 1 time UNIX Epoch時間からの経過秒数 フォーマットは(sec).(msec) 2 duration 応答時間(msec) 3 cliend_addr クライアントのIPアドレス 4 result_code HTTPのステータスコード 5 byte クライアントに返したバイト数 6 request_method Squidからターゲットに送った HTTPメソッド 7 target 宛先ノード名 8 hierarchy_code 上位プロキシへのアクセス結果 LogService -
© 2018 SB Cloud Corp. CENの帯域幅パッケージを購入 46 リージョン内:無料 リージョン間:有料
参考: アジア太平洋地域 -> 2Mbps 中国本土 :30,360 北米 :16,560 アジア :6,440 ヨーロッパ:16,560 澳洲(オーストラリア):60,040 上限は10Gbpsまで。空きによって異なる。 ※VPCコンソールのクイックリンクからCENへ。 https://cen.console.aliyun.com/cen/list -
© 2018 SB Cloud Corp. インターネット Region-B CEN Squid on
ECS VSwitch VRouter VPN Gateway LogService CloudMonitor リージョン間プライベートネットワーク構成 Region-A Squid on ECS LogService CloudMonitor EIP EIP B国最寄りのリー ジョン A国最寄りのリー ジョン A国にある特定の Webシステム B国側の利用者 SSL-VPN HTTP Proxyに指定 10.0.1.0/28 172.16.255.0/28 10.255.255.0/28 -
© 2018 SB Cloud Corp. デモが終わったかな? 50 Outputs: eip-a =
47.100.52.55 eip-b = 47.74.53.67 private-ip-a = 10.0.1.5 private-ip-b = 172.16.255.8 zone-a = cn-shanghai-d zone-b = ap-northeast-1a ※帯域幅パッケージをCENにバインド $ ssh [email protected] $ ping 10.0.1.5 $ curl http://ifconfig.io/ 47.74.53.67 $ curl --proxy http://10.0.1.5:8080 http://ifconfig.io/ 47.100.52.55 -
© 2018 SB Cloud Corp. 後掃除 51 • CENの帯域をまず外します。必要なければ解約します。 •
terraform destroyを実行。確認時にYESと入力。 • terraformで作成されたすべてのリソースが削除されます。 • ※既知の問題:片側のVSWやVPC、VPN Gateway、SSL Serverが残ってしまうケース があります。削除時のタイムアウト時間の調整が必要だと思われますが、現時点で現 象が発生した場合は、手動で削除をお願いします。 -
© 2018 SB Cloud Corp. まとめ 52 • マルチクラウドで同じように動くCLIは強力 •
Terraformはテキストで定義するだけで、構築してくれる • 現状との差分を考えて埋めてくれるのが、APIやSDKを直接使う のに比べてメリット • Alibaba CloudはTerraformを始めとするオープンソースプロジェ クトにも積極的。 • 活用しない手はない -
© 2018 SB Cloud Corp. Alibaba Cloud 認定資格 • Alibaba
Cloud 公式の技術者向け資格 • 試験に合格すると認定証がもらえる • 資格の有効期間は2年間 • 3ジャンルx3段階 (2019年3月時点) Alibaba Cloud 認定資格 紹介ページ(中国語・英語) https://edu.alibabacloud.com/certification/ ACA ACP ACE Cloud Computing 英語 / 105分 / 50問 概要 / 問題サンプル 英語 / 105分 / 70問 概要 / 問題サンプル 英語 / 150分 / 75問 150点中90点以上で合格 / ACP必須 概要 / 問題サンプル Big Data 英語 / 105分 / 45問 概要 / 問題サンプル 英語 / 135分 / 60問 概要 / 問題サンプル 英語 / 150分 / 50問 100点中66点以上で合格 / ACP必須 概要 / 問題サンプル Security 英語 / 105分 / 50問 概要 / 問題サンプル 英語 / 135分 / 100問 概要 / 問題サンプル Coming soon 易 難 試験内容 -
© 2018 SB Cloud Corp. 2019杭州・云栖大会 54 The Computing
Conference (TCC) 2019年9月開催 https://yunqi.aliyun.com/ -
© 2018 SB Cloud Corp. ご静聴有り難うございました 56 最後にアンケートに
ご協力をお願い致します!