Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Terraform で Alibaba Cloud を管理する

terao
June 01, 2019

Terraform で Alibaba Cloud を管理する

2019年6月1日にOSC2019北海道で発表したスライドです

terao

June 01, 2019
Tweet

More Decks by terao

Other Decks in Technology

Transcript

  1. © 2018 SB Cloud Corp.
 TerraformでAlibaba Cloudを管理する
 SB Cloud
 Alibaba

    Cloud ソリューションアーキテクト
 寺尾 英作

  2. © 2018 SB Cloud Corp.
 寺尾 英作
 SBクラウド 技術部 ストラテジックソリューション課


    2000年ごろからずっとホスティング・クラウド事業者を多く 経験。インフラエンジニア。
 DNS、メール、Apache、CentOS、インフラエンジニア本など を執筆
 最近は IoTやデバイス周りのに興味が有る
 趣味は、中国語、撮影(Canon 6D)、コミュニティ、アイドル
 2

  3. © 2019 SB Cloud Corp.
 アリババグループとは
 4
 Core Commerce
 zz


    Digital Media &Entertainment
 Local Services
 Payment&Financial Service
 Logistics
 Marketing Services&
 Data Management Platform
 Cloud Computing
 To make it easy to do business anywhere

  4. © 2019 SB Cloud Corp.
 プロダクト一覧
 6
 仮想サーバー 
 データベース

    ネットワークサービス 分析とビッグデータ 
 ストレージとCDN 
 アプリケーション メディアサービス セキュリティ マネジメント 
 IoT
 ドメインとホスティング ECS (Elastic Compute Service ) SLB (Server Load Balancer) EGS (Elastic GPU Service ) Auto Scaling ROS
 (Resource Orchestration Service) Container Service 
 (Container Service for Kubernetes) E-HPC SCC (Super Computing Cluster) EBM (ECS Bare Metal Instance) Function Compute 
 DDH (Dedicated Host) OSS (Object Storage Service) Table Store CDN
 Network Attached Storage VPC
 (Virtual Private Cloud) Express Connect EIP
 (Elastic IP) NAT Gateway VPN Gateway Cloud Enterprise Network Global Acceleration MaxCompute DataWorks DataV Data Integration E-MapReduce Service Image Search Elasticsearch Message Service Log Service API Gateway IoT Platform ApsaraVideo for Media Processing ApsaraVideo Live DNS (Domain Name System) Anti-DDoS Basic 
 SSL Certificates Service WAF (Web Application Firewall) RDS RDS for PPAS Redis Memcache HybridDB for PostgreSQL Data Transmission Service CloudMonitor Resource Access Management Key Management Service ActionTrail DCDN
 Data Transport 

  5. © 2019 SB Cloud Corp.
 世界展開
 7
 リージョン数 19ヶ所 アベイラビリティーゾーン

    56ヶ所 課金ユーザー 100万人 世界有数のパブリッククラウドに成長

  6. © 2019 SB Cloud Corp.
 © 2019 SB Cloud Corp.


    Compute 8 ECS (Elastic Compute Service ) 多くのシナリオに対応したインスタンスファミリー T5 C5 G5 R5 D1/I2 HFC5 HFG5 EBM SCC GN5 GN6 Burstable Instance • Shared CPU resource • 低コスト • 小規模Web F/E向け Dedicated Instance • Dedicated CPU resource • 高パフォーマンス • 200以上の種類のシナリオに 対応したスペック 柔軟性 • 100台の ECS サーバを10分で  構築可能 • 5分以内に CPUまたはメモリ アッ プグレード可能 信頼性 • 可用性:99.95% • 信頼性:99.9999999% • 障害時自動マイグレーション • 自動バックアップ及び復元 • システム性能監視機能を具備 安全性 • DDoS攻撃を防御 • セキュリティグループによるルー ルで不正アクセスを防御 ネットワーク品質 • BGP バックボーンネットワークに よる最適なルートを選択 • 複数ネットワークオペレーターと 接続 Baremetal Instance • 物理サーバの高性能 • パフォーマンスロスなし • セキュアな物理的な分離 • VM のような柔軟性 • 障害時自動マイグレーションを サポート GPU Instance • GN5: P100を搭載 • GN6: V100を搭載 • 最大 25 Gbps の   ネットワーク性能 • スケーリング可能 DDH (Dedicated Host) その他のプロダクト 物理ホストを占有した シングルテナント環境 を提供し、 セキュリティ、コンプライアンス、 ECSの柔軟な移行、ラ イセンス(BYOL)の要件に対応 Auto Scaling ECSの弾力性を最大化する自動拡張サービス Container Service (Container Service for k8s) Kubernetes に対応したフルマネージドの クラウド コンテナー管理サービス Function Compute 基盤の管理が不要で、コーディングに集中できる、 完全にホストされた サーバーレス実行環境
  7. © 2019 SB Cloud Corp.
 © 2019 SB Cloud Corp.


    Database 9 ApsaraDB for RDS Relational Database NoSQL Database Hybrid DB = OLTP + OLAP Database Management Table Store Redis Memcache MongoDB インメモリキャッシィを実現する K/V ストアデータベース 高パフォーマンスのマネージド Mecached データベース フルマネージドの NoSQL クラウドデータベースサービス フルマネージドの ドキュメント指向データベース AnaliticDB for PostgreSQL HybridDB for MySQL Greenplum Database をベースとするオンライン MPP データ ウェアハウスサービス 大量のデータのオンライントランザクション処理(OLTP)とオン ライン分析処理(OLAP)をサポート するハイブリッドトランザクション/分析処理(HTAP)リレーショナ ルデータベース Data Transmission Service Data Management Service データベース間でデータ移行とデータ同期を行うサービス データベース管理 New リリース 対応中 リリース 対応中 PPAS ADAM オラクルデータベース 移行ツール リリース 対応中
  8. © 2019 SB Cloud Corp.
 © 2019 SB Cloud Corp.


    Storage 10
 Object Storage OSS
 大容量、高拡張性と信頼性を備えた安全 なオブジェクトストレージサービス ✔ 拡張性 – ファイル数・サイズ制限なし、帯域幅制限な し ✔ セキュリティ – アクセス制御、細かい権限付与、暗号 化 ✔ 拡張機能 – 画像処理、アーカイブ化ストレージ、 Function Compute トリガーなど多数の拡張機能 Block storage Network Attached Storage Cloud Disk
 ECS にアタッチできる低遅延の高性能・ 高拡張性のブロックレベルストレージ NAS
 最大 10 PB の高性能ネットワークア タッチストレージ 全ストレージプロダクトは 99.999999999% の信頼性と 99.99% のサービス可用性を保証します
  9. © 2019 SB Cloud Corp.
 © 2019 SB Cloud Corp.


    Bigdata / AI 11
 MaxCompute + DataWorks ✔ ペタバイトレベルのデータ保存と分析 ✔ ワンストップ開発プラットフォーム ✔ Big Data 開発用IDE ✔ 豊富なデータインテグレーション機能 ✔ ジョブ管理と監視機能 ✔ 細かな権限管理 Image Search Realtime Compute ✔ Apache Flinkをベースに改良したBlinkを ベースにしたストリーム処理マネージド サービス ✔ 数千ノード規模のクラスタ拡張性実績 ✔ 1日数百TBデータ処理実績 ✔ 学習済み画像レコメンドモ デルの利用が可能な画像 検索サービス
  10. © 2019 SB Cloud Corp.
 © 2019 SB Cloud Corp.


    Alibaba の関わるオープンソース 12
 • LVS ◦ 最初にコミットした人は阿里巴巴の開発者 
 • K8S ◦ 多くのコミッターが多く存在 
 • Tenjin ◦ Nginxをベースにパフォーマンスの改善などAlibabaが改良したバージョン 
 • Apache Flink ◦ ストリームデータを処理させるためのフレームワーク。Alibabaがメインで開発し、Apacheのトッププロダ クト。
 • PouchContainer ◦ DockerをAlibabaが独自のアーキテクチャで改善。 
 • Dragonfly ◦ P2PのImage配信プロダクト。 
 • AliOS-Things ◦ IoTデバイス向けのRTOS 

  11. © 2018 SB Cloud Corp.
 14
 デベロッパー向けリソース
 CLI
 Cloud Shell


    API
 Open API Exploer
 SDK
 Java/Node.js/Go/PHP/Pyth on/Ruby
 ROS
 Terraform
 Packer
 Alibaba
 Cloud
 Toolkit
 Eclipse 版
 IntelliJ IDEA 版
 PyCharm 版
 Maven 版
 

  12. © 2018 SB Cloud Corp.
 15
 CLI
 ・aliyun CLIツール (Mac/Linux/Windows)


    https://github.com/aliyun/aliyun-cli
 
 ・Cloud Shellなら直ぐに利用可能
 aliyun / terraform / kubectl / ssh などがセットアップ済み
 https://shell.aliyun.com
 コンソールにも統合済み
 注意:
 NAS利用が無い場合は、
 1時間でデータ消去
 27プロダクトに対応 emr, ess, green, hpc, httpdns, iot, itaas, jaq, kms, live, mts, nas, ons, ots, polardb, push, qualitycheck, r-kvstore, ram, rds, ros, sas-api, slb, sts, vod, vpc, waf
  13. © 2018 SB Cloud Corp.
 aliyun CLI call RPC APIs


    16
 基本書式
 
 
 
 サンプル
 
 $ aliyun <product> <operation> --parameter1 value1 --parameter2 value2 ... $ aliyun rds DescribeDBInstances --PageSize 50 $ aliyun ecs DescribeRegions $ aliyun rds DescribeDBInstanceAttribute --DBInstanceId xxxxxx
  14. © 2018 SB Cloud Corp.
 aliyun CLI call RESTful APIs


    17
 基本書式
 
 
 
 サンプル
 
 $ aliyun <product> <operation> <PATH> --parameter1 value1 $ aliyun cs GET /clusters POST request: $ aliyun cs POST /clusters --body "$(cat input.json)" DELETE request: $ aliyun cs DELETE /clusters/ce2cdc26227e09c864d0ca0b2d5671a07
  15. © 2018 SB Cloud Corp.
 ROS: Resource Orchestration Service
 18


    JSON形式のテンプレートを使い、各種リソースを自動で構築が可能なサービス。
 Terraformと役割は大きく被り、Terraformの方が対応プロダクトが多い。
 

  16. © 2018 SB Cloud Corp.
 Terraform
 19
 Alicloudプロバイダーは公式プロバイダー
 https://www.terraform.io/docs/providers/alicloud/index.html
 利用する際もプロバイダーは自動的に読み込まれます。


    設定ファイルはHCL(コメントが書ける!)
 ECS, SLB, VPC, VPN Gateway, CEN, RDS, MongoDB, KVStore, ESS, OSS, Container, Function Compute, Cloud Monitor, DNS,Log Service, RAM, CDN, KMS, TableStore, MNS, Elasticsearch, NAS,Actiontrail,などな ど多数に対応
  17. © 2018 SB Cloud Corp.
 Packer
 20
 仮想サーバ ECSのカスタムイメージ構築
 Terraformやインスタンス起動時に自動セットアップをしてもよいが、安定性や構築時間に

    影響する。マスターインスタンスからカスタムイメージを作成して、インスタンスを構築した 方が展開スピードが速い。

  18. © 2018 SB Cloud Corp.
 21
 API & SDK
 OpenAPI

    Exproler
 https://api.aliyun.com/#/
 Java/Node.js/Go/PHP/Python/Rubyのサンプルコードとテスト実行
 
 リージョンとエンドポイント
 https://api.aliyun.com/#/region

  19. © 2018 SB Cloud Corp.
 Alibaba Cloud Toolkit
 22
 Eclipse

    / IntelliJ IDEA などのエディタと統合して、プログラムとインフラを一体的に扱うこと が可能。集中力の途切れやすい画面変更を極力少なく出来ます。

  20. © 2018 SB Cloud Corp.
 Alibaba Cloud Toolkit
 23
 IDEの下部に、仮想サーバインスタンスやRDSインスタンスの一覧が表示される。


    仮想サーバにはファイルのアップロードなどがこの画面から可能
 DBにSQLを発行したりすることも出来る。

  21. © 2018 SB Cloud Corp.
 Terraform
 24
 Alicloudプロバイダーは公式プロバイダー
 https://www.terraform.io/docs/providers/alicloud/index.html
 利用する際もプロバイダーは自動的に読み込まれます。


    ECS, SLB, VPC, VPN Gateway, CEN, RDS, MongoDB, KVStore, ESS, OSS, Container, Function Compute, Cloud Monitor, DNS,Log Service, RAM, CDN, KMS, TableStore, MNS, Elasticsearch, NAS,Actiontrail,などな ど多数に対応

  22. © 2018 SB Cloud Corp.
 Terraformの対応プラットフォーム例
 Alibaba Cloud
 AWS
 Google

    Cloud Platform
 Microsoft Azure
 OpenStack
 Fastly (CDN)
 DNSimple (DNS)
 New Relic (Monitoring)
 Packet (Bare Metal Cloud)
 etc
 28

  23. © 2018 SB Cloud Corp.
 Terraformの使い方
 29
 terraform init terraform

    plan terraform apply terraform destroy 作業ディレクトリの初期化 リソースのチェック リソースの実行 リソースの破棄 リソースの変更 terraformの基本的なコマンドは以下だけです。 terraform import 既存リソースのterraform化 terraform show リソースの中身確認
  24. © 2018 SB Cloud Corp.
 シンプルなWebアプリケーション構成
 31
 VPC(192.168.0.0/16) Elastic IP

    (グローバルIP) ECS (Webサーバ) セキュリティ グループA vSwitch(192.168.10.0/24) 構築のステップ
 • VPC作成
 • VSwitch作成
 • セキュリティグループの作成とルー ルの追加
 • VSwitchの中にECSを作成
 • EIPの作成とECSにバインド
 参照: https://github.com/mosuke5/terraform_examples_for_alibabacloud/tree/master/basic_sample
  25. © 2018 SB Cloud Corp.
 Terraformのファイル構成
 32
 ファイル構成 root terraform.tf

    terraform.tfvars variable.tf ・・・ ・・・ ・・・ メインとなるコードです。 変数に設定したい値を記載します。 変数の定義やデフォルト値を記載します。 outputs.tf ・・・ 実行が終わったときに表示する内容 provisioning.sh ・・・ サーバ初回起動時に実行するスクリプト https://github.com/marufeuille/terraform_examples_for_alibabacloud/tree/master/cen_proxy_sample
  26. © 2018 SB Cloud Corp.
 プロバイダーの指定
 33
 プロバイダーは、terraform.tfファイルに以下のように定義しますが、機密情報や個別の設 定は、tfvarsファイルに取り出しておきます。 terrafrom.tf:

    provider "alicloud" { access_key = "${var.access_key}" secret_key = "${var.secret_key}" region = "${var.region}" zone = "${var.zone}" } terrafrom.tfvars: access_key = "xxxxxxxxxxxxxxxxxx" secret_key = "xxxxxxxxxxxxxxxxxx" region = "ap-northeast-1" zone = "ap-northeast-1a" variables.tf: variable "access_key" {} variable "secret_key" {} variable "region" { default = "ap-northeast-1" } variable "zone" { default = "ap-northeast-1a" } デフォルト設定

  27. © 2018 SB Cloud Corp.
 VPCとVSwitchの作成
 34
 terrafrom.tf: resource "alicloud_vpc"

    "vpc" { name = "terraform-vpc" cidr_block = "192.168.1.0/24" } resource "alicloud_vswitch" "vsw" { vpc_id = "${alicloud_vpc.vpc.id}" cidr_block = "192.168.1.0/28" availability_zone = "${var.zone}" }
  28. © 2018 SB Cloud Corp.
 セキュリティグループの作成とルールの追加
 35
 terrafrom.tf: resource "alicloud_security_group"

    "sg" { name = "terraform-sg" vpc_id = "${alicloud_vpc.vpc.id}" } resource "alicloud_security_group_rule" "allow_http" { type = "ingress" ip_protocol = "tcp" nic_type = "intranet" policy = "accept" port_range = "80/80" priority = 1 security_group_id = "${alicloud_security_group.sg.id}" cidr_ip = "0.0.0.0/0" } セキュリティグループの作成 
 セキュリティグループに ルールを追加

  29. © 2018 SB Cloud Corp.
 ECSインスタンスの作成
 36
 terrafrom.tf: resource "alicloud_instance"

    "web" { instance_name = "terraform-ecs" availability_zone = "${var.zone}" image_id = "centos_7_3_64_40G_base_20170322.vhd" instance_type = "ecs.n4.small" system_disk_category = "cloud_efficiency" security_groups = ["${alicloud_security_group.sg.id}"] vswitch_id = "${alicloud_vswitch.vsw.id}" user_data = "${file("provisioning.sh")}" } ←OSイメージ
 ←初回起動時の実行スクリプトを指定 
 ← インスタンスタイプ 
 ← インスタンス名
 ← セキュリティグループ指定 
 イメージIDは aliyun CLI で以下のように調べることが出来る $ aliyun ecs DescribeImages --PageSize 100 | jq '.Images.Image[].ImageId' ← Ultra クラウドディスクを指定 
 ← 収容するVSWを指定 

  30. © 2018 SB Cloud Corp.
 EIPをインスタンスにバインド
 37
 EIPを定義して、そのEIPをサーバに割り当てる
 terrafrom.tf: resource

    "alicloud_eip" "eip" { internet_charge_type = "PayByTraffic" } resource "alicloud_eip_association" "eip_asso" { allocation_id = "${alicloud_eip.eip.id}" instance_id = "${alicloud_instance.web.id}" }
  31. © 2018 SB Cloud Corp.
 インターネット Region-B CEN Squid on

    ECS VSwitch VRouter VPN Gateway LogService CloudMonitor リージョン間プライベートネットワーク構成
 Region-A Squid on ECS LogService CloudMonitor EIP EIP B国最寄りのリー ジョン A国最寄りのリー ジョン A国にある特定の Webシステム B国側の利用者 SSL-VPN HTTP Proxyに指定 10.0.1.0/28 172.16.255.0/28 10.255.255.0/28
  32. © 2018 SB Cloud Corp.
 Terraformで設定すること
 • やること
 ◦ VPC/VSwitchの作成


    ◦ ECSの作成
 ▪ Squidのインストールと設定
 ▪ Logtailエージェントインストール
 ▪ Cloud Monitorエージェントインストール
 ◦ EIP作成とバインド
 ◦ セキュリティグループとルール設定
 ◦ VPNゲートウェイの作成と初期設定
 ◦ CENの構築
 ◦ Log Serviceの設定
 • やらないこと
 ◦ Cloud Monitorの設定(エージェントをいれれば自動で取得開始)
 ◦ SSLVPNの証明書のダウンロード
 ◦ CENの帯域購入
 40

  33. © 2018 SB Cloud Corp.
 Terraformのファイル構成
 42
 ファイル構成 root static

    templates terraform.tf terraform.tfvars variable.tf ・・・ ・・・ ・・・ ・・・ ・・・ サーバに設置するコンフィグファイルなどのうち、実行時に変化 しないスタティックなファイルをまとめています。 サーバに設置するコンフィグファイルなどのうち、実行時に変化 する動的なファイルをまとめています。 メインとなるコードです。 変数に設定したい値を記載します。 変数の定義やデフォルト値を記載します。 outputs.tf ・・・ 実行が終わったときに表示する内容 https://github.com/marufeuille/alicloud-network-sample/tree/master/two-region-proxy
  34. © 2018 SB Cloud Corp.
 template
 43
 data "template_file" "prv-proxy-a"

    { template = "${file("templates/provisioning-proxy-a.tpl")}" vars = { password = "${var.ecs-password}" publickey = "${var.publickey}" region-id = "${var.region-a}" } } terraform.tf: user_data = "#!/bin/bash\necho \"${file("static/squid/squid-a.conf")}\" > /tmp/squid.conf\n${data.template_file.prv-proxy-a.rendered}"
  35. © 2018 SB Cloud Corp.
 LogServiceの仕組み
 45
 LogServiceはLogtailを使ってログを収集します。ログの設定は ApacheやNginxのようにデフォルトでプリセッ ト値が入っているものもありますが、

    Squidはプリセット値がありません。 そこで、正規表現でSquidのログを収集するように設定を行っています。 Proxyサーバ /var/log/squid access.log logtail 監視 ログ(サンプル) 1554718819.175 4 10.255.255.6 TCP_MISS/200 913 POST http://ocsp.digicert.com/ - HIER_DIRECT/117.18.237.29 application/ocsp-response 対応させている正規表現 ([0-9.]+)\s+(\d+)\s+(\d+\.\d+\.\d+\.\d+)\s+([A-Z_/0-9]+)\s+(\d+)\s+(\w+)\s+([\w.:/-_]+)\s+-\s+([\w/_.]+).* 正規表現で抽出 # パラメータ名 説明 1 time UNIX Epoch時間からの経過秒数 フォーマットは(sec).(msec) 2 duration 応答時間(msec) 3 cliend_addr クライアントのIPアドレス 4 result_code HTTPのステータスコード 5 byte クライアントに返したバイト数 6 request_method Squidからターゲットに送った HTTPメソッド 7 target 宛先ノード名 8 hierarchy_code 上位プロキシへのアクセス結果 LogService
  36. © 2018 SB Cloud Corp.
 CENの帯域幅パッケージを購入
 46
 リージョン内:無料
 
 リージョン間:有料


    参考:
 アジア太平洋地域
 -> 2Mbps
 中国本土 :30,360
 北米 :16,560
 アジア :6,440
 ヨーロッパ:16,560
 澳洲(オーストラリア):60,040
 
 上限は10Gbpsまで。空きによって異なる。
 
 
 ※VPCコンソールのクイックリンクからCENへ。 
 https://cen.console.aliyun.com/cen/list

  37. © 2018 SB Cloud Corp.
 インターネット Region-B CEN Squid on

    ECS VSwitch VRouter VPN Gateway LogService CloudMonitor リージョン間プライベートネットワーク構成
 Region-A Squid on ECS LogService CloudMonitor EIP EIP B国最寄りのリー ジョン A国最寄りのリー ジョン A国にある特定の Webシステム B国側の利用者 SSL-VPN HTTP Proxyに指定 10.0.1.0/28 172.16.255.0/28 10.255.255.0/28
  38. © 2018 SB Cloud Corp.
 デモが終わったかな?
 50
 Outputs: eip-a =

    47.100.52.55 eip-b = 47.74.53.67 private-ip-a = 10.0.1.5 private-ip-b = 172.16.255.8 zone-a = cn-shanghai-d zone-b = ap-northeast-1a 
 ※帯域幅パッケージをCENにバインド 
 $ ssh [email protected]
 
 $ ping 10.0.1.5
 $ curl http://ifconfig.io/
 47.74.53.67
 $ curl --proxy http://10.0.1.5:8080 http://ifconfig.io/
 47.100.52.55

  39. © 2018 SB Cloud Corp.
 後掃除
 51
 • CENの帯域をまず外します。必要なければ解約します。
 •

    terraform destroyを実行。確認時にYESと入力。
 • terraformで作成されたすべてのリソースが削除されます。
 • ※既知の問題:片側のVSWやVPC、VPN Gateway、SSL Serverが残ってしまうケース があります。削除時のタイムアウト時間の調整が必要だと思われますが、現時点で現 象が発生した場合は、手動で削除をお願いします。

  40. © 2018 SB Cloud Corp.
 まとめ
 52
 • マルチクラウドで同じように動くCLIは強力
 •

    Terraformはテキストで定義するだけで、構築してくれる
 • 現状との差分を考えて埋めてくれるのが、APIやSDKを直接使う のに比べてメリット
 • Alibaba CloudはTerraformを始めとするオープンソースプロジェ クトにも積極的。
 • 活用しない手はない

  41. © 2018 SB Cloud Corp.
 Alibaba Cloud 認定資格 • Alibaba

    Cloud 公式の技術者向け資格 • 試験に合格すると認定証がもらえる • 資格の有効期間は2年間 • 3ジャンルx3段階 (2019年3月時点) Alibaba Cloud 認定資格 紹介ページ(中国語・英語) https://edu.alibabacloud.com/certification/ ACA ACP ACE Cloud Computing 英語 / 105分 / 50問 概要 / 問題サンプル 英語 / 105分 / 70問 概要 / 問題サンプル 英語 / 150分 / 75問 150点中90点以上で合格 / ACP必須 概要 / 問題サンプル Big Data 英語 / 105分 / 45問 概要 / 問題サンプル 英語 / 135分 / 60問 概要 / 問題サンプル 英語 / 150分 / 50問 100点中66点以上で合格 / ACP必須 概要 / 問題サンプル Security 英語 / 105分 / 50問 概要 / 問題サンプル 英語 / 135分 / 100問 概要 / 問題サンプル Coming soon 易 難 試験内容
  42. © 2018 SB Cloud Corp.
 2019杭州・云栖大会 
 54
 The Computing

    Conference (TCC) 
 2019年9月開催 
 https://yunqi.aliyun.com/