AWS re:Invent 2019 recap (by hariby)

Slide 1

Slide 1 text

T o k y o

Slide 2

Slide 2 text

Slide 3

Slide 3 text

No content

Slide 4

Slide 4 text

AWS re:Invent2019 • AWS世界最大の「学習型」カンファレンス • 65,000+ 人の参加者 • 日本からも1,800+ 人の参加 • 3,000+のセッション • パートナー展示ブースや各種ハンズオン、認定試験など • ネットワーキングパーティーなど各種イベントも 4

Slide 5

Slide 5 text

1 Have-fun Events and 4 Keynotes On YouTube: http://bit.ly/reinvent2019-keynotes

Slide 6

Slide 6 text

怒涛の発表

Slide 7

Slide 7 text

AWS re:Invent 2019 Overview ⼀部はイベント前から発表も新サービス・機能の発表 275+ （昨年は100+） ※ 2019/11/13-2019/12/5 の AWS Whatʼs New 掲載数 https://aws.amazon.com/new/

Slide 8

Slide 8 text

Market Share Analysis: IaaS and IUS, Worldwide, 2018, 5 July 2019, Analyst(s): Colleen Graham, Ed Anderson, David Ackerman, Sid Nag M I CR OS OF T / 1 5 . 5 0 % AL I B AB A / 7 . 7 0 % G OOG L E / 4 . 0 0 % I B M / 1 . 8 0 % OT H ER VEN D OR S / 2 3 . 2 0 % Gartner Worldwide IaaS Market Segment Share AWS / 47.80% クラウド利用の状況

Slide 9

Slide 9 text

Slide 10

Slide 10 text

主要なアップデート(1/3) • コンピューティング • 最大40%価格パフォーマンス向上した第6世代のEC2 インスタンス (Graviton2) • 機械学習の推論向け EC2 Inf1 インスタンス • 機密データ保護 AWS Nitro Enclaves • 超低レイテンシー AWS Outposts, AWS Wavelength • 量子コンピューティング Amazon Braket • コンテナとサーバーレスの機能拡張 10

Slide 11

Slide 11 text

主要なアップデート(2/3) • 機械学習 • 学習ツール：自動作曲キーボード AWS DeepCompser とレーシングカー AWS DeepRacer Evo • Webベースの開発環境 Amazon SageMaker Studio • ツール群 Amazon SageMaker Experiments, Debugger, Autopilot, Model Monitor • データベース・分析 • データ活用と分析の強化 Amazon Redshiftの機能拡張 • マネージド型の Cassandra 対応データベース Amazon Managed Apache Cassandra 11

Slide 12

Slide 12 text

主要なアップデート(3/3) • ネットワーク・セキュリティー • グローバルネットワークを一元管理 AWS Transit Gateway network manager • 潜在的なセキュリティ問題を調査 Amazon Detective • サポート・サービス • 古いWindowsの移行支援 AWS EMP (End of Support Migration Program) for Windows Server 12

Slide 13

Slide 13 text

Slide 14

Slide 14 text

バースト可能汎⽤ストレージ最適化⾼速コンピューティングメモリ最適化コンピュート最適化 c5d.xlarge インスタンスファミリーサイズ世代追加機能 GPU FPGA ARM a1 a1.metal m5 m5a m5ad m5n m5dn m5.metl m5d.metal r5 r5a r5d r5ad r5n r5dn r5.metal r5d.metal t3 t3a p3dn i3 i3en i3.metal i3en.metal c5 c5d c5n c5dn c5.metal c5d.metal c5n.metal g3 g3s g4dn d2 h1 u.metal z1d z1d.metal f1 x1 x1e ML ASIC inf1 m6g m6gd c6g c6gd r6g r6gd サーバー: 幅広いニーズに応えるEC2インスタンスファミリー • 需要に合わせて、インスタンスタイプ、サイズの変更が可能 • vCPU: 1 〜 128 • RAM: 0.5GB 〜 4TB *注︓ インスタンスタイプにより選択可能なサイズは異なります

Slide 15

Slide 15 text

これまでの EC2 世代変遷独自 ASIC Nitro システムで高スループット、低レイテンシー、低価格を実現 Classic Virtualization Nitro System

Slide 16

Slide 16 text

Graviton 2 搭載インスタンス (Preview) • 64bit ARM の AWS Graviton 2を搭載し • 汎用 (M6g, M6gd): 1-64vCPU, Max 256GiB RAM • コンピュート最適化 (C6g, C6gd): 1-64vCPU, Max 128GiB RAM • メモリ最適化 (R6g, R6gd): 1-64vCPU, Max 512GiB RAM • 各インスタンスは最大 25Gbps のネットワーク帯域と、最大 18Gbps の EBS 帯域を持つ • AWS Nitro System を利用してインスタンス上のメモリは起動時に生成される 256-bit 鍵で暗号化されるため、インスタンス外部から読み取ることは不可 • 2020年にさらなる情報を公開予定 7nmプロセスによる AWS独自設計プロセッサ

Slide 17

Slide 17 text

AWS Nitro Enclaves (Preview) • 個人情報・医療・金融・知財など機密性の高い処理を行うための仮想マシンを提供 • Enclaves は EC2 とのローカル接続のみで永続ストレージを持たない • Admin アクセスがなく、暗号化認証されたコードのみが実行される Instance A Enclave A Instance B

Slide 18

Slide 18 text

AWS Outposts が一般利用可能に • 低遅延を目的としたローカルプロセシングを可能にする AWS Outposts が一般利用可能に • VPC を Outposts に拡張して利用するイメージ • 以下のサービスを内部で稼働させられる • EC2, EBS, VPC, ECS, EKS, EMR • RDS はプレビュー。S3 については将来対応予定 • 最大16ラックをひとつのリソースプールとして一括して取り扱える。上限は今後拡張予定 • 利用にはエンタープライズサポートと3年間の継続利用コミットが必要 • 東京をはじめとする各リージョンで利用可能 AWS Outposts AWS Cloud Corporate data center VPC

Slide 19

Slide 19 text

AWS Wavelength を発表 • 通信キャリアの 5G ネットワークエッジにAWS の Compute/Storage サービスを組み込み、 AWS サービスにアクセス可能にする仕組み • ゲームやビデオのストリーミング、推論処理など端末から計算資源間を1桁msの遅延で到達する必要があるシステムを構築可能にする • 世界中の 5G ネットワークにおいて、一貫した開発者エクスペリエンスを提供。使い慣れた AWS サービスやツールを利用して開発可能 • 日本を含む世界各国の通信キャリアとのパートナーシップにより、2020年のサービス開始を目指し準備中

Slide 20

Slide 20 text

Amazon Braket (Preview) • 量子コンピュータ用アルゴリズムを簡単に構築・テスト・実行できるフルマネージドサービス • Jupyter Notebook と Amazon Braket SDK を使って独自の量子アルゴリズムをゼロから設計 or あらかじめ用意された一連のアルゴリズムから目的のアルゴリズムが選択できる • シミュレーションと量子ハードウェア (D-Wave, IonQ, Rigetti) での実行に対応 • 量子コンピュータを始めたいお客様向けのパートナー Amazon Quantum Solutions Lab を開設。カリフォルニア工科大の近隣に AWS Center of Quantum Computing も設置

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Amazon ECS Capacity Providers • タスク (コンテナ) の配置先を決定するための新しい⽅法 • タスク配置先の柔軟なコントロールが可能に • 例えば60%はオンデマンドで残りはスポット、等 • EC2 と Fargate の双⽅で利⽤可能 • EC2 の場合は作成済みの EC2 ASG に Capacity provider を紐付ける • Fargate ⽤ Capacity provider は⾃動的に⽤意される (既存クラスタへは CLI で追加可能) • 東京を含む、ECS を利⽤可能な全てのリージョンで利⽤可能 Capacity Provider #1 Capacity Provider #2 Capacity Provider #1 Capacity Provider #2 Strategy : weight =3 https://aws.amazon.com/about-aws/whats-new/2019/12/amazon-ecs-capacity-providers-now-available/

Slide 23

Slide 23 text

AWS Fargate Spot • AWS Fargate で中断処理に強いワークロードを実行するための新しいオプション • 通常の Fargate の価格と比較して最大70％の割引 • Capacity Provider の Fargate Spot キャパシティとして利用可能 ※ Fargate Spotは ECS のみのサポートで、EKS は現状未サポート AWS Fargate Spot

Slide 24

Slide 24 text

Amazon ECS Cluster Auto Scaling クラスター内のインスタンスのスケーリングをより詳細に制御できるように • Managed Scaling • ECS Capacity Provider を利用して、 ECS ワークロードが必要とするクラスタリソースの割合に応じてクラスタをスケールする。 • Managed instance termination protection • ASGのインスタンス保護機能と連携し、コンテナの中断を最小限に保つ Auto Scaling group Amazon Elastic Container Service Auto Scaling group Amazon Elastic Container Service ECSがASGを直接制御

Slide 25

Slide 25 text

各機能の関連性について ECS Cluster ECS Cluster AWS Fargate AWS Fargate Spot EC2 Auto Scaling Group EC2 Auto Scaling Group Capacity Provider Capacity Provider Capacity Provider Capacity Provider ECS Tasks ECS Tasks ECS Tasks ECS Tasks - managed scaling :True - Targaet Capacity : 60 - managed Termination Protection : True - managed scaling :False - managed Termination Protection : False Capacity Provider Reservation CPU Utilization …etc Spot 中断 Amazon EventBridge weight: 2 weight: 1 base: 1 weight: 1 weight: 1

Slide 26

Slide 26 text

Amazon EKS on AWS Fargate • サーバーレスで Kubernetes コンテナを実行し、高い安全性と信頼性を実現 • Pods のインフラ管理やプロビジョニングなしに Kubernetes ベースのアプリケーションを実行 • Kubernetes オペレーションの専門家がいなくても、セキュアで拡張可能なクラスタを容易に構成できる。 • 東京・バージニア・オハイオ・アイルランドで一般利用開始

Slide 27

Slide 27 text

Amazon RDS Proxy with AWS Lambda (Public Preview) • RDS Proxy の発表 • コネクションプールの管理を行い、データベースへのコネクション要求が過剰に発生した場合にも、クライアントの接続を待機させたり、既存のコネクションを効率的に再利用させることができる • RDS MySQL 5.6 / 5.7、Aurora MySQL にて利用可能 • 東京、バージニア北部、オハイオ、オレゴン、アイルランドの 5 リージョンでプレビュー利用開始 • AWS Lambda と RDS Proxy の統合 • RDS Proxy を利用することで、これまでの AWS Lambda と RDS との間で発生しやすかった、コネクションの過剰使用を抑止することができる RDS Proxy を配置する VPC と AWS Lambda を接続する必要あり ... ☓ ... wait fail

Slide 28

Slide 28 text

AWS Lambda VPC接続の改善 ( 2019 fall )

Slide 29

Slide 29 text

Provisioned Concurrency for Lambda Functions • Lambda 関数のコールドスタート問題に対応 • 代表例として Java ランタイムを利用するケースなど、関数の初回起動時に大きく時間を要する場合、この機能を使うことで、事前にウォームアップした状態から関数を実行開始することが可能となる • Lambda 関数のバーストに備えることが可能 • AWS Lambda では、関数の実行が一度に大量に行われた (バーストした) 場合、仮に Lambda 関数の同時実行数を上限緩和していても、初期同時実行数のバースト制限 (東京リージョンの場合は 1000) までしか一度に実行できず、以降は 1 分ごとに 500 ずつ同時実行可能な数が増加する • この機能により、あらかじめ同時実行数をプロビジョニングしておくことが可能となるため、関数の実行数のバーストにあらかじめ備えておくことが可能となる (※) ... ... ...

Slide 30

Slide 30 text

Lambda “サーバーレスアプリケーションの作成” 機能 • 特定ユースケースのサーバーレスアプリケーションを簡単に作成可能に • アプリケーションだけではなく、CI/CD パイプラインも自動構築できる

Slide 31

Slide 31 text

Lambda “サーバーレスアプリケーションの作成” 機能 • 例えば Serverless API backend を選択した場合、下記のような構成を数度のボタンクリックで構築できる • CI/CD パイプラインも同時にできあがる • SAM テンプレートを書き換えて、CodeCommit に git push すれば、自動的に裏側のリソースにデプロイされる • 現在5つのユースケースに対応 • 言語は Node.js 10.x のみ

Slide 32

Slide 32 text

AWS Lambda now supports Node.js 12, Java 11, and Python 3.8 • 各言語の新バージョンをサポート • いずれも Amazon Linux 2 で動作する • Node.js 12 • 最新の LTS リリース、 2020年4月までセキュリティ・バグ修正が継続 • Java 11 • 実行環境は Amazon Corretto 11 が利用される • Python 3.8 • 「Assignment expressions」や「positional- only arguments」「typing improvements」など Python 3.8 の新機能を活用できる

Slide 33

Slide 33 text

お客様の AWS Cloud Amazon EventBridge • 対応 SaaS からのイベントをタイムリーに受診し、多様な処理連携を実現 • 認証や webhook 設定作業が不要 • サーバーレス • イベント受信のためのサーバーの準備/構成/管理が不要 • 認証や webhook 設定作業不要 • 簡単に AWS サービスと連携 • 価値を生まない連携部分のコードを排除 (= スパゲティ化リスクを回避)

Slide 34

Slide 34 text

インテグレーション済のパートナー…

Slide 35

Slide 35 text

Introducing Amazon EventBridge schema registry and discovery (preview) • EventBridge (CloudWatch Events) でやり取りされる様々なデータのスキーマを、サービスごとに Schema Registry としてまとめて公開 • (例) EC2 インスタンスの状態変化通知のスキーマプロパティの⼀覧とそれぞれの型 (String や独⾃の型など) 独⾃の型の定義も確認できる

Slide 36

Slide 36 text

Introducing Amazon EventBridge schema registry and discovery (preview) • 3rd Party のパートナーから EventBridge へ送信されるデータについては、 EventBridge へ流入するデータからスキーマ情報を自動生成可能に (Schema Discovery) • (例) MongoDB Atlas (MongoDB 社にて提供されるマネージドサービス) へデータの CRUD 処理が行われた場合のスキーマプロパティの⼀覧とそれぞれの型 (String や独⾃の型など) AWS のサービスと全く同じ形で、パートナーから送信されるデータのスキーマも確認できる

Slide 37

Slide 37 text

Introducing Amazon EventBridge schema registry and discovery (preview) • Code Bindings として、スキーマ定義を各言語ごとにダウンロード可能 • 2019 年 12 月時点で Java 8、Python 3.6、TypeScript 3 の 3 種類に対応 • アプリケーション開発の際に、ダウンロードしたスキーマ定義をインポートしておくことで、コード補完やコンパイル時のエラー検出に役立てることができる

Slide 38

Slide 38 text

Slide 39

Slide 39 text

AWS の機械学習スタック幅広く完全な機械学習のサービス群コンピュータビジョン音声テキスト検索 NEW チャットボットパーソナライズ予測不正検知 NEW 開発 NEW コンタクトセンターNEW Amazon SageMaker Ground Truth Augmented AI SageMaker Neo Built-in algorithms SageMaker Notebooks NEW SageMaker Experiments NEW Model tuning SageMaker Debugger NEW SageMaker Autopilot NEW Model hosting SageMaker Model Monitor NEW Deep Learning AMIs & Containers GPUs & CPUs Elastic Inference Inferentia FPGA Amazon Rekognition Amazon Polly Amazon Transcribe +Medical Amazon Comprehend +Medical Amazon Translate Amazon Lex Amazon Personalize Amazon Forecast Amazon Fraud Detector Amazon CodeGuru AI サービス ML サービス深層学習フレームワーク & インフラ Amazon Textract Amazon Kendra Contact Lens For Amazon Connect SageMaker Studio IDE NEW NEW

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Amazon Rekognition

Slide 43

Slide 43 text

Amazon Rekognition Custom Labels • Rekognition に独⾃の物体検出・シーン認識モデルを構築 • 認識したい物体・シーンの画像を以下の⽅法でインポートして利⽤可能 • ラベリングのためのサービス、 SageMaker Ground Truth を利⽤ • 所定のフォーマットで保存された、 S3 やローカルコンピュータのデータ • Rekognition のモデルを活⽤するため画像を⼤量に追加する必要はないトルクコンバータ

Slide 44

Slide 44 text

Amazon Comprehend / Transcribe • Amazon Comprehend: テキスト内でインサイトや関係性を検出 • キーフレーズ抽出・感情分析・構文解析・エンティティ認識 • 対応言語: 英語・フランス語・ドイツ語・イタリア語・ポルトガル語・スペイン語・日本語 • リージョン: バージニア・オハイオ・オレゴン・シドニー・シンガポール・東京など • Amazon Transcribe: オーディオファイルを解析し、音声をテキスト化 (音声書き起こし) • 全ての単語にタイムスタンプを付与 • 録音品質の低い電話音声でも高い精度。複数のオーディオフォーマット (WAV, MP3, MP4, FLAC) に対応 • 対応言語: 米国英語・標準中国語・スペイン語・日本語など (ストリーミングは一部の言語) • リージョン: バージニア・オハイオ・オレゴン・シドニー・シンガポール・東京など Amazon.com, Inc. is located in Seattle,WA and was founded July 5th, 1994.

Slide 45

Slide 45 text

Amazon Transcribe Medical • 医療向けの高精度な音声文字起こしサービス • 医者と患者の会話 (2人) or 医者の読み上げ (１人) それぞれの文字起こしに対応 • Amazon Comprehend Medical と組み合わせて会話内容の分析が可能 • 対応言語: 米国英語 • リージョン: バージニア・オハイオ・オレゴン・シドニーなど

Slide 46

Slide 46 text

Amazon Kendra (Preview) • 機械学習による⾼精度な⽂書検索 • ⾃然⽂の質問に対する回答の検索 • 関連⽂書をランキング表⽰ • コネクタで各種データソースに対応 • S3, Sharepoint, RDB など • Box, Dropbox, Salesforce への対応も予定 • 学習なしで IT・⾦融・保険などの⽂章に対応 (追加学習も対応予定) • 対応⾔語: ⽶国英語のみ • リージョン: バージニア・オレゴン・アイルランド

Slide 47

Slide 47 text

Contact Lens for Amazon Connect (Preview) • コンタクトセンター業務を AI で効率化 • 通話やチャットのセンチメント分析 • 問い合わせ内容の⾃動分類 • 会話が途絶えている状況の⾃動検出など • 分析のための UI を提供 • 対応⾔語: ⽶国英語

Slide 48

Slide 48 text

Amazon Fraud Detector (Preview) • 機械学習による不正検知サービス • 学習なしで利⽤可能で、以下の既存テンプレートから利⽤を開始できる • オンライン決済の⽀払いにおける不正 • 偽アカウント作成、など • Fraud Detector の予測結果に対して、ルールベースで最終的な不正検知が可能 • リージョン: バージニア

Slide 49

Slide 49 text

Guest Checkout: Purchase IP: 1.23.123.123 email: joe@example.com Payment: Bank123 … Fraud Detector returns: Outcome: Approved ML Score: 160 Purchase Approved Call service with: IP: 1.23.123.123 email: joe@example.com Payment: Bank123 … AWS Cloud Fraud Predictions の活⽤

Slide 50

Slide 50 text

Amazon CodeGuru • コードレビューの⾃動化と性能改善のためのガイドを⾏う開発者向けのサービス • CodeGuru Reviewer: スレッドセーフでないなどの様々な問題を検出する • CodeGuru Profiler: 本番環境で継続的に稼働し、アプリケーションパフォーマンスを最適化 • 対応⾔語: Java • 対応レポジトリ: AWS CodeCommit, GitHub • リージョン: バージニア・オレゴン・オハイオ・アイルランド・シドニー

Slide 51

Slide 51 text

CodeGuru Profiler 事前に⾼負荷なコードの検出と最適化組み込み code reviews による改善の推薦 CodeGuru Reviewer コードレビューとパフォーマンスの最適化本番環境での容易なパフォーマンス監視と改善

Slide 52

Slide 52 text

ユーザーからの Pull Request ⼊⼒: ソースコード try (GZip gzip = GZIPInputStream.create( url.openStream())) { use(gzip); } catch (Exception e) { handle(); } 意味的特徴やパターンの抽出特徴の抽出 gzip = GZIPInputStream .create(stream) use(gzip) ENTRY EXIT stream = url.openStream() gzip.close() handle() throw Exception 機械学習とプログラムによるコード上の⽋陥の検知機械学習 Code corpus Pull Request へのコメントとして改善提案を確認出⼒: 改善の提案 Amazon CodeGuru Reviewer の仕組み

Slide 53

Slide 53 text

Customerʼs application Profiler thread Customerʼs application Profiler thread Customerʼs application Profiler thread Customerʼs application Profiler thread Actionable recommendations CodeGuru Profiler の仕組み

Slide 54

Slide 54 text

Slide 55

Slide 55 text

Amazon SageMaker 全てのデベロッパー・データサイエンティストのための機械学習

Slide 56

Slide 56 text

(これまでの ) Amazon SageMaker 機械学習モデルを素早く大規模に構築・トレーニング・デプロイ Amazon SageMaker Ground Truth アルゴリズム・フレームワーク Notebooks トレーニング・チューニングデプロイ・ホスティング強化学習 ML マーケットプレイス Neo

Slide 57

Slide 57 text

Amazon SageMaker 機械学習の課題に対処 Amazon SageMaker Studio Amazon SageMaker Notebooks (Preview) Amazon SageMaker Debugger Amazon SageMaker Experiments Amazon SageMaker Model Monitor Amazon SageMaker Autopilot

Slide 58

Slide 58 text

機械学習モデルを素早く大規模に構築・トレーニング・デプロイ Amazon SageMaker Studio IDE Amazon SageMaker Ground Truth アルゴリズム・フレームワーク SageMaker Notebooks SageMaker Experiments トレーニング・チューニングデプロイ・ホスティング強化学習 ML マーケットプレイス SageMaker Debugger SageMaker Autopilot SageMaker Model Monitor NEW! NEW! NEW! NEW! NEW! NEW! Neo

Slide 59

Slide 59 text

Amazon SageMaker Studio • 現在オハイオリージョンで利用可能機械学習のための初めての統合開発環境 (IDE)

Slide 60

Slide 60 text

Amazon SageMaker Notebooks (preview) • Single Sign-On (SSO) で簡単アクセス • フルマネージドでセキュア • セットアップ不要 • 簡単にコラボレーション • URL をシェアしてノートブックを共有 • フレキシブル • 計算リソースの増減 (coming soon) 素早く立ち上がり共有可能なノートブック

Slide 61

Slide 61 text

Amazon SageMaker Processing • 完全マネージド • クラスターでの分散処理 • カスタム処理 • 特徴量エンジニアリングに自前のスクリプトを持ち込み • コンテナ • SageMaker ビルトイン or BYOC • セキュリティ・コンプライアンス • 自動起動・終了データ処理とモデル評価のための分析ジョブ

Slide 62

Slide 62 text

Amazon SageMaker Experiments • パラメータ・メトリクスを実験・ユーザーをまたぎトラッキング・可視化 • チーム・ゴール・仮説ごとに実験をまとめられる • Experiments SDK を利用してカスタムメトリクスを定義。結果を分析用 Pandas Dataframe フォーマットで出力可能実験管理・トラッキング・比較

Slide 63

Slide 63 text

Amazon SageMaker Debugger • 関連データ (メトリクス・混同行列・学習勾配) のリアルタイム取得と、分析・デバッグ • 自動でエラー検知。アラートによる生産性の向上分析・デバッグ、説明性とアラートの生成

Slide 64

Slide 64 text

Amazon SageMaker Model Monitor • 自動データ収集 • エンドポイントにデプロイしたモデルのデータを収集 • 継続的モニタリング • 予め設定したベースラインに対して定期的にテストを実施し、結果に関する統計情報や品質の問題を集計しレポートを S3 に出力 • 柔軟なルール • データのドリフトをビルトインのルールで検知したり、独自ルールを設定 • Deequ (データの Unit test) • SageMaker Studio での可視化 • CloudWatch との統合 • CloudWatch アラームによるアクションの自動化プロダクション運用するモデルの継続的なモニタリング Amazon SageMaker Model

Slide 65

Slide 65 text

Amazon SageMaker Autopilot • 表形式のデータに対する機械学習をすぐに始める • クラス分類と回帰のためのモデルを自動的に生成する AutoML サービス • 自動でモデル生成 • 自動の特徴量エンジニアリング・モデルチューニング。Autopilot を起動すると最初にデータセットをスキャンし、最適な処理ステップやアルゴリズムを発見するために複数回のトライアルを実行する • 可視性とコントロール • 現在 XGBoost と線形学習器をサポート • データセットに関する情報と、ジョブ詳細が S3 に出力され、再利用やカスタマイズが可能モデルの自動生成と完全な可視性・コントロール Amazon SageMaker Model Python Code

Slide 66

Slide 66 text

SageMaker Managed Spot Training • 最大待ち時間を指定 • 中断が発生する可能性があるので checkpoints に途中経過を書き出し • 事例「Cinnamon AI は、Amazon SageMaker マネージドスポットトレーニングで ML モデルのトレーニングコストを 70% 節約」スポットインスタンスで最大90%トレーニング料金を削減

Slide 67

Slide 67 text

SageMaker Operator for Kubernetes • SageMaker でモデルのトレーニング・チューニング・デプロイ • Kubernetes 環境で ML ワークロードのオーケストレーション • Kubernetes でパイプラインとワークフローの作成 • SageMaker 側でインフラを完全にマネージ • Managed Spot Training や分散学習にも対応 Kubernetes ご利用のお客様も Amazon SageMaker でモデルをトレーニング・チューニング・デプロイ Amazon SageMaker Kubernetes

Slide 68

Slide 68 text

Multi-Model Endpoint • 単一のエンドポイントの裏に複数のモデルを置くことができる • 動的にモデルを追加することも可能 S3 model storage tokyo.tar.gz kanagawa.tar.gz osaka.tar.gz aichi.tar.gz S3://bucket/our-endpoint-models/ S3://bucket/our-endpoint-models Load Predict

Slide 69

Slide 69 text

Slide 70

Slide 70 text

TPB 1 TPB 2 memory memory TPB 4 TPB 3 memory memory TPB 1 TPB 2 memory memory TPB 4 TPB 3 memory memory 4 Neuron Cores 最大 128 TOPS 2-ステージのメモリ階層 - 大きなオンチップキャッシュと汎用 DRAM データ型は FP16, BF16, INT8 をサポート高速なチップ間のインターコネクト TPB 61 TPB 62 TPB 64 TPB 63 Memory Memory Memory Memory TPB 5 TPB 6 TPB 8 TPB 7 Memory Memory Memory Memory Neuron Engine Neuron Engine Neuron Engine AWS Inferentia Neuron Core cache Memory Neuron Core cache Memory Neuron Core cache Memory Neuron Core cache Memory AWS Inferentia AWS カスタムのチップ・ソフトウェア・サーバー

Slide 71

Slide 71 text

EC2 Inf1 インスタンス • AWS Inferentia を1-16チップ搭載、 CPU は Intel Xeon (Cascade Lake) • G4 インスタンスと比較して推論処理で最大3倍のスループット、最大40%のコスト削減 • TensorFlow, MXNet, PyTorch で利用可能 • バージニア・オレゴンリージョンで利用可能 • 以下のサービスからも利用可能となる予定 • Amazon SageMaker, Amazon ECS, Amazon EKS Inf1ファミリ Inferentia チップ数 vCPU メモリ (GiB) EBS帯域 (Gbps) NW帯域 (Gbps) inf1.xlarge 1 4 8 Max 3.5 Max 25 inf1.2xlarge 1 8 16 Max 3.5 Max 25 inf1.6xlarge 4 24 48 3.5 25 inf1.24xlarge 16 96 192 14 100 92

Slide 72

Slide 72 text

AWS DeepComposer (Preview) • 開発者のための機械学習 MIDI キーボード • メロディを入力すると伴奏を生成 • GAN (Generative Adversarial Networks; 敵対生成ネットワーク。教師なし学習）を調整しながら仕組みを学べる

Slide 73

Slide 73 text

AWS DeepRacer Evo (Preview) • ステレオカメラと LIDAR (光計測と測距) を搭載 • 2台で競い合う head-to-head なレースが可能になり、障害物回避などにも取り組める • 学習に利⽤可能なニューラルネットワークを3層と5層から選択可能に • 2020年は DeepRacer Evo による新しい⼤会を予定 https://aws.amazon.com/jp/blogs/aws/aws-deepracer-update-new-features-new-racing-opportunities/

Slide 74

Slide 74 text

Slide 75

Slide 75 text

Data lake on AWS カタログと検索ユーザアクセスデータ収集データサービスと分析 S3 Amazon DynamoDB Amazon Elasticsearch Service AWS AppSync Amazon API Gateway Amazon Cognito AWS KMS AWS CloudTrail セキュリティと管理 AWS IAM Amazon CloudWatch AWS Snowball AWS Storage Gateway Amazon Kinesis Data Firehose AWS Direct Connect AWS Database Migration Service Amazon Athena Amazon EMR Amazon Managed Apache Cassandra Service Amazon Redshift Amazon DynamoDB Amazon QuickSight Amazon Kinesis Amazon Elasticsearch Service Amazon Neptune Amazon RDS DataLake Scalable, secure, cost- effective AWS Glue

Slide 76

Slide 76 text

用途に合わせて最適なデータベースを選択 Relational ERP, CRM, finance,BI Key-value Real-time bidding, shopping cart, social, product catalog, customer preferences Document Content management, personalization, mobile In-memory Leaderboards, real-time analytics, caching Graph Fraud detection, social networking, recommendation engine Time-series IoT applications, event tracking Ledger Systems of record, supply chain, health care, registrations, financial Aurora, RDS DynamoDB Cassandra DocumentDB ElastiCache Neptune Timestream QLDB Analitics RedShift EMR Athena BigData Analitics

Slide 77

Slide 77 text

Amazon Redshift のデータレイク連携機能を強化 • Data Lake Export • Redshift のデータを Apache Parquet 形式で Amazon S3 にエクスポート可能に • DWH のデータを Amazon Athena や Amazon EMR を利用してクエリや処理することがこれまで以上に高速かつ容易に • Federated Queries (Preview) • Redshift クラスタ, S3, Amazon RDS for PostgreSQL/Amazon Aurora for PostgreSQL のデータを横断的にクエリ可能に

Slide 78

Slide 78 text

Redshift RA3 Instance と Managed Storage • コンピュートとストレージの密結合を分離し、個々に最適化が可能な新インスタンス • 従来の DS2 インスタンスの2倍のパフォーマンスと2倍のストレージ容量を同価格で実現 • 48vCPU, 384GiB Memory でノードあたり最大64TBを管理可能な ra3.16xlarge が利用でき、2-128台でクラスタを構成 • SSD ベースのローカルキャッシュと Amazon S3 を使用。データ配置の最適化は自動実行でユーザ側の作業は不要 • 費用は$0.024/GB/Month • Redshift が利用可能な全リージョンにて

Slide 79

Slide 79 text

AQUA for Amazon Redshift (Preview) • Advanced QUery Accelerator • 他のクラウドベース DWH と比較して最大10倍のパフォーマンスを実現する、新しい分散型ハードウェアアクセラレーションキャッシュ • 現行の Redshift と100%互換 • AWS が設計したプロセッサとスケールアウト可能なアーキテクチャにより高速なキャッシュ上でデータ処理の大部分を実行 • フィルタリングや集約など大量のデータを扱うタスクをストレージの近くで実行し、ネットワーク帯域の逼迫を回避し性能を改善

Slide 80

Slide 80 text

Amazon Managed Apache Cassandra Service (Preview) • Apache Cassandra 互換 DB のマネージドサービス • Cassandra Query Language (CQL) 3.11 API との互換で、既存のアプリケーションコードやツールをそのまま利用することができる • 通常時、どんなスケールでも安定して一桁ミリ秒の読み書きレイテンシを実現 • データストレージはフルマネージドでプロビジョンの必要なし。複数 AZ に3重保管される • 東京・バージニア・オハイオ・ストックホルム・シンガポールの各リージョンでオープンプレビューを開始

Slide 81

Slide 81 text

Amazon Athena Federated Query (Preview) • 様々なデータソースに対してSQLクエリが実行でき分析処理がシンプルに • AWS Lambdaで動作するAthena Data Source Connectorsを利用して実行 • DynamoDBやRedshiftなどのサービスや、Apache HBase、MySQLやPostgreSQLなどJDBC準拠のRDB についてはオープンソースコネクタが用意されている • カスタムデータソースに対してSQLクエリを発行したい場合はAthena Query Federation SDKを利用して開発する • バージニアリージョンでプレビューを開始 AWS Lambda Amazon Athena Amazon Redshift Amazon DocumentDB (with MongoDB compatibility) Amazon CloudWatch Generic database

Slide 82

Slide 82 text

Amazon S3 Access Points • S3 に格納された共有データセットへのアクセス管理を容易にする Amazon S3 Access Points を発表 • アクセスするために、IAM ポリシーを紐付けたユニークなホスト名を定義できるようになり、アクセス制御が容易に • アクセスポイントはインターネットへ公開することも、任意の VPC からのアクセスに限定することもできる • 全てのリージョンで追加費用なしで利用可能 Bucket Access Point Access Point Access Point VPC VPC Instance Instance Internet Bucket

Slide 83

Slide 83 text

Amazon RDS Proxy (Preview) • アプリケーションをスケーラブルにし、DB 障害への回復力を高めるマネージドなデータベースプロキシ • DBへのコネクションをプールし共有するので、 Lambda から RDS にアクセスする場合など大量のアイドル状態のコネクションが張られるケースでも不要な負荷を DB に与えない • 複数AZに配置され DB 障害時もアプリケーションとの接続を維持し、DB の切り替わりをハンドル。DB 障害によるアプリ影響を最小化 • まずは RDS MySQL と Aurora MySqL 5.6/5.7 でプレビュー開始。東京リージョンでも Amazon RDS (Active) Amazon RDS (Standby)

Slide 84

Slide 84 text

Aurora MySQL 5.7 の機械学習連携機能 • DBと機械学習の直接連携に対応 • SQLを利用して SageMaker の推論モデルを呼び出したり、 Comprehend でセンチメント分析を実行可能に • Aurora から直接コールでき外部の実装が不要。不正検出やレコメンデーションなどリアルタイム用途を想定 • 追加料金なしで利用可能。SageMaker 連携は一般利用開始 (GA)、 Comprehend 連携はプレビュー • モデル学習用の S3 へのエクスポート機能 • SageMaker で学習に利用するためのデータを Aurora MySQL から S3 にエクスポートすることが可能に • ”SELECT INTO OUTFILE S3” ステートメントで実行し、MySQL 標準のエクスポートフォーマットか、RFC-4180 準拠の CSV 形式で出力できる • クラスタバージョン 2.07.00以降で利用可能 Amazon Aurora Amazon SageMaker Amazon Comprehend Bucket Train

Slide 85

Slide 85 text

Slide 86

Slide 86 text

AWS Transit Gateway Amazon VPC Amazon VPC Amazon VPC Amazon VPC Customer gateway VPN connection AWS Direct Connect Gateway* AWS Transit Gateway によるネットワーク接続

Slide 87

Slide 87 text

VPC Account Account Account Account Development VPC Account Account Account Account Testing VPC Account Account Account Account Production VPC VPC VPC VPC Shared services Authentication, Monitoring VPN AWS Direct Connect Gateway Route tables Route tables AWS Transit Gateway Reference Architecture

Slide 88

Slide 88 text

Transit Gateway の Multicast とリージョン間接続 • Multicast • AWS Transit Gateway の機能として、データストリームを仮想的に複数のアプリケーションに配信することが可能に • 株価配信やマルチメディアコンテンツ配信など、データを購読者にストリームする際に最適 • バージニアリージョンで利用可能 • リージョン間ピアリング • 各リージョンに構成した AWS Transit Gateway をリージョン間でピアリングすることができるようになった • 各リージョンにまたがるグローバルネットワークを構成可能になり、トラフィックは常に AWS の回線を通過する • さらにその通信経路は SPOF がないよう冗長化され、リージョン間トラフィックは暗号化が行われる • バージニア・オハイオ・オレゴン・アイルランド・フランクフルトで利用可能 AWS Transit Gateway Instance Instance Instance Traditional server

Slide 89

Slide 89 text

Transit Gateway Network Manager • Transit Gateway を介した AWS / オンプレミスのグローバルネットワークを可視化し、モニタリングするダッシュボードを提供 • クラウドとオンプレミスの双方を単一のダッシュボードで可視化・監視することができるようになる • ネットワークの監視には CloudWatch メトリクスや、CloudWatch Events を利用して行う • SD-WAN パートナのソリューションを利用している場合、自動的に接続し管理対象として登録してくれる • 東京を含む各リージョンで利用可能

Slide 90

Slide 90 text

中国リージョンで Direct Connect GW が利用可能に • 中国国内でも AWS Direct Connect で Direct Connect Gateway を利用可能になった • Direct Connect 接続を中国国内の北京・寧夏リージョンの任意の VPC と紐付けることができる • 同時に詳細なコスト割り当て機能がリリースされ、データ転送を行ったアカウントにアウトバウンド通信量が割り当たるようになる • この機能は2019年11月1日利用分から有効 Beijjin Region Ningxia Region Corporate data center

Slide 91

Slide 91 text

AWS セキュリティ関連サービス防御検知対応自動化調査復旧識別 AWS Systems Manager AWS Config AWS Lambda Amazon CloudWatch Amazon Inspector Amazon Macie Amazon GuardDuty AWS Security Hub AWS IoT Device Defender KMS IAM AWS Single Sign-On Snapshot Archive AWS CloudTrail Amazon CloudWatch Amazon VPC AWS WAF AWS Shield AWS Secrets Manager AWS Firewall Manager AWS Organizations Personal Health Dashboard Amazon Route 53 AWS Direct Connect AWS Transit Gateway Amazon VPC PrivateLink AWS Step Functions Amazon Cloud Directory AWS CloudHSM AWS Certificate Manager AWS Control Tower AWS Service Catalog AWS Well- Architected Tool AWS Trusted Advisor Resource Access manager AWS Directory Service Amazon Cognito Amazon S3 Glacier AWS Security Hub AWS Systems Manager AWS CloudFormation AWS OpsWorks Amazon Detective

Slide 92

Slide 92 text

AWS Detective (Preview) • 潜在的なセキュリティ問題の迅速な原因分析や調査を容易にする • VPC Flow Logs や CloudTrail, GuardDuty のデータを分析し、インタラクティブなインタフェースを提供 • 何か問題が発見された場合、AWS セキュリティサービスやパートナー製品を利用して原因を特定したり、対処できる • リージョン: 東京・バージニア・オレゴン・オハイオ・アイルランド

Slide 93

Slide 93 text

Slide 94

Slide 94 text

AWS EMP for Windows Server • 古い Windows Server で稼働するアプリを現行バージョンに移行することを支援 • Windows Server 2003, 2008, 2008 R2 のアプリをAWSでサポートされるバージョンに開発作業なしで移行することをゴールとする • テクノロジと人的支援の両面から構成される • 古いアプリケーションを新しい OS で稼働させられるようパッケージングする EMP テクノロジを提供 • 一連のプロセスは APN パートナまたは AWS Professional Service が支援する設計

Slide 95

Slide 95 text

AWS Service Ready Program を発表 • AWSのユーザが、サードパーティのツールやアプリケーションが特定の AWSサービスに対応しているか否かを識別する新しい方法 • 現時点では PrivateLink と Redshift についての認定がローンチ済み。これに加えて RDS と Lambda についても認定プロセスを開始 • 認定取得には可用性とアーキテクチャに関して AWS のパートナ担当 SA によるレビューが必要で、認定製品が一定の品質を達成していることを確認することができる

Slide 96

Slide 96 text

まとめ • 高速化と超低レイテンシーのコンピューティング環境 • 機械学習サービスと SageMaker Studio • データベースと分析の強化 • ネットワークとセキュリティー管理の強化 • Windows マイグレーションサービス 117