Tweet
Tweet

Slide 1

Slide 1 text

AWS re:Invent 2020 勉強会 (2020/12/14) • Andy Jassyの心に残った言葉 • 2週目（12/7～12/11）アップデート振り返り • 気になるアップデートの詳細

Slide 2

Slide 2 text

Andy Jassyの心に残った言葉

Slide 3

Slide 3 text

You’re going to have to reinvent yourself.

Slide 4

Slide 4 text

• 生き残るには改革（reinvent）が必要 • 改革のカルチャーを知って、利用できるテクノロジーを知る 長い期間企業として生き残るのは難しい

Slide 5

Slide 5 text

You can not fight gravity.

Slide 6

Slide 6 text

• あらかじめうまくいくと思っていた内容は変わる • あなたの状況にかかわらず世の中は変わっていく • NetflixはDVDからストリーミングへ • Amazonは自社在庫から他社製品（third-party)販売へ • AWSは顧客のために変えてきた 重力（世の中の変化）には逆らえない

Slide 7

Slide 7 text

At AWS, we’re customer focused

Slide 8

Slide 8 text

• 競合（competitor）フォーカス、商品（product）フォーカス な会社もある • 何が課題なのか顧客から直接聞いている • 何が本当に必要なのか理解しようとしている • ビジネスを変えれると思い、AWSサービスを立ち上げている AWSは顧客視点で考える

Slide 9

Slide 9 text

You can build the capacity to get to the truth.

Slide 10

Slide 10 text

• 必要なときに変化（change)をする • 変化を助けてくれる人を身の周りに • 何が重要なのか常に集中する • 素早く動く（Speed） • 自分が何ができるのか知っておく • 自分の周りで何が変わっているのが知っておく これらをすることで、自分と顧客をreinventできる 未来を知るために

Slide 11

Slide 11 text

2週目（12/7～12/11） アップデート振り返り

Slide 12

Slide 12 text

Compute、Network • ECR cross region replication コンテナイメージのリージョン間コピーが可能に。アカウント間コピーも可能 • EC2に新たなネットワークメトリクス追加 新たに5個追加。帯域上限を超えたIN/OUTパケット数、コネクション上限を超えたパケット数、 DNSやメタデータなどのlinklocalへの上限を超えたパケット数、PPSの上限超えパケット数。 • VPC Reachability Analyzer AWSサービス間のネットワーク経路を可視化できるサービス。画面上で通過するENIやSGが一目で見れるた め、ネットワークが繋がらない場合に役立つ。1分析あたり$0.10 オレンジは気になるアップデート

Slide 13

Slide 13 text

Developer tools、Security • Amplify CLIがFargateへのコンテナデプロイへ対応 ソースコードを用意して、amplify init、configure、add、pushの数回のコマンドを実行するだけで、 Fargateのサービスを公開できる。パイプラインも自動作成される • CodeGuru Profilerのメモリおよびヒープメモリ対応 CPU、レイテンシーベースだったのがメモリも対応。ヒープメモリも • AWS Audit Manager 監査を簡略化するためのサービス。GDPR、HIPPA、PCI DSSなど主要なコンプライアンスに対応 AWSアカウント内のリソース状況を既存のサービスを使用して取得する。エビデンスを自動収集し、 コンプライアンス標準に合わせた言葉も使用される。監査レポートの出力も可能。マルチアカウントにも対応

Slide 14

Slide 14 text

Analytics • Amazon Redshift ML SQLコマンドで学習モデルの作成、学習、デプロイが可能。 CREATE MODEL文でモデルが学習、デプロイされる。TARGETでラベルのカラムを指定する。 その後SELECT文で予測結果を取得可能。裏ではSageMaker（autopilotベース）が動き、アルゴリズムは自動選定 • Amazon Redshift Automatic Table Optimization クエリの状況を監視し、機械学習を使用してソートキーなどを自動選定、データの再配置も実施する • Amazon Redshift federated queryがRDS（MySQL）をサポート PostgreSQLだけでなくMySQLも追加 • Amazon Redshift native console integration with partners パートナー企業とのやり取りがやりやすく • Amazon Redshift が JSON と semi-structured dataのサポート 半構造化データやJSONもOKになった • Amazon Redshift data sharing Redshiftクラスター間でデータを共有するサービス • Amazon Redshift RA3.xlplus node 小さいノードができた。これまでは4xlと16xl

Slide 15

Slide 15 text

Analytics • Amazon Neptune ML グラフDBのNeptuneでもRedshift ML同様の仕組みで機械学習が使用可能に 不正検知やレコメンデーションなどのユースケースで使用可能 • Amazon EMR Studio EMR用のIDE。SageMakerでも使われているJupyter notebooksが使用されている。 処理コードの開発がやりやすくなる • Amazon EMR on Amazon EKS EKS（Kubernetes）上でEMRのデータ処理を実行可能に • QuickSightがElasticsearchをサポート データソースとしてElasticSearchの指定が可能に

Slide 16

Slide 16 text

ML/AI • Amazon HealthLake 多種多様な医療データをAWS上に集約し、機械学習を使用して標準化、分析が可能。HIPPAにも対応 • Amazon Lookout for Metrics CloudWatch Anomaly Detectionの他サービス対応版。数値データの異常なふるまいを機械学習を使用して検知 CW、S3、RDS、Redshiftに加え、外部のSaaSにも対応（Salesforce, Google Analyticsなど） SNS経由で通知 • Amazon Forecast Weather Index 天気予報 • Amazon SageMaker Edge Manager エッジデバイス上にデプロイされた学習モデルを管理、監視するためのサービス • Amazon SageMaker Clarify 学習データの偏りを検知するサービス。 たとえば画像の年齢判定のモデルを学習する場合に、データが特定の年代に偏ってないかなど • Deep Profiling for Amazon SageMaker Debugger 昨年発表されたDebuggerの新機能。ハードウェアリソースの分析や処理の稼働状況を分析できる

Slide 17

Slide 17 text

ML/AI • Amazon SageMaker JumpStart 目的に合わせて、学習済みのさまざまな既存のモデルを選択してデプロイ可能 不正検知や数値予測、自然言語処理や画像認識などさまざまなモデルあり そのままデプロイもできるが、既存の学習モデルを*ファインチューニングして、自分のモデルも開発可能。 たとえば一般的な画像分類のモデルから商品分類のモデルを学習してデプロイすることが可能 *「ファインチューニング」既存のモデル全体を再調整して新たなモデルを学習すること。転移学習は既存の出力に追加学習 • Amazon Kendra incremental learning 検索結果に応じて、継続的に増分のデータを使用した学習が可能 • Amazon Kendora のcustom synonymsサポート ユーザ独自の特定の用語を登録可能 • Amazon Kendra の Google Drive connector対応 Google Driveをデータソースとしてサポート

Slide 18

Slide 18 text

気になるアップデートの詳細

Slide 19

Slide 19 text

新機能フォーカスではなく、 課題フォーカスで新サービスの背景を考える

Slide 20

Slide 20 text

AWS Proton

Slide 21

Slide 21 text

AWS Proton – 背景・課題 Source Build Test Deploy CodePipeline CodeCommit Github CodeBuild CodeBuild Lambda ECS EC2 AWS Cloud VPC Application Application test IaC Template IaC Template Lint,SecurityCheck Test Stack Code CodeDeploy 使用サービス アプリ インフラ • CI/CDパイプラインの例

Slide 22

Slide 22 text

AWS Proton – 背景・課題 Source Build Test Deploy CodePipeline CodeCommit Github CodeBuild CodeBuild Lambda ECS EC2 AWS Cloud VPC Application Application test IaC Template IaC Template Lint,SecurityCheck Test Stack Code CodeDeploy 使用サービス アプリ インフラ • CI/CDパイプラインの例

Slide 23

Slide 23 text

AWS Proton – 背景・課題 • マイクロサービスの例 ALB Service Container Container Container Container Amazon RDS Lambda ALB Container Container Container Container Amazon RDS Amazon DynamoDB API Gateway VPC VPC

Slide 24

Slide 24 text

AWS Proton – 背景・課題 • サービス単位でパイプラインが必要 ALB Service Container Container Container Container Amazon RDS Lambda ALB Container Container Container Container Amazon RDS Amazon DynamoDB API Gateway VPC VPC CodePipeline CodePipeline CodePipeline CodePipeline CodePipeline

Slide 25

Slide 25 text

AWS Proton – 背景・課題 • インフラのパイプライン管理 ALB Service Container Container Container Container Amazon RDS Lambda ALB Container Container Container Container Amazon RDS Amazon DynamoDB API Gateway VPC VPC CodePipeline CodePipeline CodePipeline

Slide 26

Slide 26 text

AWS Proton – 背景・課題 • 本番、ステージング、開発・・

Slide 27

Slide 27 text

AWS Proton – 背景・課題 ツライ・・・・・ パイプラインリソースはパイプ ライン管理できない

Slide 28

Slide 28 text

AWS Proton – 概要 • Protonでテンプレートの一元管理が可能 • テンプレートのバージョン管理やデプロイ状況も見れる • パイプラインの管理もできる

Slide 29

Slide 29 text

AWS Proton – 概要 • Protonの画面

Slide 30

Slide 30 text

AWS Protonに期待すること • テンプレートの標準化、バージョン管理 • テンプレートのデプロイ状況の可視性UP • パイプラインテンプレートの管理がしやすくなる • テンプレートのデプロイを共通のUIで簡単に • アプリ開発者もデプロイを簡単に

Slide 31

Slide 31 text

Aurora Serverless v2

Slide 32

Slide 32 text

Aurora Serverless v2 – 背景・課題 • Aurora：AWS独自のデータベース、独自ではあるがMySQLとPostgreSQL互換 • コンピュート機能とストレージ機能が分離されている • 読み込み専用エンドポイントを15個まで作成でき、フェイルオーバーも兼務

Slide 33

Slide 33 text

Aurora Serverless v2 – 背景・課題 • ノードのキャパシティ管理、どうしてる？ Writer：スケールUP/DOWN Reader：スケールアウト/イン 追加or削除

Slide 34

Slide 34 text

Aurora Serverless v2 – 背景・課題 • ノードのキャパシティ管理、どうしてる？ • インスタンスサイズ、リードレプリカの個数を決定する必要あり • 運用後の変更も本来は検討すべき Writer：スケールUP/DOWN Reader：スケールアウト/イン 追加or削除 サイズはどう決定する？ 個数はどう決定する？

Slide 35

Slide 35 text

Aurora Serverless v2 – 背景・課題 • 大体はピーク時のパフォーマンスを見越してインスタンスサイズを決定する • リソースの無駄が多くなる • また、問題なく稼働されていれば運用後は見直さないことも多い キャパシティはピークに合わせることが多い

Slide 36

Slide 36 text

Aurora Serverless v2 – 概要 • キャパシティをオートスケールしてくれる • 急激な高負荷にも対応 • マルチAZにも対応

Slide 37

Slide 37 text

Aurora Serverless v2 – 概要 • オートスケールの例 青：トランザクション数 橙：Auroraのサイズ（ACU数）

Slide 38

Slide 38 text

Aurora Serverless v2に期待すること • ノードのキャパシティ決定、管理からの解放→設計、管理タスクの削減 • 無駄なリソース利用を無くし、利用料を削減する • （注意）本番利用時はまず検証を（現状プレビュー） • （注意）見積は難しくなるため、利用料算出時は注意

Slide 39

Slide 39 text

AWS Glue Elastic Views

Slide 40

Slide 40 text

AWS Glue Elastic Views – 背景・課題 https://aws.amazon.com/jp/blogs/news/simplify-data-pipelines-with-aws-glue-automatic-code-generation-and-workflows/ • GlueWorkflowによるETL処理の例 • S3やDynamoDB、RDBなどから、分析用にRedshiftやElasticSearchに転送

Slide 41

Slide 41 text

AWS Glue Elastic Views – 背景・課題 https://aws.amazon.com/jp/blogs/news/simplify-data-pipelines-with-aws-glue-automatic-code-generation-and-workflows/ • GlueWorkflowによるETL処理の例 実行トリガー、間隔の設定 ジョブコードの開発、 リトライ管理、エラーハンドリン グ データ型変換の決定、管理

Slide 42

Slide 42 text

AWS Glue Elastic Views – 背景・課題 https://aws.amazon.com/jp/blogs/news/simplify-data-pipelines-with-aws-glue-automatic-code-generation-and-workflows/ ツライ・・・・・・ 実行トリガー、間隔の設定 ジョブコードの開発、 リトライ管理、エラーハンドリン グ データ型変換の決定、管理

Slide 43

Slide 43 text

AWS Glue Elastic Views – 概要 • データソースをレプリケートし、マテリアライズドビューをコードなしで作成 • セキュリティ面や整合性など、AWSが管理する部分が多い

Slide 44

Slide 44 text

AWS Glue Elastic Views – 概要 • Elastic Viewsの画面 • GUIでポチポチ作れる

Slide 45

Slide 45 text

AWS Glue Elastic Views – 概要 • データのマッピングも自動で推奨してくれる

Slide 46

Slide 46 text

AWS Glue Elastic Viewsに期待すること • コード開発が苦手な人でも手軽にETL処理を • ETL処理が手軽にできることで、データ分析基盤の構築も手軽になるかも • データの（ほぼ）リアルタイム同期が可能なので色々な用途に使えるかも