AWS re:Invent 2020 勉強会資料

re:Invent開催中に途中振り返りとして勉強会用に作成した資料です。

Transcript

1. AWS re:Invent 2020 勉強会 (2020/12/14) • Andy Jassyの心に残った言葉 • 2週目（12/7～12/11）アップデート振り返り • 気になるアップデートの詳細
2. Andy Jassyの心に残った言葉
3. You’re going to have to reinvent yourself.
4. • 生き残るには改革（reinvent）が必要 • 改革のカルチャーを知って、利用できるテクノロジーを知る 長い期間企業として生き残るのは難しい
5. You can not fight gravity.
6. • あらかじめうまくいくと思っていた内容は変わる • あなたの状況にかかわらず世の中は変わっていく • NetflixはDVDからストリーミングへ • Amazonは自社在庫から他社製品（third-party)販売へ • AWSは顧客のために変えてきた 重力（世の中の変化）には逆らえない
7. At AWS, we’re customer focused
8. • 競合（competitor）フォーカス、商品（product）フォーカス な会社もある • 何が課題なのか顧客から直接聞いている • 何が本当に必要なのか理解しようとしている • ビジネスを変えれると思い、AWSサービスを立ち上げている AWSは顧客視点で考える
9. You can build the capacity to get to the truth.
10. • 必要なときに変化（change)をする • 変化を助けてくれる人を身の周りに • 何が重要なのか常に集中する • 素早く動く（Speed） • 自分が何ができるのか知っておく • 自分の周りで何が変わっているのが知っておく これらをすることで、自分と顧客をreinventできる 未来を知るために
11. 2週目（12/7～12/11） アップデート振り返り
12. Compute、Network • ECR cross region replication コンテナイメージのリージョン間コピーが可能に。アカウント間コピーも可能 • EC2に新たなネットワークメトリクス追加 新たに5個追加。帯域上限を超えたIN/OUTパケット数、コネクション上限を超えたパケット数、 DNSやメタデータなどのlinklocalへの上限を超えたパケット数、PPSの上限超えパケット数。 • VPC Reachability Analyzer AWSサービス間のネットワーク経路を可視化できるサービス。画面上で通過するENIやSGが一目で見れるた め、ネットワークが繋がらない場合に役立つ。1分析あたり$0.10 オレンジは気になるアップデート
13. Developer tools、Security • Amplify CLIがFargateへのコンテナデプロイへ対応 ソースコードを用意して、amplify init、configure、add、pushの数回のコマンドを実行するだけで、 Fargateのサービスを公開できる。パイプラインも自動作成される • CodeGuru Profilerのメモリおよびヒープメモリ対応 CPU、レイテンシーベースだったのがメモリも対応。ヒープメモリも • AWS Audit Manager 監査を簡略化するためのサービス。GDPR、HIPPA、PCI DSSなど主要なコンプライアンスに対応 AWSアカウント内のリソース状況を既存のサービスを使用して取得する。エビデンスを自動収集し、 コンプライアンス標準に合わせた言葉も使用される。監査レポートの出力も可能。マルチアカウントにも対応
14. Analytics • Amazon Redshift ML SQLコマンドで学習モデルの作成、学習、デプロイが可能。 CREATE MODEL文でモデルが学習、デプロイされる。TARGETでラベルのカラムを指定する。 その後SELECT文で予測結果を取得可能。裏ではSageMaker（autopilotベース）が動き、アルゴリズムは自動選定 • Amazon Redshift Automatic Table Optimization クエリの状況を監視し、機械学習を使用してソートキーなどを自動選定、データの再配置も実施する • Amazon Redshift federated queryがRDS（MySQL）をサポート PostgreSQLだけでなくMySQLも追加 • Amazon Redshift native console integration with partners パートナー企業とのやり取りがやりやすく • Amazon Redshift が JSON と semi-structured dataのサポート 半構造化データやJSONもOKになった • Amazon Redshift data sharing Redshiftクラスター間でデータを共有するサービス • Amazon Redshift RA3.xlplus node 小さいノードができた。これまでは4xlと16xl
15. Analytics • Amazon Neptune ML グラフDBのNeptuneでもRedshift ML同様の仕組みで機械学習が使用可能に 不正検知やレコメンデーションなどのユースケースで使用可能 • Amazon EMR Studio EMR用のIDE。SageMakerでも使われているJupyter notebooksが使用されている。 処理コードの開発がやりやすくなる • Amazon EMR on Amazon EKS EKS（Kubernetes）上でEMRのデータ処理を実行可能に • QuickSightがElasticsearchをサポート データソースとしてElasticSearchの指定が可能に
16. ML/AI • Amazon HealthLake 多種多様な医療データをAWS上に集約し、機械学習を使用して標準化、分析が可能。HIPPAにも対応 • Amazon Lookout for Metrics CloudWatch Anomaly Detectionの他サービス対応版。数値データの異常なふるまいを機械学習を使用して検知 CW、S3、RDS、Redshiftに加え、外部のSaaSにも対応（Salesforce, Google Analyticsなど） SNS経由で通知 • Amazon Forecast Weather Index 天気予報 • Amazon SageMaker Edge Manager エッジデバイス上にデプロイされた学習モデルを管理、監視するためのサービス • Amazon SageMaker Clarify 学習データの偏りを検知するサービス。 たとえば画像の年齢判定のモデルを学習する場合に、データが特定の年代に偏ってないかなど • Deep Profiling for Amazon SageMaker Debugger 昨年発表されたDebuggerの新機能。ハードウェアリソースの分析や処理の稼働状況を分析できる
17. ML/AI • Amazon SageMaker JumpStart 目的に合わせて、学習済みのさまざまな既存のモデルを選択してデプロイ可能 不正検知や数値予測、自然言語処理や画像認識などさまざまなモデルあり そのままデプロイもできるが、既存の学習モデルを*ファインチューニングして、自分のモデルも開発可能。 たとえば一般的な画像分類のモデルから商品分類のモデルを学習してデプロイすることが可能 *「ファインチューニング」既存のモデル全体を再調整して新たなモデルを学習すること。転移学習は既存の出力に追加学習 • Amazon Kendra incremental learning 検索結果に応じて、継続的に増分のデータを使用した学習が可能 • Amazon Kendora のcustom synonymsサポート ユーザ独自の特定の用語を登録可能 • Amazon Kendra の Google Drive connector対応 Google Driveをデータソースとしてサポート
18. 気になるアップデートの詳細
19. 新機能フォーカスではなく、 課題フォーカスで新サービスの背景を考える
20. AWS Proton
21. AWS Proton – 背景・課題 Source Build Test Deploy CodePipeline CodeCommit Github CodeBuild CodeBuild Lambda ECS EC2 AWS Cloud VPC Application Application test IaC Template IaC Template Lint,SecurityCheck Test Stack Code CodeDeploy 使用サービス アプリ インフラ • CI/CDパイプラインの例
22. AWS Proton – 背景・課題 Source Build Test Deploy CodePipeline CodeCommit Github CodeBuild CodeBuild Lambda ECS EC2 AWS Cloud VPC Application Application test IaC Template IaC Template Lint,SecurityCheck Test Stack Code CodeDeploy 使用サービス アプリ インフラ • CI/CDパイプラインの例
23. AWS Proton – 背景・課題 • マイクロサービスの例 ALB Service Container Container Container Container Amazon RDS Lambda ALB Container Container Container Container Amazon RDS Amazon DynamoDB API Gateway VPC VPC
24. AWS Proton – 背景・課題 • サービス単位でパイプラインが必要 ALB Service Container Container Container Container Amazon RDS Lambda ALB Container Container Container Container Amazon RDS Amazon DynamoDB API Gateway VPC VPC CodePipeline CodePipeline CodePipeline CodePipeline CodePipeline
25. AWS Proton – 背景・課題 • インフラのパイプライン管理 ALB Service Container Container Container Container Amazon RDS Lambda ALB Container Container Container Container Amazon RDS Amazon DynamoDB API Gateway VPC VPC CodePipeline CodePipeline CodePipeline
26. AWS Proton – 背景・課題 • 本番、ステージング、開発・・
27. AWS Proton – 背景・課題 ツライ・・・・・ パイプラインリソースはパイプ ライン管理できない
28. AWS Proton – 概要 • Protonでテンプレートの一元管理が可能 • テンプレートのバージョン管理やデプロイ状況も見れる • パイプラインの管理もできる
29. AWS Proton – 概要 • Protonの画面
30. AWS Protonに期待すること • テンプレートの標準化、バージョン管理 • テンプレートのデプロイ状況の可視性UP • パイプラインテンプレートの管理がしやすくなる • テンプレートのデプロイを共通のUIで簡単に • アプリ開発者もデプロイを簡単に
31. Aurora Serverless v2
32. Aurora Serverless v2 – 背景・課題 • Aurora：AWS独自のデータベース、独自ではあるがMySQLとPostgreSQL互換 • コンピュート機能とストレージ機能が分離されている • 読み込み専用エンドポイントを15個まで作成でき、フェイルオーバーも兼務
33. Aurora Serverless v2 – 背景・課題 • ノードのキャパシティ管理、どうしてる？ Writer：スケールUP/DOWN Reader：スケールアウト/イン 追加or削除
34. Aurora Serverless v2 – 背景・課題 • ノードのキャパシティ管理、どうしてる？ • インスタンスサイズ、リードレプリカの個数を決定する必要あり • 運用後の変更も本来は検討すべき Writer：スケールUP/DOWN Reader：スケールアウト/イン 追加or削除 サイズはどう決定する？ 個数はどう決定する？
35. Aurora Serverless v2 – 背景・課題 • 大体はピーク時のパフォーマンスを見越してインスタンスサイズを決定する • リソースの無駄が多くなる • また、問題なく稼働されていれば運用後は見直さないことも多い キャパシティはピークに合わせることが多い
36. Aurora Serverless v2 – 概要 • キャパシティをオートスケールしてくれる • 急激な高負荷にも対応 • マルチAZにも対応
37. Aurora Serverless v2 – 概要 • オートスケールの例 青：トランザクション数 橙：Auroraのサイズ（ACU数）
38. Aurora Serverless v2に期待すること • ノードのキャパシティ決定、管理からの解放→設計、管理タスクの削減 • 無駄なリソース利用を無くし、利用料を削減する • （注意）本番利用時はまず検証を（現状プレビュー） • （注意）見積は難しくなるため、利用料算出時は注意
39. AWS Glue Elastic Views
40. AWS Glue Elastic Views – 背景・課題 https://aws.amazon.com/jp/blogs/news/simplify-data-pipelines-with-aws-glue-automatic-code-generation-and-workflows/ • GlueWorkflowによるETL処理の例 • S3やDynamoDB、RDBなどから、分析用にRedshiftやElasticSearchに転送
41. AWS Glue Elastic Views – 背景・課題 https://aws.amazon.com/jp/blogs/news/simplify-data-pipelines-with-aws-glue-automatic-code-generation-and-workflows/ • GlueWorkflowによるETL処理の例 実行トリガー、間隔の設定 ジョブコードの開発、 リトライ管理、エラーハンドリン グ データ型変換の決定、管理
42. AWS Glue Elastic Views – 背景・課題 https://aws.amazon.com/jp/blogs/news/simplify-data-pipelines-with-aws-glue-automatic-code-generation-and-workflows/ ツライ・・・・・・ 実行トリガー、間隔の設定 ジョブコードの開発、 リトライ管理、エラーハンドリン グ データ型変換の決定、管理
43. AWS Glue Elastic Views – 概要 • データソースをレプリケートし、マテリアライズドビューをコードなしで作成 • セキュリティ面や整合性など、AWSが管理する部分が多い
44. AWS Glue Elastic Views – 概要 • Elastic Viewsの画面 • GUIでポチポチ作れる
45. AWS Glue Elastic Views – 概要 • データのマッピングも自動で推奨してくれる
46. AWS Glue Elastic Viewsに期待すること • コード開発が苦手な人でも手軽にETL処理を • ETL処理が手軽にできることで、データ分析基盤の構築も手軽になるかも • データの（ほぼ）リアルタイム同期が可能なので色々な用途に使えるかも