Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AWS re:Invent 2020 勉強会資料

fumiakiueno
December 14, 2020

AWS re:Invent 2020 勉強会資料

re:Invent開催中に途中振り返りとして勉強会用に作成した資料です。

fumiakiueno

December 14, 2020
Tweet

More Decks by fumiakiueno

Other Decks in Technology

Transcript

  1. AWS re:Invent 2020 勉強会 (2020/12/14)
    • Andy Jassyの心に残った言葉
    • 2週目(12/7~12/11)アップデート振り返り
    • 気になるアップデートの詳細

    View full-size slide

  2. Andy Jassyの心に残った言葉

    View full-size slide

  3. You’re going to have to reinvent yourself.

    View full-size slide

  4. • 生き残るには改革(reinvent)が必要
    • 改革のカルチャーを知って、利用できるテクノロジーを知る
    長い期間企業として生き残るのは難しい

    View full-size slide

  5. You can not fight gravity.

    View full-size slide

  6. • あらかじめうまくいくと思っていた内容は変わる
    • あなたの状況にかかわらず世の中は変わっていく
    • NetflixはDVDからストリーミングへ
    • Amazonは自社在庫から他社製品(third-party)販売へ
    • AWSは顧客のために変えてきた
    重力(世の中の変化)には逆らえない

    View full-size slide

  7. At AWS, we’re customer focused

    View full-size slide

  8. • 競合(competitor)フォーカス、商品(product)フォーカス
    な会社もある
    • 何が課題なのか顧客から直接聞いている
    • 何が本当に必要なのか理解しようとしている
    • ビジネスを変えれると思い、AWSサービスを立ち上げている
    AWSは顧客視点で考える

    View full-size slide

  9. You can build the capacity
    to get to the truth.

    View full-size slide

  10. • 必要なときに変化(change)をする
    • 変化を助けてくれる人を身の周りに
    • 何が重要なのか常に集中する
    • 素早く動く(Speed)
    • 自分が何ができるのか知っておく
    • 自分の周りで何が変わっているのが知っておく
    これらをすることで、自分と顧客をreinventできる
    未来を知るために

    View full-size slide

  11. 2週目(12/7~12/11)
    アップデート振り返り

    View full-size slide

  12. Compute、Network
    • ECR cross region replication
    コンテナイメージのリージョン間コピーが可能に。アカウント間コピーも可能
    • EC2に新たなネットワークメトリクス追加
    新たに5個追加。帯域上限を超えたIN/OUTパケット数、コネクション上限を超えたパケット数、
    DNSやメタデータなどのlinklocalへの上限を超えたパケット数、PPSの上限超えパケット数。
    • VPC Reachability Analyzer
    AWSサービス間のネットワーク経路を可視化できるサービス。画面上で通過するENIやSGが一目で見れるた
    め、ネットワークが繋がらない場合に役立つ。1分析あたり$0.10
    オレンジは気になるアップデート

    View full-size slide

  13. Developer tools、Security
    • Amplify CLIがFargateへのコンテナデプロイへ対応
    ソースコードを用意して、amplify init、configure、add、pushの数回のコマンドを実行するだけで、
    Fargateのサービスを公開できる。パイプラインも自動作成される
    • CodeGuru Profilerのメモリおよびヒープメモリ対応
    CPU、レイテンシーベースだったのがメモリも対応。ヒープメモリも
    • AWS Audit Manager
    監査を簡略化するためのサービス。GDPR、HIPPA、PCI DSSなど主要なコンプライアンスに対応
    AWSアカウント内のリソース状況を既存のサービスを使用して取得する。エビデンスを自動収集し、
    コンプライアンス標準に合わせた言葉も使用される。監査レポートの出力も可能。マルチアカウントにも対応

    View full-size slide

  14. Analytics
    • Amazon Redshift ML
    SQLコマンドで学習モデルの作成、学習、デプロイが可能。
    CREATE MODEL文でモデルが学習、デプロイされる。TARGETでラベルのカラムを指定する。
    その後SELECT文で予測結果を取得可能。裏ではSageMaker(autopilotベース)が動き、アルゴリズムは自動選定
    • Amazon Redshift Automatic Table Optimization
    クエリの状況を監視し、機械学習を使用してソートキーなどを自動選定、データの再配置も実施する
    • Amazon Redshift federated queryがRDS(MySQL)をサポート
    PostgreSQLだけでなくMySQLも追加
    • Amazon Redshift native console integration with partners
    パートナー企業とのやり取りがやりやすく
    • Amazon Redshift が JSON と semi-structured dataのサポート
    半構造化データやJSONもOKになった
    • Amazon Redshift data sharing
    Redshiftクラスター間でデータを共有するサービス
    • Amazon Redshift RA3.xlplus node
    小さいノードができた。これまでは4xlと16xl

    View full-size slide

  15. Analytics
    • Amazon Neptune ML
    グラフDBのNeptuneでもRedshift ML同様の仕組みで機械学習が使用可能に
    不正検知やレコメンデーションなどのユースケースで使用可能
    • Amazon EMR Studio
    EMR用のIDE。SageMakerでも使われているJupyter notebooksが使用されている。
    処理コードの開発がやりやすくなる
    • Amazon EMR on Amazon EKS
    EKS(Kubernetes)上でEMRのデータ処理を実行可能に
    • QuickSightがElasticsearchをサポート
    データソースとしてElasticSearchの指定が可能に

    View full-size slide

  16. ML/AI
    • Amazon HealthLake
    多種多様な医療データをAWS上に集約し、機械学習を使用して標準化、分析が可能。HIPPAにも対応
    • Amazon Lookout for Metrics
    CloudWatch Anomaly Detectionの他サービス対応版。数値データの異常なふるまいを機械学習を使用して検知
    CW、S3、RDS、Redshiftに加え、外部のSaaSにも対応(Salesforce, Google Analyticsなど)
    SNS経由で通知
    • Amazon Forecast Weather Index
    天気予報
    • Amazon SageMaker Edge Manager
    エッジデバイス上にデプロイされた学習モデルを管理、監視するためのサービス
    • Amazon SageMaker Clarify
    学習データの偏りを検知するサービス。
    たとえば画像の年齢判定のモデルを学習する場合に、データが特定の年代に偏ってないかなど
    • Deep Profiling for Amazon SageMaker Debugger
    昨年発表されたDebuggerの新機能。ハードウェアリソースの分析や処理の稼働状況を分析できる

    View full-size slide

  17. ML/AI
    • Amazon SageMaker JumpStart
    目的に合わせて、学習済みのさまざまな既存のモデルを選択してデプロイ可能
    不正検知や数値予測、自然言語処理や画像認識などさまざまなモデルあり
    そのままデプロイもできるが、既存の学習モデルを*ファインチューニングして、自分のモデルも開発可能。
    たとえば一般的な画像分類のモデルから商品分類のモデルを学習してデプロイすることが可能
    *「ファインチューニング」既存のモデル全体を再調整して新たなモデルを学習すること。転移学習は既存の出力に追加学習
    • Amazon Kendra incremental learning
    検索結果に応じて、継続的に増分のデータを使用した学習が可能
    • Amazon Kendora のcustom synonymsサポート
    ユーザ独自の特定の用語を登録可能
    • Amazon Kendra の Google Drive connector対応
    Google Driveをデータソースとしてサポート

    View full-size slide

  18. 気になるアップデートの詳細

    View full-size slide

  19. 新機能フォーカスではなく、
    課題フォーカスで新サービスの背景を考える

    View full-size slide

  20. AWS Proton – 背景・課題
    Source Build Test Deploy
    CodePipeline
    CodeCommit Github CodeBuild CodeBuild Lambda
    ECS EC2
    AWS Cloud
    VPC
    Application Application
    test
    IaC Template IaC Template
    Lint,SecurityCheck
    Test Stack
    Code
    CodeDeploy
    使用サービス
    アプリ
    インフラ
    • CI/CDパイプラインの例

    View full-size slide

  21. AWS Proton – 背景・課題
    Source Build Test Deploy
    CodePipeline
    CodeCommit Github CodeBuild CodeBuild Lambda
    ECS EC2
    AWS Cloud
    VPC
    Application Application
    test
    IaC Template IaC Template
    Lint,SecurityCheck
    Test Stack
    Code
    CodeDeploy
    使用サービス
    アプリ
    インフラ
    • CI/CDパイプラインの例

    View full-size slide

  22. AWS Proton – 背景・課題
    • マイクロサービスの例
    ALB
    Service Container Container
    Container Container
    Amazon RDS
    Lambda
    ALB
    Container Container
    Container Container
    Amazon RDS
    Amazon DynamoDB
    API Gateway
    VPC VPC

    View full-size slide

  23. AWS Proton – 背景・課題
    • サービス単位でパイプラインが必要
    ALB
    Service Container Container
    Container Container
    Amazon RDS
    Lambda
    ALB
    Container Container
    Container Container
    Amazon RDS
    Amazon DynamoDB
    API Gateway
    VPC VPC
    CodePipeline
    CodePipeline
    CodePipeline
    CodePipeline
    CodePipeline

    View full-size slide

  24. AWS Proton – 背景・課題
    • インフラのパイプライン管理
    ALB
    Service Container Container
    Container Container
    Amazon RDS
    Lambda
    ALB
    Container Container
    Container Container
    Amazon RDS
    Amazon DynamoDB
    API Gateway
    VPC VPC
    CodePipeline CodePipeline CodePipeline

    View full-size slide

  25. AWS Proton – 背景・課題
    • 本番、ステージング、開発・・

    View full-size slide

  26. AWS Proton – 背景・課題
    ツライ・・・・・
    パイプラインリソースはパイプ
    ライン管理できない

    View full-size slide

  27. AWS Proton – 概要
    • Protonでテンプレートの一元管理が可能
    • テンプレートのバージョン管理やデプロイ状況も見れる
    • パイプラインの管理もできる

    View full-size slide

  28. AWS Proton – 概要
    • Protonの画面

    View full-size slide

  29. AWS Protonに期待すること
    • テンプレートの標準化、バージョン管理
    • テンプレートのデプロイ状況の可視性UP
    • パイプラインテンプレートの管理がしやすくなる
    • テンプレートのデプロイを共通のUIで簡単に
    • アプリ開発者もデプロイを簡単に

    View full-size slide

  30. Aurora Serverless v2

    View full-size slide

  31. Aurora Serverless v2 – 背景・課題
    • Aurora:AWS独自のデータベース、独自ではあるがMySQLとPostgreSQL互換
    • コンピュート機能とストレージ機能が分離されている
    • 読み込み専用エンドポイントを15個まで作成でき、フェイルオーバーも兼務

    View full-size slide

  32. Aurora Serverless v2 – 背景・課題
    • ノードのキャパシティ管理、どうしてる?
    Writer:スケールUP/DOWN Reader:スケールアウト/イン
    追加or削除

    View full-size slide

  33. Aurora Serverless v2 – 背景・課題
    • ノードのキャパシティ管理、どうしてる?
    • インスタンスサイズ、リードレプリカの個数を決定する必要あり
    • 運用後の変更も本来は検討すべき
    Writer:スケールUP/DOWN Reader:スケールアウト/イン
    追加or削除
    サイズはどう決定する?
    個数はどう決定する?

    View full-size slide

  34. Aurora Serverless v2 – 背景・課題
    • 大体はピーク時のパフォーマンスを見越してインスタンスサイズを決定する
    • リソースの無駄が多くなる
    • また、問題なく稼働されていれば運用後は見直さないことも多い
    キャパシティはピークに合わせることが多い

    View full-size slide

  35. Aurora Serverless v2 – 概要
    • キャパシティをオートスケールしてくれる
    • 急激な高負荷にも対応
    • マルチAZにも対応

    View full-size slide

  36. Aurora Serverless v2 – 概要
    • オートスケールの例
    青:トランザクション数
    橙:Auroraのサイズ(ACU数)

    View full-size slide

  37. Aurora Serverless v2に期待すること
    • ノードのキャパシティ決定、管理からの解放→設計、管理タスクの削減
    • 無駄なリソース利用を無くし、利用料を削減する
    • (注意)本番利用時はまず検証を(現状プレビュー)
    • (注意)見積は難しくなるため、利用料算出時は注意

    View full-size slide

  38. AWS Glue Elastic Views

    View full-size slide

  39. AWS Glue Elastic Views – 背景・課題
    https://aws.amazon.com/jp/blogs/news/simplify-data-pipelines-with-aws-glue-automatic-code-generation-and-workflows/
    • GlueWorkflowによるETL処理の例
    • S3やDynamoDB、RDBなどから、分析用にRedshiftやElasticSearchに転送

    View full-size slide

  40. AWS Glue Elastic Views – 背景・課題
    https://aws.amazon.com/jp/blogs/news/simplify-data-pipelines-with-aws-glue-automatic-code-generation-and-workflows/
    • GlueWorkflowによるETL処理の例
    実行トリガー、間隔の設定
    ジョブコードの開発、
    リトライ管理、エラーハンドリン

    データ型変換の決定、管理

    View full-size slide

  41. AWS Glue Elastic Views – 背景・課題
    https://aws.amazon.com/jp/blogs/news/simplify-data-pipelines-with-aws-glue-automatic-code-generation-and-workflows/
    ツライ・・・・・・
    実行トリガー、間隔の設定
    ジョブコードの開発、
    リトライ管理、エラーハンドリン

    データ型変換の決定、管理

    View full-size slide

  42. AWS Glue Elastic Views – 概要
    • データソースをレプリケートし、マテリアライズドビューをコードなしで作成
    • セキュリティ面や整合性など、AWSが管理する部分が多い

    View full-size slide

  43. AWS Glue Elastic Views – 概要
    • Elastic Viewsの画面
    • GUIでポチポチ作れる

    View full-size slide

  44. AWS Glue Elastic Views – 概要
    • データのマッピングも自動で推奨してくれる

    View full-size slide

  45. AWS Glue Elastic Viewsに期待すること
    • コード開発が苦手な人でも手軽にETL処理を
    • ETL処理が手軽にできることで、データ分析基盤の構築も手軽になるかも
    • データの(ほぼ)リアルタイム同期が可能なので色々な用途に使えるかも

    View full-size slide