Upgrade to Pro — share decks privately, control downloads, hide ads and more …

re:Invent 2022 re:Cap

fumiakiueno
December 23, 2022

re:Invent 2022 re:Cap

こちらのイベントでお話した資料です。
https://techplay.jp/event/883882

fumiakiueno

December 23, 2022
Tweet

More Decks by fumiakiueno

Other Decks in Technology

Transcript

  1. re:Invent基本情報 ⚫AWSが年に一度開催する世界規模の学習型カンファレンス ⚫5つの基調講演、多くの新サービスが発表される ⚫参加人数 5万人以上(*) ⚫セッション数 約2300個(*) ⚫期間 2022/11/28(月)~2022/12/2(金) ⚫会場規模が大きく、複数のホテルが会場

    (*)出典:AWS re:Invent 2022: All the highlights and key announcements from this year's cloud computing conference https://www.aboutamazon.com/news/aws/aws-reinvent-2022 出典:AWS re:Invent 2022 Campus https://reinvent.awsevents.com/campus/ #nncstudy
  2. Imagine a world that is ordered, synchronized, one by one

    一つずつ順序付けられた、同期的な世界 を想像してみよう #nncstudy
  3. 非同期なシステム構成 ショッピング カート 請求 注文 決済 ⚫コンポーネント間の結合度が低く、 障害発生時などのコンポーネント間の影 響が少ない ⚫機能追加およびシステム進化がしやすい

    EVENT BROKER レポート ⚫たとえばレポート機能を追加したければ、 コンポーネントを追加すれば良い システムも現実世界と同じくイベントドリブンで非同期にし、進化させるべき (という話がAmazon CTO Werner氏の基調講演でありました) #nncstudy
  4. Step Functions Distributed Map ⚫EMRやKafkaではなく、StepFunctions とLambdaでシンプルにMap並列処理を 実行したいとの声があった ⚫NOAA(アメリカ海洋大気庁)では気候 データを処理したいとの声があった ⚫同時実行数が最大40回であった

    Step Functionsが、本機能で 最大10,000回に対応 ⚫Step Functionsは多くのAWSサービスと 連携できるため、よりAWSサービスを活 用したイベントドリブンなアーキテク チャが可能になる 出典:AWS re:Invent 2022 - Keynote with Dr. Werner Vogels https://www.youtube.com/watch?v=RfvL_423a-I #nncstudy
  5. Amazon CodeCatalyst ⚫数クリックで以下を自動セットアップして くれる • リポジトリ • ソースコードサンプル • Issue管理の仕組み

    • CI/CDパイプライン • パイプラインのレポート機能 • プロジェクトメンバー管理の仕組み • IDEのセットアップ ⚫上記すべての機能を、CodeCatalystの画面 から管理できる #nncstudy
  6. AWS SimSpace Weaver 出典:AWS re:Invent 2022 - Keynote with Adam

    Selipsky https://www.youtube.com/watch?v=Xus8C2s5K9A ⚫空間をシミュレーションするためのAWSマネージドサービス #nncstudy
  7. データ活用とAWSサービス データ ETL AI/ML 分析 DWH • Amazon RDS •

    Amazon Aurora • Amazon DynamoDB • Amazon DocumentDB • Amazon Neptune • Amazon ElastiCache • Amazon S3 • Amazon EBS • Amazon EFS • Amazon FSx • AWS Glue • Amazon EMR • Amazon Athena • Amazon QuickSight • Amazon OpenSearch Service • Amazon Redshift • Amazon SageMaker • Amazon Personalize • Amazon Rekognition • Amazon Polly • Amazon Translate • Amazon Transcribe • Amazon Textract • Amazon Lookout • Amazon Fraud Detector New! サーバーレス オプション追加 #nncstudy
  8. ETL処理を開発するのには手間がかかる Amazon S3 AWS Glue Amazon S3 AWS Glue Amazon

    Aurora スクリプト 開発 DB接続 デプロイ管理 Amazon Redshift スキーマ 設定 データ整合性 チェック 外部サービス 接続設定 #nncstudy
  9. Amazon Aurora zero-ETL integration with Amazon Redshift Amazon Aurora Amazon

    Redshift ⚫AuroraのデータをシームレスにRedshiftへ連携 ⚫継続的にほぼリアルタイムでデータ連携ができる #nncstudy
  10. Amazon Redshift auto-copy from S3 Amazon Redshift ⚫S3のデータをRedshiftへ自動連携 ⚫S3へデータをアップしたら自動コピーするとい う設定も可能

    ⚫これまではロード処理の開発、起動設定を作りこ む必要があったが、AWSマネージドでコピー処 理を自動実行できる Amazon S3 #nncstudy
  11. AWS Glue Data Quality ⚫データレイク内のデータがルールに従っているか チェックできる ⚫値が指定範囲内か、指定の文字列の範囲か、指定 したキーの値が存在するか等色々なルールで チェックができる ⚫作成できるルールは公式ドキュメント参照

    https://docs.aws.amazon.com/glue/latest/dg/dqdl.html#dqdl-rule-types ⚫現状サポートされるソースはS3のみ ⚫Glueジョブ3.0に対応 出典:Join the Preview – AWS Glue Data Quality https://aws.amazon.com/jp/blogs/aws/join-the-preview-aws-glue-data-quality/ #nncstudy
  12. Amazon AppFlow 22個のコネクター新規追加 ⚫AWS外のSaaSのデータをAWSマネージドで AWS内へ連携できるAppFlow ⚫接続可能なサービスが22個追加 ⚫Google Analytics 4、Facebook 広告、Google

    広告など ⚫外部とのデータ連携がより簡単に 出典:Join the Preview – AWS Glue Data Quality https://aws.amazon.com/jp/blogs/aws/join-the-preview-aws-glue-data-quality/ #nncstudy
  13. Amazon QuickSight Qのアップデート ML-powered forcasting、Why questions ⚫未来のデータ予測についてもQが対応 ⚫これまでは現在のデータに関する情報しか得 られなかった ⚫たとえば未来1年間の売上予測は?といった

    質問が可能 出典:AWS re:Invent 2022 - Keynote with Adam Selipsky https://www.youtube.com/watch?v=Xus8C2s5K9A ⚫データに関する「理由」を聞いて、その回答 を返してくれる ⚫たとえばなぜ2022年1月に売上が下がった の?と質問すると原因の説明を応答してくれ る #nncstudy
  14. Amazon Datazone 出典:AWS re:Invent 2022 - [NEW LAUNCH] Amazon DataZone

    – Democratize data w/ governance (ANT344) https://www.youtube.com/watch?v=t3LTunhYys4 ⚫必要な人に必要なデータをより簡単に管理し ながら共有できるサービス ⚫利用者はポータル画面で必要なデータを検索 できる ⚫Athena、Redshiftへのクエリ実行も可能 ⚫SnowflakeやTableauなど外部のサービスも 連携可能 #nncstudy
  15. AWS Clean Rooms データ 広告、マーケティング 担当 ユーザー ユーザー ユーザー 個人情報

    データ活用 サービス1 サービス2 AWS Clean Rooms 個人情報保護 アクセス制御 データ結合 #nncstudy
  16. AWS Clean Rooms 出典:AWS re:Invent 2022 - Keynote with Adam

    Selipsky https://www.youtube.com/watch?v=Xus8C2s5K9A ⚫個人情報、機密情報を保護したClean Roomを簡単にセットアップ ⚫データの結合にも対応予定 ⚫元データの共有や公開は不要で、 AWS Clean Roomsが接続したデータを S3バケットへ出力する #nncstudy
  17. Amazon Redshift data sharing with AWS Lake Formation 出典:Centrally manage

    access and permissions for Amazon Redshift data sharing with AWS Lake Formation https://aws.amazon.com/jp/blogs/big-data/centrally-manage-access-and- permissions-for-amazon-redshift-data-sharing-with-aws-lake-formation/ ⚫AWS Lake Formationによるアクセス制御が、 Redshiftのdata sharingをサポート ⚫Redshiftを複数のアカウント間でシェアする場合 に、アクセス制御をLake formationで一元管理す ることができる #nncstudy
  18. セキュリティ関連のデータは色々な場所に保存される これをどう分析するのか? AWS CloudTrail Amazon GuardDuty Amazon Route53 AWS SecurityHub

    サードパーティの セキュリティソリューション • Trend Micro • CROWDSTRIKE • Palo Alto • splunk • Rapid7 など #nncstudy
  19. Amazon Security Lake AWS CloudTrail Amazon GuardDuty Amazon Route53 AWS

    SecurityHub サードパーティの セキュリティソリューション ⚫Open Cybersecurity Schema Framework(OCSF)という共通の フォーマットで1箇所に保存 ⚫Athena経由のクエリ実行、 分析サービスとの連携が可能 Amazon Athena サードパーティの 分析ソリューション #nncstudy
  20. 写真シェアアプリ ラスベガス Amazon Verified Permissions ①アップ Alice Bob ②シェア ③閲覧

    Permission ⚫Aliceは自分の写真を登録、閲覧、削除できる ⚫BobはAliceのシェアフォルダ内写真を閲覧できる ⚫BobはAliceの写真を削除できない アプリケーションコード内に実装していると・・ ⚫権限状態の確認時やルール変更の都度、 アプリケーションコードが必要になる ⚫監査においても状態の確認や、変更履歴などの 確認が難しくなる #nncstudy
  21. Verified Permission 写真シェアアプリ ラスベガス Amazon Verified Permissions ①アップ Alice Bob

    ②シェア ③閲覧 Permission 管理を外出し AWS CloudTrail 変更履歴は CloudTrailで閲覧 #nncstudy
  22. Amazon Verified Permissions 出典:Use policies to manage permissions w/Amazon Verified

    Permissions https://www.youtube.com/watch?v=k6pPcnLuOXY ⚫アプリケーションの権限管理機能を提供するサービス ⚫アプリケーションで重要となる認可の管理をアプリケー ションの外側で行い、柔軟な変更に対応できる ⚫アプリケーション経由の認可管理も可能 ⚫認可状況の監査もやりやすくなる ⚫API Gateway+Lambda Authorizerを使用して、 Verified Permissionsへアクセスし、許可/拒否を判断 ⚫Cedarと呼ばれるAWSが開発した言語を使用してポリ シーを記載する #nncstudy
  23. AWS Verified Access ⚫the AWS Zero Trust security principlesに 基づいて設計されたサービス

    ⚫VPN無しで、AWSアカウント内の企業アプリケーション へセキュアな状態で接続できる ⚫従来はゼロトラストを実現するために、 デバイス、VPN、アプリケーションと各場所でポリシー を定義する必要があり、大変だった ⚫AWS Verified Accessを使用して各ポリシーを1ヵ所で管 理できるように ⚫Cedarと呼ばれるAWSが開発した言語を使用してポリ シーを記載する ⚫接続先のエンドポイントとしてLoad balancerまたは Network interfaceを指定 出典:Introducing AWS Verified Access: Secure connections to your apps https://www.youtube.com/watch?v=Kkxn-bAIlnI #nncstudy
  24. Amazon ECS Service Connect Amazon ECS (Service) クエリ Amazon Route

    53 AWS Cloud Map リクエスト Elastic Load Balancing Amazon ECS (Service) 登録 登録 登録 リクエスト リクエスト Amazon ECS (Service) 登録 リクエスト AWS Cloud Map AWS App Mesh Discover 設定 設定 「Service Discovery」 ⚫ シンプル ⚫ トラフィックメトリクス無し 「ELB」 ⚫ Blue/Greenデプロイ、 トラフィックメトリクス ⚫ ELBの管理コスト発生 「App Mesh」 ⚫ リッチなトラフィック管理、 暗号化(mTLS) ⚫ 設定が複雑 envoy envoy Amazon ECS (Service) Amazon ECS (Service) Amazon ECS (Service) envoy envoy これまでのECSサービス間の接続方法選択肢・・ #nncstudy
  25. Amazon ECS Service Connect Amazon ECS (Service) クエリ Amazon Route

    53 AWS Cloud Map リクエスト Elastic Load Balancing Amazon ECS (Service) 登録 登録 登録 リクエスト リクエスト Amazon ECS (Service) 登録 リクエスト AWS Cloud Map AWS App Mes Discover 設定 設定 「Service Discovery」 ⚫ シンプル ⚫ トラフィックメトリクス無し 「ELB」 ⚫ Blue/Greenデプロイ、 トラフィックメトリクス ⚫ ELBの管理コスト発生 「App Mesh」 ⚫ リッチなトラフィック管理、 暗号化(mTLS) ⚫ 設定が複雑 envoy envoy Amazon ECS (Service) Amazon ECS (Service) Amazon ECS (Service) envoy envoy これまでのECSサービス間の接続方法選択肢・・ このあたりの ちょうど良い機 能がほしい #nncstudy
  26. Amazon ECS Service Connect Amazon ECS (Service) AWS Cloud Map

    リクエスト 登録 「Service Connect」 ⚫ ECS外での管理負荷なしで、ヘルスチェック、コネク ションドレイン、モニタリング強化の機能に対応 ⚫ 現状一部制約もあり、App Meshほどの拡張性は無い Service Connect agent Service Connect agent ECS Service Connect Service ELB相当の機能 リクエスト Service Connectの機能で ECS内から設定できる Amazon CloudWatch ⚫ HTTPレスポンスコード数 ⚫ リクエスト数 ⚫ コネクション数 などのメトリクスを自動提供 Amazon ECS (Service) #nncstudy
  27. Amazon RDS Blue/Green Deployment Amazon Aurora Amazon Aurora Blue Green

    出典:New – Fully Managed Blue/Green Deployments in Amazon Aurora and Amazon RDS https://aws.amazon.com/jp/blogs/aws/new-fully-managed-blue-green-deployments-in- amazon-aurora-and-amazon-rds/ ⚫アプリケーションのリリース方式として活用され てきたBlue/Green方式がRDSでも利用可能に ⚫複数インスタンスを用意し、任意のタイミングで 即時(1分以内)の切替ができる ⚫バージョンアップやパラメータ変更、スキーマ変 更(一部)をサービス影響少なく対応できる ⚫Aurora MySQL、RDS for MYSQL、RDS for MariaDBで対応 ⚫現時点でいくつか制約があり、RDS Proxy使用時 やCloudFormationでの変更は不可となっている https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/blue-green- deployments-overview.html#blue-green-deployments-limitations #nncstudy
  28. Amazon CloudWatch Internet Monitor 出典:Amazon CloudWatch Internet Monitor プレビュー https://aws.amazon.com/jp/blogs/news/cloudwatch-internet-monitor-end-to-end-visibility-

    into-internet-performance-for-your-applications/ ⚫インターネット側の接続パフォーマンスを状況表 示できる機能 ⚫世界各地の「遅い」を判断できる機能 ⚫地図上でパフォーマンス劣化が出ている場所が表 示される ⚫使用すべきリージョンやCloudFrontの利用など、 推奨事項も合わせて提示してくれる #nncstudy
  29. AWS Control Tower コントロール管理機能を強化 ⚫ガードレールがコントロールという名前に変更 ⚫Control Tower経由でSecurity Hubにルールを設定し、 各アカウントでスコアが表示できるように 組織的なSecurity

    Hubのコントロール設定が可能に ⚫コントロールの設定に合わせてSecurity Hubの有効 化も可能に ⚫CloudFormationデプロイ時にルールチェック、デプ ロイ禁止ができるプロアクティブなコントロールが新 規追加(手動操作やAPI実行には非対応) ※Configルールも同様にプロアクティブな ルール設定が可能に AWS CloudFormation Template Stack NGルールがあれば デプロイエラー #nncstudy
  30. Amazon Inspector Lambda関数の診断をサポート 出典:Amazon Inspector が AWS Lambda 関数をスキャンして脆弱性を検出するようになりました https://aws.amazon.com/jp/blogs/news/amazon-inspector-now-scans-aws-lambda-functions-for-vulnerab

    ⚫Lambda関数およびLambdaレイヤーの 脆弱性スキャン対応 ⚫Inspectorおよび本機能を有効にするだけで 自動診断 ⚫Lambda関数が更新されたときと、新しい脆 弱性(CVE)が公開されたときに自動再ス キャンしてくれる ⚫料金は1関数あたり$0.36(東京) #nncstudy