おかえり！Tech-in AWS 20211213 大石

Transcript

1. Re:Invent2021 気になるサービス、 胸アツなサービス 2021/12/13 おかえり！Tech-in AWS re:Invent2021 re:cap アイレット株式会社 ⼤⽯英 1/30
2. ⾃⼰紹介 ⼤⽯ 英（Ohishi Suguru） アイレット株式会社 アジャイル事業部（旧“KDDIRET事業部”） データ分析基盤セクション セクションリーダー アイレットに⼊社後、現在はデータ分析基盤の 構築・運⽤チームのチームリーダに ざっくり担当案件 ・認定AWSアカウント管理 ・RAIZIN/RYUUZIN/Tableau/Celeblus…等 ・ため蔵２ ・CS-Chat 2/30
3. 本⽇のアジェンダ 気になるサービス（運⽤監視視点） 気になるサービス（環境構築視点） 気になるサービス（データ分析基盤視点） 気になるサービス（開発視点） 3/30
4. 本⽇のアジェンダ 気になるサービス（運⽤監視視点） 気になるサービス（環境構築視点） 気になるサービス（データ分析基盤視点） 気になるサービス（開発視点） 4/30
5. 気になるサービス（運⽤監視視点） 5/30 •Amazon CloudWatch Metrics Insights ・CloudWatchの各メトリクス履歴に対してSQLベースでクエリ可能 傾向やパターンをリアルタイムに特定し、分析することにより、課題解決までの時間を短縮することが期待 ・Metrics Insightsには標準的なSQL⾔語が付属 ・ビジュアルクエリビルダを使ってMetrics Insightsを始めることも可能 ・Metrics Insightsは、Amazon Managed Grafanaコンソールでも利⽤可能 これまでのメトリクスによるアラート発砲より、更に 柔軟な検知設定が(CloudWatch内で)可能となる事を期待
6. 気になるサービス（運⽤監視視点） 6/30 •(Update) AWS Compute Op=mizerがリソース効率のメトリクスを提供 ・コスト削減機会とパフォーマンス改善機会という2つの新しいダッシュボードレベルのメトリクスにより、 優先順位をつけ、コスト最適化機会を素早く特定することが可能 ・コスト削減機会メトリクス (saving oppotunity) は、Compute OpCmizerの推奨事項を採⽤することで、アカウント レベル、リソースタイプレベル、リソースレベルで達成できるAmazon EC2、Amazon EBS、AWS Lambdaの ⽉間節約額を定量化 ・パフォーマンス改善機会メトリクスは、アカウントレベルおよびリソースタイプレベルで、プロビジョニング 不⾜のリソースの割合と数を定量化 ・リソースのボトルネックのリスクに対処するパフォーマンス改善の機会を評価し、優先順位を決定可能 単純なコスト削減のみならず、コスト効率の向上が出 来るようになるのか？
7. 気になるサービス（運⽤監視視点） 7/30 •(Update) AWS Compute Op=mizerがインフラストラクチャメトリクスを強化 し、ルックバック期間を3ヶ⽉に延⻑ ・インフラストラクチャのメトリクスを強化し、EC2インスタンスとAuto Scalingグループの推奨品質を⾼める 有料の推奨環境設定機能を新たに提供 ・この機能を有効にすると、メトリクスのルックバック期間が3カ⽉に延⻑ ・個々のリソース、またはAWSアカウントやAWS組織レベルで有効化可能 機能拡張はありがたいものの、“有料”な機能にどうし ても引っ掛かりが…(^_^;)
8. 気になるサービス（運⽤監視視点） 8/30 •(Update) Amazon CodeGuru Reviewer、JavaおよびPythonリポジトリでハード コードされたシークレットを検出可能に ・ユーザー名やパスワード、データベースの接続⽂字列、トークン、AWSや他のサービスプロバイダーのAPIキー などがコード内にあるかどうかを特定可能 ・新しいリポジトリをAmazon CodeGuru Reviewerに追加すると、secrets detectorがPythonとJavaのソースを⾃動的に 検索し、設定ファイルやドキュメントファイルに加えて、シークレットを探索 やらかし防⽌が簡単に？(^_^;)
9. 気になるサービス（運⽤監視視点） 9/30 •(Update) Amazon EventBridgeでAmazon S3のイベント通知が利⽤可能 ・S3イベント通知をEventBridgeに直接配信するように設定可能 ・オブジェクトサイズ、キー名、時間範囲など、多くの追加メタデータフィールドでフィルタリング可能
10. 気になるサービス（運⽤監視視点） 10/30 •(Update) AWS Backupが、Amazon S3のバックアップとリストアに対応 ・AWSアカウント全体のS3バケットとオブジェクトのバックアップとリストアを⼀元的に管理可能
11. 気になるサービス（運⽤監視視点） 11/30 •(Update) Amazon S3がS3 Lifecycle、S3 Intelligent-Tiering、オブジェクトタグ、 オブジェクトアクセスコントロールリストの新しいS3イベント通知を追加 ・新しい通知は、バケット全体、または接頭辞や接尾辞を使⽤したオブジェクトのサブセットに対して⽣成する ことができ、Amazon EventBridge、Amazon SNS、Amazon SQS、またはAWS Lambda関数に配信することを選択可能
12. 本⽇のアジェンダ 気になるサービス（運⽤監視視点） 気になるサービス（環境構築視点） 気になるサービス（データ分析基盤視点） 気になるサービス（開発視点） 12/30
13. 気になるサービス（環境構築視点） 13/30 •(Update) 継続的な脆弱性管理のための新しい「Amazon Inspector」を発表 ・新しいAmazon Inspectorでは、ワンクリックで組織全体のサービスを有効にすることが可能 ・Inspectorは⾃動的にすべてのワークロードを検出し、ソフトウェアの脆弱性や意図しないネットワークへの 露出がないかを継続的にスキャン可能 ・Amazon Elas+c Container Registry（ECR）をサポートしたことで、ECRに格納されているコンテナイメージの 脆弱性を把握することが可能 ・Amazon Systems Manager（SSM）エージェントを、EC2の脆弱性スキャンに使⽤ ・情報は、Amazon Security Hubに転送され、Amazon EventBridgeにプッシュされることで、パートナー ソリューションとの連携の⾃動化を実現し、解決までの平均時間（MTTR）を短縮可能 環境構築時、商⽤引き渡し前の事前チェックに…
14. 気になるサービス（環境構築視点） 14/30 •AWS Control Tower Account Factory for Terraform ・TerraformとAWS Control Towerを統合するソフトウェアリリースパイプラインを使⽤し、すべてのアカウントで ⼀貫したガバナンスとコンプライアンスの要件をシンプルに達成するための機能 ・開発パイプラインを使⽤してTerraformを通じてAWSアカウントのプロビジョニングとカスタマイズを⾏うことが 可能 そもそも商⽤環境でTerraformが使えないと 意味が無いが…orz
15. 気になるサービス（環境構築視点） 15/30 •(Update) Simplify Access Management for Data Stored in Amazon S3 ・アクセス制御リスト（ACL）を無効化できる新しいAmazon S3オブジェクトの所有権の設定項⽬が追加 ・設定を適⽤すると、バケット内のすべてのオブジェクトは、バケットを作成したAWSアカウントが所有する ようになり、アクセスを許可するためのACLは使⽤されなくなる ・S3ポリシーを作成する際に、IAM Access Analyzerによるセキュリティ警告、エラー、提案を表⽰ Ｓ３のセキュリティ設定が⾰新される！？
16. 気になるサービス（環境構築視点） 16/30 •Amazon VPC Network Access Analyzer ・Amazon VPC Network Access Analyzerは、AWS上のリソースへの意図しないネットワークアクセスを特定する ことができる新機能 ・ネットワークアクセスがセキュリティやコンプライアンスのガイドラインを満たしているかどうかを検証可能
17. 気になるサービス（環境構築視点） 17/30 •(Update) AWS Transit Gatewayがリージョン内ピアリングを導⼊し、クラウド 運⽤とネットワーク接続を簡素化 ・AWS Transit Gatewayはイントラ・リージョン・ピアリングをサポートし、同じAWSリージョン内の複数の Transit Gateway間でピアリング接続を確⽴可能 ・この変更により、組織内のさまざまなユニットが独⾃のTransit Gatewayを導⼊し、それらを簡単に相互接続する ことができるため、管理上のオーバーヘッドが少なくなり、運⽤の⾃律性が向上 ・同じAWSリージョンにある別々のTransit Gatewayでサービスを提供しているネットワーク間のルーティングや 相互接続を簡素化可能 ・同⼀リージョン内のTransit Gatewayをネイティブにピアリングすることで、Transit VPCの作成や管理が不要にな り、 ルートテーブルの管理も簡素化され、設定ミスの確率も減少することが期待される ・リージョン内ピアリングを利⽤することで、柔軟なネットワークトポロジーを構築し、同⼀リージョン内の サードパーティやパートナーが管理するネットワークと⾃社のネットワークを簡単に統合可能
18. 気になるサービス（環境構築視点） 18/30 •(Update) Amazon Virtual Private Cloud (VPC)がIP Address Manager (IPAM)を発表、 AWS上でのIPアドレス管理の簡素化を⽀援 ・VPC IPAMでは、ルーティングやセキュリティのニーズに基づいてIPアドレスを簡単に整理し、シンプルな ビジネスルールを設定してIPの割り当てを管理 ・IPAMの使⽤で、VPCへのIPアドレス割り当てを⾃動化でき、維持管理が難しく時間のかかるスプレッドシート ベースのアプリケーション(Excelなど)や⾃社製のIPプランニング・アプリケーションを使⽤する必要がない ・IPAMは、AWSアカウント、Amazon VPC、ルーティングドメインやセキュリティドメインなどの重要なIPアドレス 情報を⾃動的に追跡するため、IPアドレスの⼿動追跡や、帳簿記録の必要がない ・IPアドレス使⽤状況のアラームを設定し、可視性を得ることでIPアドレスの問題を積極的に解決出来る ・IPAMは、IPアドレスのモニタリングデータを⾃動的に保存（最⼤3年間）。この履歴データを利⽤して、 ネットワークセキュリティやルーティングポリシーのレトロスペクティブ分析や監査を⾏うことが可能 ・IPAMは統⼀されたオペレーションビューを提供し、AWS Resource Access ManagerやAWS Organizationsを使って、 AWSリージョンや⾃分のアカウントにまたがるIPアドレスを管理可能 ・IP利⽤率の追跡、トラブルシューティング、監査などの⽇常的なIPアドレス管理活動をより効率的に、より速く ⾏うことが可能
19. 本⽇のアジェンダ 気になるサービス（運⽤監視視点） 気になるサービス（環境構築視点） 気になるサービス（データ分析基盤視点） 気になるサービス（開発視点） 19/30
20. 気になるサービス（データ分析基盤視点） 20/30 •Amazon RedshiQ Serverless ・データウェアハウスクラスタをプロビジョニングおよび管理することなく、アナリティクスを実⾏して拡張 するためのサーバーレスオプションを提供 ・データウェアハウスの容量を⾃動的にプロビジョニングし、インテリジェントにスケーリングすることで、 すべてのアナリティクスにクラス最⾼のパフォーマンスを提供 ・コストは秒単位のコンピュート時間に課⾦ ・東京リージョンでプレビュー可能 “ため蔵２”で使⽤中のRedshi:を置き換え出来る！？ 2021/12/8時点での追加情報（AWSJ平間さんによる） ・現時点では、技術的な詳細は公開されていない（AWSJ社内にも） ・AQUAが適⽤されるか否かは名⾔されていない
21. 気になるサービス（データ分析基盤視点） 21/30 •Amazon EMR Serverless ・クラスターの設定や最適化、セキュリティの確保をすることなく、これらのフレームワークを使⽤して構築 されたアプリケーションを数回のクリックで実⾏可能 ・アプリケーションが必要とするコンピュートリソースとメモリーリソースは⾃動的にプロビジョニングおよび スケーリングされ、使⽤したリソースに対してのみ料⾦を⽀払う ・東京リージョンでプレビュー可能 “ため蔵２”で使⽤中のEMRを置き換え出来る！？
22. 気になるサービス（データ分析基盤視点） 22/30 •Amazon Kinesis Data Streams On-Demand ・Kinesis Data Streamsの新しいキャパシティモードで、キャパシティプランニングなしで1分間にギガバイトの 書き込みおよび読み込みのスループットを提供可能 ・ワンクリックで新しいオンデマンドデータストリームを作成したり、既存のデータストリームをオンデマンド モードに変換したりすることができ、サーバー、ストレージ、スループットのプロビジョニングや管理を⾏う 必要がなくなる ・オンデマンドモードでは、プロビジョニングされたリソースではなく、消費されたスループットに対して コストが発⽣ ・全リージョンでGA
23. 気になるサービス（データ分析基盤視点） 23/30 •Amazon AthenaがLake Forma=onの新機能をサポート ・Athena ACIDトランザクションにより、複数の同時ユーザーがAthenaのコンソール、API、ODBCおよびJDBC ドライバーからAmazon S3データに対して信頼性の⾼い⼀貫性を持った⾏レベルの変更を⾏うことが可能 ・Apache Icebergテーブルフォーマットに基づいて構築されたAthena ACIDトランザクションは、Amazon EMRや Apache Sparkなど、Icebergテーブルフォーマットをサポートする他のサービスやエンジンとの互換性あり ・Athenaの管理者はLake FormaConのデータフィルタリ ング機能を利⽤して、カラムレベル、⾏レベル、 セルレベルのアクセス権限を設定できる ・東京リージョン未対応
24. 気になるサービス（データ分析基盤視点） 24/30 •(Update) AWS Lake Forma=on、Governed Tables、ストレージの最適化、⾏レ ベルのセキュリティをサポート ・データの追加や変更が⾏われると、Lake FormaConが⾃動的にコンフリクトやエラーを管理し、すべてのユーザー がデータの⼀貫したビューで確認可能 ・Governed Tablesがデータの保存⽅法を監視し、⾃動的に最適化するため、クエリ時間が⼀貫して⾼速化 ・⾏レベルとセルレベルのパーミッションをサポート ・Amazon Simple Storage Service(S3) テーブルでセルレベルのセキュリティポリシーを指定できるように、 きめ細かいアクセ スコントロールを提供 （列、⾏、セルへのアクセスを制限して、 個⼈情報 (PII) などの機密データを保護 できる ） ・ 東京リージョンで対応
25. 気になるサービス（データ分析基盤視点） 25/30 •AWS Database Migration Service Fleet Advisor ・フリートの発⾒と分析を⾃動化することで、データベースとアナリティクスの移⾏計画を迅速に構築 ・機能メタデータ、スキーマオブジェクト、使⽤メトリクスの情報を含む、データベーススキーマとオブジェクト を収集し、分析 ・ソースデータベースをAWSのターゲットサービスに移⾏する際の複雑さを判断し、カスタマイズされた移⾏ プランを構築可能 AWS Schema Conversion Tool (AWS SCT) で苦 労したから、半信半疑(^_^;)
26. 気になるサービス（データ分析基盤視点） 26/30 •AWS AI for data analy=cs (AIDA) ・データサイエンスの経験が少ない⼈でも予測分析を導⼊できるよう⽀援するAWSパートナーのソリューション群 ・Amplitude, Anaplan, Causality Link, Domo, Exasol, Interworks, Pegasystems, Provectus, Qlik, Snowflake, Tableau, TIBCO, and Workato
27. 本⽇のアジェンダ 気になるサービス（運⽤監視視点） 気になるサービス（環境構築視点） 気になるサービス（データ分析基盤視点） 気になるサービス（開発視点） 27/30
28. 気になるサービス（開発視点） 28/30 •(Update) Amazon Simple Queue Service（SQS）、デッドレターキュー（DLQ） のソースキューへのリドライブのサポート ・デッドレターキューのメッセージの再処理を⾏う実装が可能
29. 気になるサービス（開発視点） 29/30 •Amazon CloudWatch RUM(Real-User Monitoring for Amazon CloudWatch) ・アプリケーションのクライアントサイドのパフォーマンスを監視 ・Webアプリケーションのクライアントサイドの問題を特定してデバッグし、 エンドユーザーのデジタルエクスペリエンスを向上させることができるリアルユーザーモニタリング機能 ・CloudWatch RUMを使⽤すると、異なるロケーション、ブラウザ、およびデバイス間でアプリケーションの パフォーマンスをほぼリアルタイムで確認でき、パフォーマンスの最適化が可能 ・ページロードステップ、コアウェブバイタル、およびJavaScriptとH\pエラーを含むアプリケーションの パフォーマンスの異常を表⽰可能 ・問題によって影響を受けたセッションの数を把握し、修正すべき問題の優先順位付けも可能 ・CloudWatch ServiceLensやAWS X-Rayとの統合により、クライアントサイドからバックエンドのインフラ ストラクチャノードへのトレースを簡単に相関して確認可能 ・CloudWatch RUMの登場で、CloudWatchをエンドツーエンドのモニタリングに利⽤可能となった
30. 気になるサービス（開発視点） 30/30 •Amazon CloudWatch Evidently ・アプリケーション開発者がアプリケーションスタック全体で新機能を安全に検証するための新機能 ・新機能を⽴ち上げる際、開発者は⼀部のユーザーにその機能を公開し、ページのロード時間やコンバージョン などの主要な指標を監視した後、⼀般的な使⽤のために安全にトラフィックを開放可能 ・主要なビジネス指標やパフォーマンス指標を監視しながら、制御された⽅法でトラフィックを開放するための 詳細なスケジューリング機能を提供 ・起動時に問題が発⽣した場合、安全な状態にロールバックするためのアラームを定義可能