$30 off During Our Annual Pro Sale. View Details »
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
おかえり!Tech-in AWS 20211213 大石
Search
Suguru Ohishi
December 08, 2021
Technology
0
140
おかえり!Tech-in AWS 20211213 大石
Suguru Ohishi
December 08, 2021
Tweet
Share
More Decks by Suguru Ohishi
See All by Suguru Ohishi
JBUG静岡#2プロジェクト管理勉強会宣伝LT
suguru0719
0
430
おかえり_Tech-in_AWS_20211213_全体公開大石.pdf
suguru0719
1
130
BigData-JAWS大石20211208_AQUA_.pdf
suguru0719
0
770
セキュリティ入門とハッキング概説.pdf
suguru0719
0
240
指への痕跡
suguru0719
0
76
MT570と出会うまで
suguru0719
0
62
銀河英雄伝説_勉強会_2_イゼルローンフォートレス訪問記20201126_公開版_.pdf
suguru0719
0
490
エリア88_勉強会_1_地上空母の可能性20200516.pdf
suguru0719
0
1.4k
銀河英雄伝説_勉強会_1_艦船認識20200429.pdf
suguru0719
0
810
Other Decks in Technology
See All in Technology
MediaPipe と ML Kit ってどう ちがうの? / What is the difference between MediaPipe and ML Kit?
yanzm
0
460
ゆるSRE勉強会 #8 組織的にSREが始まる中で意識したこと
abnoumaru
2
1k
ポストモーテムレビューをブレームレスに運営し有効な改善アクションを引き出すために必要だったこと / What is needed to operate postmortem blamelessly and elicit improvement actions
yamaguchitk333
0
180
PostgreSQL Conference Japan 2024 A4 Comparison of column-oriented access methods
nori_shinoda
0
120
Reliability Engineering at Studist
katsuhisa91
PRO
0
110
間違いだらけのポストモーテム - ホントに役立つレビューはこうだ!
jacopen
5
970
宇宙最速のランチRecap LT会(AWS re:Invent 2024)
watany
0
100
12/3(火)のBedrockアプデ速報(re:Invent 2024 Daily re:Cap #2 with AWS Heroes)
minorun365
PRO
4
130
検証と資産化を形にするプロダクト組織へ/tapple_pmconf2024
corin8823
1
8k
TimeTreeが経た3つの転換点 ー プロダクト成長過程でその時、その瞬間、何を考えてたか
ysmtysts
1
3k
asumikamというカンファレンスオーガナイザの凄さを語る / The Brilliance of Asumikam
tomzoh
1
290
農業用ダム監視を目的とした衛星SAR 干渉解析の適用性について
osgeojp
0
150
Featured
See All Featured
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
6
480
ReactJS: Keep Simple. Everything can be a component!
pedronauck
665
120k
The Power of CSS Pseudo Elements
geoffreycrofte
73
5.4k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
132
33k
No one is an island. Learnings from fostering a developers community.
thoeni
19
3k
Music & Morning Musume
bryan
46
6.2k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
27
2.1k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
247
1.3M
A Philosophy of Restraint
colly
203
16k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
31
2.7k
A Modern Web Designer's Workflow
chriscoyier
693
190k
Transcript
Re:Invent2021 気になるサービス、 胸アツなサービス 2021/12/13 おかえり!Tech-in AWS re:Invent2021 re:cap アイレット株式会社 ⼤⽯英
1/30
⾃⼰紹介 ⼤⽯ 英(Ohishi Suguru) アイレット株式会社 アジャイル事業部(旧“KDDIRET事業部”) データ分析基盤セクション セクションリーダー アイレットに⼊社後、現在はデータ分析基盤の 構築・運⽤チームのチームリーダに
ざっくり担当案件 ・認定AWSアカウント管理 ・RAIZIN/RYUUZIN/Tableau/Celeblus…等 ・ため蔵2 ・CS-Chat 2/30
本⽇のアジェンダ 気になるサービス(運⽤監視視点) 気になるサービス(環境構築視点) 気になるサービス(データ分析基盤視点) 気になるサービス(開発視点) 3/30
本⽇のアジェンダ 気になるサービス(運⽤監視視点) 気になるサービス(環境構築視点) 気になるサービス(データ分析基盤視点) 気になるサービス(開発視点) 4/30
気になるサービス(運⽤監視視点) 5/30 •Amazon CloudWatch Metrics Insights ・CloudWatchの各メトリクス履歴に対してSQLベースでクエリ可能 傾向やパターンをリアルタイムに特定し、分析することにより、課題解決までの時間を短縮することが期待 ・Metrics Insightsには標準的なSQL⾔語が付属
・ビジュアルクエリビルダを使ってMetrics Insightsを始めることも可能 ・Metrics Insightsは、Amazon Managed Grafanaコンソールでも利⽤可能 これまでのメトリクスによるアラート発砲より、更に 柔軟な検知設定が(CloudWatch内で)可能となる事を期待
気になるサービス(運⽤監視視点) 6/30 •(Update) AWS Compute Op=mizerがリソース効率のメトリクスを提供 ・コスト削減機会とパフォーマンス改善機会という2つの新しいダッシュボードレベルのメトリクスにより、 優先順位をつけ、コスト最適化機会を素早く特定することが可能 ・コスト削減機会メトリクス (saving
oppotunity) は、Compute OpCmizerの推奨事項を採⽤することで、アカウント レベル、リソースタイプレベル、リソースレベルで達成できるAmazon EC2、Amazon EBS、AWS Lambdaの ⽉間節約額を定量化 ・パフォーマンス改善機会メトリクスは、アカウントレベルおよびリソースタイプレベルで、プロビジョニング 不⾜のリソースの割合と数を定量化 ・リソースのボトルネックのリスクに対処するパフォーマンス改善の機会を評価し、優先順位を決定可能 単純なコスト削減のみならず、コスト効率の向上が出 来るようになるのか?
気になるサービス(運⽤監視視点) 7/30 •(Update) AWS Compute Op=mizerがインフラストラクチャメトリクスを強化 し、ルックバック期間を3ヶ⽉に延⻑ ・インフラストラクチャのメトリクスを強化し、EC2インスタンスとAuto Scalingグループの推奨品質を⾼める 有料の推奨環境設定機能を新たに提供
・この機能を有効にすると、メトリクスのルックバック期間が3カ⽉に延⻑ ・個々のリソース、またはAWSアカウントやAWS組織レベルで有効化可能 機能拡張はありがたいものの、“有料”な機能にどうし ても引っ掛かりが…(^_^;)
気になるサービス(運⽤監視視点) 8/30 •(Update) Amazon CodeGuru Reviewer、JavaおよびPythonリポジトリでハード コードされたシークレットを検出可能に ・ユーザー名やパスワード、データベースの接続⽂字列、トークン、AWSや他のサービスプロバイダーのAPIキー などがコード内にあるかどうかを特定可能 ・新しいリポジトリをAmazon
CodeGuru Reviewerに追加すると、secrets detectorがPythonとJavaのソースを⾃動的に 検索し、設定ファイルやドキュメントファイルに加えて、シークレットを探索 やらかし防⽌が簡単に?(^_^;)
気になるサービス(運⽤監視視点) 9/30 •(Update) Amazon EventBridgeでAmazon S3のイベント通知が利⽤可能 ・S3イベント通知をEventBridgeに直接配信するように設定可能 ・オブジェクトサイズ、キー名、時間範囲など、多くの追加メタデータフィールドでフィルタリング可能
気になるサービス(運⽤監視視点) 10/30 •(Update) AWS Backupが、Amazon S3のバックアップとリストアに対応 ・AWSアカウント全体のS3バケットとオブジェクトのバックアップとリストアを⼀元的に管理可能
気になるサービス(運⽤監視視点) 11/30 •(Update) Amazon S3がS3 Lifecycle、S3 Intelligent-Tiering、オブジェクトタグ、 オブジェクトアクセスコントロールリストの新しいS3イベント通知を追加 ・新しい通知は、バケット全体、または接頭辞や接尾辞を使⽤したオブジェクトのサブセットに対して⽣成する ことができ、Amazon
EventBridge、Amazon SNS、Amazon SQS、またはAWS Lambda関数に配信することを選択可能
本⽇のアジェンダ 気になるサービス(運⽤監視視点) 気になるサービス(環境構築視点) 気になるサービス(データ分析基盤視点) 気になるサービス(開発視点) 12/30
気になるサービス(環境構築視点) 13/30 •(Update) 継続的な脆弱性管理のための新しい「Amazon Inspector」を発表 ・新しいAmazon Inspectorでは、ワンクリックで組織全体のサービスを有効にすることが可能 ・Inspectorは⾃動的にすべてのワークロードを検出し、ソフトウェアの脆弱性や意図しないネットワークへの 露出がないかを継続的にスキャン可能 ・Amazon
Elas+c Container Registry(ECR)をサポートしたことで、ECRに格納されているコンテナイメージの 脆弱性を把握することが可能 ・Amazon Systems Manager(SSM)エージェントを、EC2の脆弱性スキャンに使⽤ ・情報は、Amazon Security Hubに転送され、Amazon EventBridgeにプッシュされることで、パートナー ソリューションとの連携の⾃動化を実現し、解決までの平均時間(MTTR)を短縮可能 環境構築時、商⽤引き渡し前の事前チェックに…
気になるサービス(環境構築視点) 14/30 •AWS Control Tower Account Factory for Terraform ・TerraformとAWS
Control Towerを統合するソフトウェアリリースパイプラインを使⽤し、すべてのアカウントで ⼀貫したガバナンスとコンプライアンスの要件をシンプルに達成するための機能 ・開発パイプラインを使⽤してTerraformを通じてAWSアカウントのプロビジョニングとカスタマイズを⾏うことが 可能 そもそも商⽤環境でTerraformが使えないと 意味が無いが…orz
気になるサービス(環境構築視点) 15/30 •(Update) Simplify Access Management for Data Stored in
Amazon S3 ・アクセス制御リスト(ACL)を無効化できる新しいAmazon S3オブジェクトの所有権の設定項⽬が追加 ・設定を適⽤すると、バケット内のすべてのオブジェクトは、バケットを作成したAWSアカウントが所有する ようになり、アクセスを許可するためのACLは使⽤されなくなる ・S3ポリシーを作成する際に、IAM Access Analyzerによるセキュリティ警告、エラー、提案を表⽰ S3のセキュリティ設定が⾰新される!?
気になるサービス(環境構築視点) 16/30 •Amazon VPC Network Access Analyzer ・Amazon VPC Network
Access Analyzerは、AWS上のリソースへの意図しないネットワークアクセスを特定する ことができる新機能 ・ネットワークアクセスがセキュリティやコンプライアンスのガイドラインを満たしているかどうかを検証可能
気になるサービス(環境構築視点) 17/30 •(Update) AWS Transit Gatewayがリージョン内ピアリングを導⼊し、クラウド 運⽤とネットワーク接続を簡素化 ・AWS Transit Gatewayはイントラ・リージョン・ピアリングをサポートし、同じAWSリージョン内の複数の
Transit Gateway間でピアリング接続を確⽴可能 ・この変更により、組織内のさまざまなユニットが独⾃のTransit Gatewayを導⼊し、それらを簡単に相互接続する ことができるため、管理上のオーバーヘッドが少なくなり、運⽤の⾃律性が向上 ・同じAWSリージョンにある別々のTransit Gatewayでサービスを提供しているネットワーク間のルーティングや 相互接続を簡素化可能 ・同⼀リージョン内のTransit Gatewayをネイティブにピアリングすることで、Transit VPCの作成や管理が不要にな り、 ルートテーブルの管理も簡素化され、設定ミスの確率も減少することが期待される ・リージョン内ピアリングを利⽤することで、柔軟なネットワークトポロジーを構築し、同⼀リージョン内の サードパーティやパートナーが管理するネットワークと⾃社のネットワークを簡単に統合可能
気になるサービス(環境構築視点) 18/30 •(Update) Amazon Virtual Private Cloud (VPC)がIP Address Manager
(IPAM)を発表、 AWS上でのIPアドレス管理の簡素化を⽀援 ・VPC IPAMでは、ルーティングやセキュリティのニーズに基づいてIPアドレスを簡単に整理し、シンプルな ビジネスルールを設定してIPの割り当てを管理 ・IPAMの使⽤で、VPCへのIPアドレス割り当てを⾃動化でき、維持管理が難しく時間のかかるスプレッドシート ベースのアプリケーション(Excelなど)や⾃社製のIPプランニング・アプリケーションを使⽤する必要がない ・IPAMは、AWSアカウント、Amazon VPC、ルーティングドメインやセキュリティドメインなどの重要なIPアドレス 情報を⾃動的に追跡するため、IPアドレスの⼿動追跡や、帳簿記録の必要がない ・IPアドレス使⽤状況のアラームを設定し、可視性を得ることでIPアドレスの問題を積極的に解決出来る ・IPAMは、IPアドレスのモニタリングデータを⾃動的に保存(最⼤3年間)。この履歴データを利⽤して、 ネットワークセキュリティやルーティングポリシーのレトロスペクティブ分析や監査を⾏うことが可能 ・IPAMは統⼀されたオペレーションビューを提供し、AWS Resource Access ManagerやAWS Organizationsを使って、 AWSリージョンや⾃分のアカウントにまたがるIPアドレスを管理可能 ・IP利⽤率の追跡、トラブルシューティング、監査などの⽇常的なIPアドレス管理活動をより効率的に、より速く ⾏うことが可能
本⽇のアジェンダ 気になるサービス(運⽤監視視点) 気になるサービス(環境構築視点) 気になるサービス(データ分析基盤視点) 気になるサービス(開発視点) 19/30
気になるサービス(データ分析基盤視点) 20/30 •Amazon RedshiQ Serverless ・データウェアハウスクラスタをプロビジョニングおよび管理することなく、アナリティクスを実⾏して拡張 するためのサーバーレスオプションを提供 ・データウェアハウスの容量を⾃動的にプロビジョニングし、インテリジェントにスケーリングすることで、 すべてのアナリティクスにクラス最⾼のパフォーマンスを提供 ・コストは秒単位のコンピュート時間に課⾦
・東京リージョンでプレビュー可能 “ため蔵2”で使⽤中のRedshi:を置き換え出来る!? 2021/12/8時点での追加情報(AWSJ平間さんによる) ・現時点では、技術的な詳細は公開されていない(AWSJ社内にも) ・AQUAが適⽤されるか否かは名⾔されていない
気になるサービス(データ分析基盤視点) 21/30 •Amazon EMR Serverless ・クラスターの設定や最適化、セキュリティの確保をすることなく、これらのフレームワークを使⽤して構築 されたアプリケーションを数回のクリックで実⾏可能 ・アプリケーションが必要とするコンピュートリソースとメモリーリソースは⾃動的にプロビジョニングおよび スケーリングされ、使⽤したリソースに対してのみ料⾦を⽀払う ・東京リージョンでプレビュー可能
“ため蔵2”で使⽤中のEMRを置き換え出来る!?
気になるサービス(データ分析基盤視点) 22/30 •Amazon Kinesis Data Streams On-Demand ・Kinesis Data Streamsの新しいキャパシティモードで、キャパシティプランニングなしで1分間にギガバイトの
書き込みおよび読み込みのスループットを提供可能 ・ワンクリックで新しいオンデマンドデータストリームを作成したり、既存のデータストリームをオンデマンド モードに変換したりすることができ、サーバー、ストレージ、スループットのプロビジョニングや管理を⾏う 必要がなくなる ・オンデマンドモードでは、プロビジョニングされたリソースではなく、消費されたスループットに対して コストが発⽣ ・全リージョンでGA
気になるサービス(データ分析基盤視点) 23/30 •Amazon AthenaがLake Forma=onの新機能をサポート ・Athena ACIDトランザクションにより、複数の同時ユーザーがAthenaのコンソール、API、ODBCおよびJDBC ドライバーからAmazon S3データに対して信頼性の⾼い⼀貫性を持った⾏レベルの変更を⾏うことが可能 ・Apache
Icebergテーブルフォーマットに基づいて構築されたAthena ACIDトランザクションは、Amazon EMRや Apache Sparkなど、Icebergテーブルフォーマットをサポートする他のサービスやエンジンとの互換性あり ・Athenaの管理者はLake FormaConのデータフィルタリ ング機能を利⽤して、カラムレベル、⾏レベル、 セルレベルのアクセス権限を設定できる ・東京リージョン未対応
気になるサービス(データ分析基盤視点) 24/30 •(Update) AWS Lake Forma=on、Governed Tables、ストレージの最適化、⾏レ ベルのセキュリティをサポート ・データの追加や変更が⾏われると、Lake FormaConが⾃動的にコンフリクトやエラーを管理し、すべてのユーザー
がデータの⼀貫したビューで確認可能 ・Governed Tablesがデータの保存⽅法を監視し、⾃動的に最適化するため、クエリ時間が⼀貫して⾼速化 ・⾏レベルとセルレベルのパーミッションをサポート ・Amazon Simple Storage Service(S3) テーブルでセルレベルのセキュリティポリシーを指定できるように、 きめ細かいアクセ スコントロールを提供 (列、⾏、セルへのアクセスを制限して、 個⼈情報 (PII) などの機密データを保護 できる ) ・ 東京リージョンで対応
気になるサービス(データ分析基盤視点) 25/30 •AWS Database Migration Service Fleet Advisor ・フリートの発⾒と分析を⾃動化することで、データベースとアナリティクスの移⾏計画を迅速に構築 ・機能メタデータ、スキーマオブジェクト、使⽤メトリクスの情報を含む、データベーススキーマとオブジェクト
を収集し、分析 ・ソースデータベースをAWSのターゲットサービスに移⾏する際の複雑さを判断し、カスタマイズされた移⾏ プランを構築可能 AWS Schema Conversion Tool (AWS SCT) で苦 労したから、半信半疑(^_^;)
気になるサービス(データ分析基盤視点) 26/30 •AWS AI for data analy=cs (AIDA) ・データサイエンスの経験が少ない⼈でも予測分析を導⼊できるよう⽀援するAWSパートナーのソリューション群 ・Amplitude,
Anaplan, Causality Link, Domo, Exasol, Interworks, Pegasystems, Provectus, Qlik, Snowflake, Tableau, TIBCO, and Workato
本⽇のアジェンダ 気になるサービス(運⽤監視視点) 気になるサービス(環境構築視点) 気になるサービス(データ分析基盤視点) 気になるサービス(開発視点) 27/30
気になるサービス(開発視点) 28/30 •(Update) Amazon Simple Queue Service(SQS)、デッドレターキュー(DLQ) のソースキューへのリドライブのサポート ・デッドレターキューのメッセージの再処理を⾏う実装が可能
気になるサービス(開発視点) 29/30 •Amazon CloudWatch RUM(Real-User Monitoring for Amazon CloudWatch) ・アプリケーションのクライアントサイドのパフォーマンスを監視
・Webアプリケーションのクライアントサイドの問題を特定してデバッグし、 エンドユーザーのデジタルエクスペリエンスを向上させることができるリアルユーザーモニタリング機能 ・CloudWatch RUMを使⽤すると、異なるロケーション、ブラウザ、およびデバイス間でアプリケーションの パフォーマンスをほぼリアルタイムで確認でき、パフォーマンスの最適化が可能 ・ページロードステップ、コアウェブバイタル、およびJavaScriptとH\pエラーを含むアプリケーションの パフォーマンスの異常を表⽰可能 ・問題によって影響を受けたセッションの数を把握し、修正すべき問題の優先順位付けも可能 ・CloudWatch ServiceLensやAWS X-Rayとの統合により、クライアントサイドからバックエンドのインフラ ストラクチャノードへのトレースを簡単に相関して確認可能 ・CloudWatch RUMの登場で、CloudWatchをエンドツーエンドのモニタリングに利⽤可能となった
気になるサービス(開発視点) 30/30 •Amazon CloudWatch Evidently ・アプリケーション開発者がアプリケーションスタック全体で新機能を安全に検証するための新機能 ・新機能を⽴ち上げる際、開発者は⼀部のユーザーにその機能を公開し、ページのロード時間やコンバージョン などの主要な指標を監視した後、⼀般的な使⽤のために安全にトラフィックを開放可能 ・主要なビジネス指標やパフォーマンス指標を監視しながら、制御された⽅法でトラフィックを開放するための 詳細なスケジューリング機能を提供
・起動時に問題が発⽣した場合、安全な状態にロールバックするためのアラームを定義可能