速報 re:Invent 2021 ー Analyticsサービス最新アップデート

© 2021, Amazon Web Services, Inc. or its Affiliates.
平間⼤輔
アマゾンウェブサービスジャパン合同会社
2021年12⽉8⽇
速報 re:Invent 2021
ー Analyticsサービス最新アップデートー

View Slide

⾃⼰紹介
平間⼤輔
アマゾンウェブサービスジャパン
ソリューションアーキテクト
アナリティクス分野の技術⽀援を担当
好きな AWS サービス
• Amazon Redshift
• Amazon QuickSight

View Slide

Agenda
o re:Invent 2021 で発表された主なアップデート
o Serverless and on-demand analytics
o The data journey
o Appendix: Amazon Redshift その他のアップデート

View Slide

re:Invent 2021 で発表された
主なアップデート

View Slide

Serverless and
on-demand
analytics
P R E V I E W A V A I L A B L E T O D A Y
N E W
A M A Z O N R E D S H I F T
S E R V E R L E S S
A M A Z O N E M R
S E R V E R L E S S
A M A Z O N K I N E S I S
O N - D E M A N D
A M A Z O N M S K
S E R V E R L E S S
Adam Selipsky Keynote より

View Slide

Amazon
EMR
Serverless
クラスターを管理、調整、最適化、保護、運⽤する
ことなく、クラウドでペタバイト規模のデータ分析
を簡単に実⾏可能
Spark、Hive、Presto など、お好みのオープンソース
フレームワークを使⽤する⼤規模アプリケーションを
すばやく実⾏
アプリケーションの要件の変化に基づいて、必要に
応じてリソースを⾃動的にスケールアップおよびス
ケールダウン
データ分析の規模に応じて使⽤したリソースに対して
のみ料⾦をお⽀払い
Preview
https://aws.amazon.com/blogs/big-data/announcing-amazon-emr-serverless-preview-run-big-data-applications-without-managing-servers/

View Slide

Amazon MSK Serverless Preview
• コンピューティングリソースとストレージリソースを⾃動的
にプロビジョニングおよびスケーリングし、スループット
ベースでの料⾦で利⽤可能
• AWS管理コンソールで数回クリックするだけで、アプリケー
ションI / Oのスケーリングに応じて⾃動的にスケーリングす
る、安全で可⽤性の⾼いクラスターをセットアップ可能に
• 前払いや最低料⾦のない従量課⾦制。クラスターごとに1時
間ごとの料⾦を⽀払い、作成するパーティションごとに1時
間ごとの料⾦をお⽀払い。さらに、データスループットとス
トレージのGBごとにお⽀払い
• ⽶国東部（オハイオ州）で公開プレビュー
開発者が容量を管理しなくてもApache Kafkaを簡単に実⾏できる
新しいタイプのAmazon MSKクラスター
https://aws.amazon.com/jp/about-aws/whats-new/2021/11/amazon-msk-serverless-public-preview/

View Slide

Simple to use
キャパシティ管理の必要なく、ストリーミングデータ処理を簡素化
Flexible scaling
データ量の変化に応じてキャパシティを⾃動的に拡張
Automated high availability
デフォルトで可⽤性とフォールトトレランス機能がビルトイン
Lower your costs
ストリームに書き込まれ、読み取られ、保存されたデータについて
ギガバイトごとに課⾦
Amazon Kinesis Data Streams on demand
https://aws.amazon.com/jp/blogs/aws/amazon-kinesis-data-streams-on-demand-stream-data-at-scale-without-managing-capacity/
全リージョンで GA

View Slide

JDBC/ODBC Data API
Redshift
Compute
Cluster
Leader Node
Compute
Nodes
AWS
Nitro
Amazon Redshift architecture 進化の歴史
Compute
Storage Acceleration
2013

View Slide

JDBC/ODBC Data API
Redshift
Compute
Cluster
Leader Node
Compute
Nodes
AWS
Nitro
Compute
Spectrum
Node
Spectrum
Spectrum
Node
Spectrum
Node
Spectrum
Node
Amazon S3
2017

View Slide

JDBC/ODBC Data API
Redshift
Compute
Cluster
Leader Node
Compute
Nodes
AWS
Nitro
Compute
Auto-scaling clusters
Spectrum
Node
Spectrum
Spectrum
Node
Spectrum
Node
Spectrum
Node
Amazon S3
2019

View Slide

© 2021, Amazon Web Services, Inc. or its Affiliates. Data lake
JDBC/ODBC Data API
Redshift
Compute
Cluster
Leader Node
Compute
Nodes
AWS
Nitro
Compute
Redshift
Managed
Storage
Spectrum
Node
Spectrum
Spectrum
Node
Spectrum
Node
Spectrum
Node
Amazon S3
2019

View Slide

JDBC/ODBC Data API
Redshift
Compute
Cluster
Leader Node
Compute
Nodes
AWS
Nitro
Compute
Redshift
Managed
Storage
AQUA
Parallel execution
Node
AWS-
designed
processor
Node
AWS-
designed
processor
Node
AWS-
designed
processor
Node
AWS-
designed
processor
Spectrum
Node
Spectrum
Spectrum
Node
Spectrum
Node
Spectrum
Node
Amazon S3
2019

View Slide

JDBC/ODBC Data API
Redshift
Compute
Cluster
Leader Node
Compute
Nodes
AWS
Nitro
Compute
Compilation
Service
Global
Cache (*.o)
CaaS
Redshift
Managed
Storage
AQUA
Parallel execution
Node
AWS-
designed
processor
Node
AWS-
designed
processor
Node
AWS-
designed
processor
Node
AWS-
designed
processor
Spectrum
Node
Spectrum
Spectrum
Node
Spectrum
Node
Spectrum
Node
Amazon S3
2019

View Slide

JDBC/ODBC Data API
Redshift
Compute
Cluster
Leader Node
Compute
Nodes
AWS
Nitro
Compute
Operational
Databases
Query Live Data
Incremental MVs
Compilation
Service
Global
Cache (*.o)
CaaS
Redshift
Managed
Storage
AQUA
Parallel execution
Node
AWS-
designed
processor
Node
AWS-
designed
processor
Node
AWS-
designed
processor
Node
AWS-
designed
processor
Spectrum
Node
Spectrum
Spectrum
Node
Spectrum
Node
Spectrum
Node
Amazon S3
2019

View Slide

JDBC/ODBC Data API
Redshift
Compute
Cluster
Leader Node
Compute
Nodes
AWS
Nitro
Compute
Operational
Databases
Query Live Data
Incremental MVs
Compilation
Service
Global
Cache (*.o)
CaaS
Data
sharing
clusters
Redshift
Managed
Storage
AQUA
Parallel execution
Node
AWS-
designed
processor
Node
AWS-
designed
processor
Node
AWS-
designed
processor
Node
AWS-
designed
processor
Spectrum
Node
Spectrum
Spectrum
Node
Spectrum
Node
Spectrum
Node
Amazon S3
2021

View Slide

JDBC/ODBC Data API
Redshift
Compute
Cluster
Leader Node
Compute
Nodes
AWS
Nitro
Compute
Operational
Databases
Query Live Data
Incremental MVs
Compilation
Service
Global
Cache (*.o)
CaaS
Data
sharing
clusters
Amazon
SageMaker
Redshift ML
Redshift
Managed
Storage
AQUA
Parallel execution
Node
AWS-
designed
processor
Node
AWS-
designed
processor
Node
AWS-
designed
processor
Node
AWS-
designed
processor
Spectrum
Node
Spectrum
Spectrum
Node
Spectrum
Node
Spectrum
Node
Amazon S3
2021

View Slide

Amazon Redshift Serverless
アプリケーションをシンプルに
Amazon Redshift Serverless endpoint へ
接続すれば、すぐに実⾏可能
Amazon Redshift SQL のすべての機能が利⽤可能
Security and user management
Complex joins
Semi-structured data
Data sharing
Machine learning functions
Amazon Redshift Data API
JDBC/ODBC
Tools Your
applications
Amazon S3
data lake
Intelligent and dynamic
compute management
ML-based
workload monitoring
Automatic tuning
Automatic scaling
Automatic
workload management
Pay for use
Performance at scale
Automatic maintenance
AWS Lambda, AWS Cloud9, Java, Go,
PowerShell, Node.js, C#, Python, and Ruby
Amazon Redshift
managed storage
Amazon Aurora/
RDS databases
Data lake queries
Federated query
Durability and
transactional guarantees
JDBC/ODBC and Data API
And more
Preview

View Slide

クラスタの管理をせず⾼速DWHがすぐ利⽤可能に
• ノードタイプ、ノード数、ワークロード管理、スケーリン
グなどを実⾏する必要はなく、サービスが⾃動実⾏。デー
タを投⼊してすぐに分析処理を開始できる
• 処理能⼒はワークロードに応じて⾃動的にスケールアウ
ト・ダウンし、⾮アクティブのときは⾃動停⽌
• 利⽤量に応じた従量課⾦で利⽤できる
• 演算処理: 使⽤したRPU(Redshift Processing Unit) に応じて$0.70/RPU/時間
で秒単位課⾦。1RPU=2vCPU, 16GiBメモリ
• ストレージ: Amazon Redshiftマネージドストレージとスナップショットスト
レージの費⽤が発⽣
• 東京、バージニア、オハイオ、オレゴン、フランクフルト、
アイルランドでプレビュー開始
※料⾦は東京リージョンでのプレビューのもの
Preview

View Slide

主なユースケース: Easy analytics
Why
• インフラのことを考慮せずに簡単に始められる
• ノードタイプやノード数を選んでクラスタを作ったり管理したりする必要がない
• 利⽤例︓開発/テスト環境やアドホックなビジネス分析
• 使った分だけのお⽀払い

View Slide

主なユースケース: Variable workloads
Why
• ワークロードの変動に応じてスケールアップ/スケールダウンを⾏い、未知かつ予測不可能な
ニーズに対応
• 使った分だけのお⽀払い
query_count scanned_data

View Slide

主なユースケース: Periodic workloads
Why
• リソースのプロビジョニングとスケーリングを⾃動化し、コンピューティングの作成と管理を
⼿動で⾏う必要がない
• アイドル時間中の⽀払いは不要

View Slide

主なユースケース: Steady state with spikes
• ワークロードの急増に応じて、シームレスかつ⾃動的にスケールアップ/スケールダウンを実現
• ⼤規模環境でも⼀貫したパフォーマンス
Why

View Slide

Data sources People, apps
and devices
Governance
Data lakes
Machine
learning
Analytics
Databases
The
data
journey

View Slide

Build a secure data lake in days
AWS Lake Formation
Manage access control
from a single location
Move, store, catalog, and clean
your data faster with ML
Enforce security policies
across multiple services

View Slide

AWS Lake Formation - ⾏と列レベルのセキュリティ機能
Lake Formation で⼀元管理される
Amazon Simple Storage Service（S3）
テーブルでセルレベルのセキュリティポリ
シーを指定できるように、きめ細かいアクセ
スコントロールを提供
• データを⼤規模に確実に取り込み、管理
することが簡単に
• 列、⾏、セルへのアクセスを制限して、
個⼈情報 (PII) などの機密データを保護
できる
• リアルタイム監視と統合監査も可能
対応リージョン︓
US East (N. Virginia), US East (Ohio), US West (Oregon), Europe (Ireland), and Asia Pacific (Tokyo).
https://aws.amazon.com/jp/about-aws/whats-new/2021/11/aws-lake-formation-governed-tables-storage-security/

View Slide

AWS Lake Formation - Governed Tables
• ACID(不可分性、⼀貫性、独⽴性、永続性)のトランザク
ションをサポートする、新しいS3上のテーブルタイプ。信
頼性と⼀貫性をもってデータレイクにデータを挿⼊可能
• データレイクを最新の状態に保つと同時に、分析クエリを
実⾏し、構造化データ、⾮構造化データにかかわらず、
MLから⼀貫性のあるリアルタイムの結果を受け取ること
が可能に
• Amazon Redshift、Amazon EMR、Athena、AWS Glue、
Amazon QuickSight、Amazon SageMaker など、Lake
Formation と統合されたいくつかの AWS 分析および ML
サービスを通じてデータレイクにクエリ可能
対応リージョン︓
US East (N. Virginia), US East (Ohio), US West (Oregon), Europe (Ireland), and Asia Pacific (Tokyo).
https://aws.amazon.com/jp/about-aws/whats-new/2021/11/aws-lake-formation-governed-tables-storage-security/

View Slide

Amazon AthenaがLake Formationの新機能をサポート
• Amazon AthenaがLake Formationの新機能に対応し、
きめ細かなアクセス制御やACID準拠のテーブルからの
データ読み込みが可能になった
• Athenaの管理者はLake Formationのデータフィルタリ
ング機能を利⽤して、カラムレベル、⾏レベル、セルレ
ベルのアクセス権限を設定できる
• Lake FormationのGoverned Tableによって、Athena
から複数のユーザが同時にS3のオブジェクトを追加・
削除できるようになった AWS Lake Formation
Amazon Athena

View Slide

Amazon AthenaのACIDトランザクション
• Amazon AthenaのACIDトランザクションがパブリックプレビューとし
て利⽤可能に
• 独⾃のロック機構を設けることなく、複数の同時接続ユーザが整合
性を保ちながら、S3データの⾏レベルの変更を実⾏可能
• 書き込み、削除、更新、タイムトラベルオペレーションをAthenaの
コンソール、API、ODBC/JDBC経由で実⾏できる
• Apache Icebergをベースとしており、Icebergのテーブルフォーマット
をサポートするEMRやSparkなどと互換性がある
• バージニア、オレゴン、アイルランドのリージョンでプレビューが可能
Amazon Athena
Amazon Simple
Storage Service
(Amazon S3)
Client
Preview

View Slide

AWS Data Exchange for APIs
• サードパーティのデータをサブスクライブして利⽤できるAWS
Data ExchangeがAPI製品に対応
• お客様はAWSの認証やガバナンスの仕組みにのっとり、⼀貫性
のあるAPIやAWS SDKを利⽤してデータを取得、活⽤できる
• データプロバイダは⾃社のAPIをData Exchangeのカタログに登
録するだけで、数百万のAWSのお客様に対してサービス提供、
認証、資格管理、請求を実現できる
• 利⽤可能なAPI製品はデータカタログから参照し利⽤可能。費⽤は
AWSの請求書に統合される
• 東京をはじめ、AWS Data Exchangeが利⽤できる11のリージョン
にてご利⽤可能
AWS Data Exchange
Lambda
function
API Call

View Slide

まとめ
o サーバーレスによって、先⾏き不透明なビジネス環境でも
⼿軽に分析を開始できる
o 様々な分析の起点となるデータレイクが、よりセキュアに
より便利に
この他にも多くのサービスアップデートがございます。
Appendixでは、この中でも特にAmazon Redshiftの最新機能を
まとめています。ぜひご覧ください。

View Slide

Appendix:
Amazon Redshift
その他のアップデート

View Slide

同時実⾏スケーリングが書き込みクエリ対応
クラスタ同時実⾏性能のさらなる向上
https://aws.amazon.com/about-aws/whats-new/2021/11/preview-write-queries-amazon-redshift-concurrency-scaling/
• キューに滞留したクエリを⾃動的
に追加される同時実⾏⽤クラス
ターで処理することでクエリパ
フォーマンスを向上する既存機能
「同時実⾏スケーリング」のアッ
プデート
• これまで読み取りクエリのみ対応
だったが、新たにCOPY、INSERT、
UPDATE、DELETE などの書き込
みクエリに対応し、より幅広い
ワークロードをカバー
• 東京含む10リージョンで対応
（2021/12/8時点）
（Concurrency Scaling）
Preview

View Slide

Data Sharing機能クロスリージョン対応
異なるリージョンのシステム/企業間の容易なデータ連携
https://aws.amazon.com/jp/about-aws/whats-new/2021/11/amazon-redshift-region-data-sharing/?nc1=h_ls
• 異なるRedshift クラスター間でト
ランザクションに⼀貫性のあるラ
イブデータ共有を可能とする既存
機能「Data Sharing」のアップ
デート
• これまでもAWSアカウント内また
はAWSアカウント間共有は可能
だったが、新たにクロスリージョ
ン共有が可能に
• RA3タイプが利⽤可能なリージョ
ン全てで対応
(データ共有)
Preview

View Slide

Data Sharing機能新しいパフォーマンス強化
低レイテンシーと⾼い同時実⾏性が必要なワークロードにも効果的
https://aws.amazon.com/jp/about-aws/whats-new/2021/11/enhancements-amazon-redshift/
• データ共有におけるクエリに対し、
リザルトキャッシュと同時実⾏ス
ケーリングによる性能向上を実現
ü リザルトキャッシュ対応により、過去の
クエリ結果の有効なキャッシュを利⽤す
ることで 1秒未満の応答時間を実現
ü 同時実⾏スケーリング対応により、実質
的に無制限の同時実⾏ユーザーと共有
データに対する同時実⾏クエリをサポー
トし、⼀貫して⾼速なクエリパフォーマ
ンスを維持
(データ共有)
パフォーマンス強化→

View Slide

Automated Materialized View : AutoMV
頻繁に実⾏されるクエリの⾃動的なパフォーマンス向上
https://aws.amazon.com/jp/about-aws/whats-new/2021/12/amazon-redshift-preview-automated-materialized-view/
• Redshiftは継続的にワークロードをモニターし、
機械学習によりパフォーマンス⾯で最適なマテ
リアライズドビューを⾃動的に⽣成・管理
※⽣成後もモニターされ、不要と判断されれば⾃動DROP
• 従来はユーザ⾃⾝がワークロードをモニターお
よび分析して⼿動で⽣成および管理が必要だっ
たが、その作業が不要に
• すでに提供済みのクエリリライトと⾃動リフ
レッシュ機能と合わせ、ユーザは意識せずに最
も⾼速なクエリ結果を得られる
• 全てのリージョンでプレビュー開始
Preview

View Slide

デフォルトIAMロール
他のAWSサービスへのアクセスステップを簡素化
https://aws.amazon.com/jp/about-aws/whats-new/2021/11/amazon-redshift-default-iam-role/?nc1=h_ls
• クラスタ作成時、これまでは別途作成済みのIAM ROLEをARNにより指定するフローだった
が、クラスタ作成画⾯からデフォルトIAM ROLEを⾃動作成およびアタッチ可能に
• ⾃動作成されるIAM ROLEには、Amazon S3, Amazon SageMaker, AWS Lambda,
Amazon Aurora, and AWS Glueなどの他AWSサービスとの標準的な連携を想定したAWS
管理ポリシ※1が設定される
※1: AmazonRedshiftAllCommandsFullAccess ※ 次のリージョンは未対応: eu-south-1, af-south-1, and ap-northeast-3

View Slide

Query Editor v2 SQL Notebooksサポート
Markdownによる説明と複数のクエリ結果をまとめて整理/共有
https://aws.amazon.com/jp/about-aws/whats-new/2021/12/sql-notebooks-amazon-redshift-query-editor-v2/
• Markdown形式とSQL⼊⼒に対応した新
しい⼊⼒モードを追加
• 複数のクエリ結果や、クエリ結果への注
釈/説明などを１つのNotebook上に整
理できる
• 作成したNotebookは保存およびTeam
内で共有も可能
• データアナリスト/サイエンティストの
分析や結果整理、共有を効率化
• 東京含む6リージョンでプレビュー開始
Preview

View Slide

GrafanaからのRedshiftデータアクセス
• Amazon Managed Grafana ワーク
スペース上からRedshiftをデータソ
ースとしてクエリ実⾏やメトリクス
のモニタリング等が可能に
• Amazon Redshift プラグインには、
すぐに使⽤できるデフォルトのダッ
シュボードも付属しており、
Redshift クラスターのヘルスとパフ
ォーマンスのモニタリングも簡単に
開始できる
Amazon Managed Grafana がデータソースサポート

View Slide

GEOGRAPHYデータ型と新たな空間関数サポート
より多くの3rd Partyの空間および GIS アプリケーションのサポートが可能に
https://aws.amazon.com/about-aws/whats-new/2021/11/amazon-redshift-spatial-geography-datatype/
• GEOGRAPHY データ型は、地球の回転楕円体モデルで表すことができ、空間座標
系として緯度と経度を使⽤して参照できる地理的特徴を備えた空間データ向けに、
より⾼精度の結果を必要とするクエリで使⽤できる
• 既に対応済みのGEOMETRYデータ型と合わせて、空間分析の⼤部分を実⾏可能に
• ST_Intersection、ST_Centroid、ST_Transform、および ST_IsRing などの新
しい空間関数のサポートもリリース
対応空間関数リスト︓ https://docs.aws.amazon.com/redshift/latest/dg/geospatial-functions.html

View Slide

VARBYTE データ型サポート
可変⻑バイナリ値
https://aws.amazon.com/jp/about-aws/whats-new/2021/12/amazon-redshift-support-varbyte-data-type/
varbyte [ (n) ]
• 桁数nはデフォルトが64KBで最⼩１から最⼤1,024,000 (1MB)で定義可能
• VARBYTEの設定値は画⾯出⼒時はHEX(16進)形式で表⽰される
注意事項︓以下では未対応（2021/12/8時点）
• Redshift Spectrum、Redshift query editor v1/v2の⼀部利⽤ケース、Python/Lambda
UDFs、ソートキーまたは分散キーでの指定、APPROXIMATE COUNT DISTINCT演算、等

View Slide

RA3 Reserved Instance 移⾏機能
DC2からRA3へリザーブドインスタンスのスムーズな移⾏
https://aws.amazon.com/jp/about-aws/whats-new/2021/11/amazon-redshift-ra3-reserved-instance-migration/?nc1=h_ls
• 対象の DS2.xlarge および DS2.8xlarge クラスターを持ち、同じアカウント
でこれらのクラスターに対して購⼊した RI があり、クラスターサイズが要件
を満たしていれば、Amazon Redshift RA3 RI 移⾏機能が利⽤可能。
• DS2 RI クラスターは、等価な RA3 RI クラスターに、インスタンス間リサイ
ズまたはインスタンス間スナップショットリストア機能の⼀環として、移⾏で
きる。
• 新しいクラスターをカバーする RA3 RI は、サポートされている設定について
は、元の DS2 RI と同じ費⽤で、同じ条件の期間使⽤可能。
• 東京含む８つのリージョンで対応済みで12/20にさらに拡⼤予定。
（2021/12/8時点）

View Slide

Thank you!

View Slide

内容についての注意点
• 本資料では2021年12⽉時点でのサービス内容および価格に基づいたスライドや説明になっています。最新の情
報はAWS公式ウェブサイト(http://aws.amazon.com)にてご確認ください。
• 資料作成には⼗分注意しておりますが、資料内の価格とAWS公式ウェブサイト記載の価格に相違があった場合、
AWS公式ウェブサイトの価格を優先とさせていただきます。
• AWS does not offer binding price quotes. AWS pricing is publicly available and is subject to change in
accordance with the AWS Customer Agreement available at http://aws.amazon.com/agreement/. Any
pricing information included in this document is provided only as an estimate of usage charges for AWS
services based on certain information that you have provided. Monthly charges will be based on your
actual use of AWS services, and may vary from the estimates provided.

View Slide

速報 re:Invent 2021 ー Analyticsサービス最新アップデート

速報 re:Invent 2021 ー Analyticsサービス最新アップデート

Daisuke Hirama

More Decks by Daisuke Hirama

Other Decks in Technology

Featured

Transcript