© 2021, Amazon Web Services, Inc. or its Affiliates. 平間 ⼤輔 アマゾン ウェブ サービス ジャパン合同会社 2021年12⽉8⽇ 速報 re:Invent 2021 ー Analyticsサービス最新アップデート ー

© 2021, Amazon Web Services, Inc. or its Affiliates. ⾃⼰紹介 平間 ⼤輔 アマゾン ウェブ サービス ジャパン ソリューションアーキテクト アナリティクス分野の技術⽀援を担当 好きな AWS サービス • Amazon Redshift • Amazon QuickSight

© 2021, Amazon Web Services, Inc. or its Affiliates. Agenda o re:Invent 2021 で発表された主なアップデート o Serverless and on-demand analytics o The data journey o Appendix: Amazon Redshift その他のアップデート

© 2021, Amazon Web Services, Inc. or its Affiliates. re:Invent 2021 で発表された 主なアップデート

© 2021, Amazon Web Services, Inc. or its Affiliates. Serverless and on-demand analytics P R E V I E W A V A I L A B L E T O D A Y N E W A M A Z O N R E D S H I F T S E R V E R L E S S A M A Z O N E M R S E R V E R L E S S A M A Z O N K I N E S I S O N - D E M A N D A M A Z O N M S K S E R V E R L E S S Adam Selipsky Keynote より

© 2021, Amazon Web Services, Inc. or its Affiliates. Amazon EMR Serverless クラスターを管理、調整、最適化、保護、運⽤する ことなく、クラウドでペタバイト規模のデータ分析 を簡単に実⾏可能 Spark、Hive、Presto など、お好みのオープンソース フレームワークを使⽤する⼤規模アプリケーションを すばやく実⾏ アプリケーションの要件の変化に基づいて、必要に 応じてリソースを⾃動的にスケールアップおよびス ケールダウン データ分析の規模に応じて使⽤したリソースに対して のみ料⾦をお⽀払い Preview https://aws.amazon.com/blogs/big-data/announcing-amazon-emr-serverless-preview-run-big-data-applications-without-managing-servers/

© 2021, Amazon Web Services, Inc. or its Affiliates. Amazon MSK Serverless Preview • コンピューティングリソースとストレージリソースを⾃動的 にプロビジョニングおよびスケーリングし、スループット ベースでの料⾦で利⽤可能 • AWS管理コンソールで数回クリックするだけで、アプリケー ションI / Oのスケーリングに応じて⾃動的にスケーリングす る、安全で可⽤性の⾼いクラスターをセットアップ可能に • 前払いや最低料⾦のない従量課⾦制。クラスターごとに1時 間ごとの料⾦を⽀払い、作成するパーティションごとに1時 間ごとの料⾦をお⽀払い。さらに、データスループットとス トレージのGBごとにお⽀払い • ⽶国東部（オハイオ州）で公開プレビュー 開発者が容量を管理しなくてもApache Kafkaを簡単に実⾏できる 新しいタイプのAmazon MSKクラスター https://aws.amazon.com/jp/about-aws/whats-new/2021/11/amazon-msk-serverless-public-preview/

© 2021, Amazon Web Services, Inc. or its Affiliates. Simple to use キャパシティ管理の必要なく、ストリーミングデータ処理を簡素化 Flexible scaling データ量の変化に応じてキャパシティを⾃動的に拡張 Automated high availability デフォルトで可⽤性とフォールトトレランス機能がビルトイン Lower your costs ストリームに書き込まれ、読み取られ、保存されたデータについて ギガバイトごとに課⾦ Amazon Kinesis Data Streams on demand https://aws.amazon.com/jp/blogs/aws/amazon-kinesis-data-streams-on-demand-stream-data-at-scale-without-managing-capacity/ 全リージョンで GA

© 2021, Amazon Web Services, Inc. or its Affiliates. JDBC/ODBC Data API Redshift Compute Cluster Leader Node Compute Nodes AWS Nitro Amazon Redshift architecture 進化の歴史 Compute Storage Acceleration 2013

© 2021, Amazon Web Services, Inc. or its Affiliates. JDBC/ODBC Data API Redshift Compute Cluster Leader Node Compute Nodes AWS Nitro Amazon Redshift architecture 進化の歴史 Compute Storage Acceleration Spectrum Node Spectrum Spectrum Node Spectrum Node Spectrum Node Amazon S3 2017

© 2021, Amazon Web Services, Inc. or its Affiliates. JDBC/ODBC Data API Redshift Compute Cluster Leader Node Compute Nodes AWS Nitro Amazon Redshift architecture 進化の歴史 Compute Storage Acceleration Auto-scaling clusters Spectrum Node Spectrum Spectrum Node Spectrum Node Spectrum Node Amazon S3 2019

© 2021, Amazon Web Services, Inc. or its Affiliates. Data lake JDBC/ODBC Data API Redshift Compute Cluster Leader Node Compute Nodes AWS Nitro Amazon Redshift architecture 進化の歴史 Compute Storage Acceleration Auto-scaling clusters Redshift Managed Storage Spectrum Node Spectrum Spectrum Node Spectrum Node Spectrum Node Amazon S3 2019

© 2021, Amazon Web Services, Inc. or its Affiliates. Data lake JDBC/ODBC Data API Redshift Compute Cluster Leader Node Compute Nodes AWS Nitro Amazon Redshift architecture 進化の歴史 Compute Storage Acceleration Auto-scaling clusters Redshift Managed Storage AQUA Parallel execution Node AWS- designed processor Node AWS- designed processor Node AWS- designed processor Node AWS- designed processor Spectrum Node Spectrum Spectrum Node Spectrum Node Spectrum Node Amazon S3 2019

© 2021, Amazon Web Services, Inc. or its Affiliates. Data lake JDBC/ODBC Data API Redshift Compute Cluster Leader Node Compute Nodes AWS Nitro Amazon Redshift architecture 進化の歴史 Compute Storage Acceleration Compilation Service Global Cache (*.o) CaaS Auto-scaling clusters Redshift Managed Storage AQUA Parallel execution Node AWS- designed processor Node AWS- designed processor Node AWS- designed processor Node AWS- designed processor Spectrum Node Spectrum Spectrum Node Spectrum Node Spectrum Node Amazon S3 2019

© 2021, Amazon Web Services, Inc. or its Affiliates. Data lake JDBC/ODBC Data API Redshift Compute Cluster Leader Node Compute Nodes AWS Nitro Amazon Redshift architecture 進化の歴史 Compute Storage Acceleration Operational Databases Query Live Data Incremental MVs Compilation Service Global Cache (*.o) CaaS Auto-scaling clusters Redshift Managed Storage AQUA Parallel execution Node AWS- designed processor Node AWS- designed processor Node AWS- designed processor Node AWS- designed processor Spectrum Node Spectrum Spectrum Node Spectrum Node Spectrum Node Amazon S3 2019

© 2021, Amazon Web Services, Inc. or its Affiliates. Data lake JDBC/ODBC Data API Redshift Compute Cluster Leader Node Compute Nodes AWS Nitro Amazon Redshift architecture 進化の歴史 Compute Storage Acceleration Operational Databases Query Live Data Incremental MVs Compilation Service Global Cache (*.o) CaaS Data sharing clusters Auto-scaling clusters Redshift Managed Storage AQUA Parallel execution Node AWS- designed processor Node AWS- designed processor Node AWS- designed processor Node AWS- designed processor Spectrum Node Spectrum Spectrum Node Spectrum Node Spectrum Node Amazon S3 2021

© 2021, Amazon Web Services, Inc. or its Affiliates. Data lake JDBC/ODBC Data API Redshift Compute Cluster Leader Node Compute Nodes AWS Nitro Amazon Redshift architecture 進化の歴史 Compute Storage Acceleration Operational Databases Query Live Data Incremental MVs Compilation Service Global Cache (*.o) CaaS Data sharing clusters Auto-scaling clusters Amazon SageMaker Redshift ML Redshift Managed Storage AQUA Parallel execution Node AWS- designed processor Node AWS- designed processor Node AWS- designed processor Node AWS- designed processor Spectrum Node Spectrum Spectrum Node Spectrum Node Spectrum Node Amazon S3 2021

© 2021, Amazon Web Services, Inc. or its Affiliates. Amazon Redshift Serverless アプリケーションをシンプルに Amazon Redshift Serverless endpoint へ 接続すれば、すぐに実⾏可能 Amazon Redshift SQL のすべての機能が利⽤可能 Security and user management Complex joins Semi-structured data Data sharing Machine learning functions Amazon Redshift Data API JDBC/ODBC Tools Your applications Amazon S3 data lake Amazon Redshift Serverless Intelligent and dynamic compute management ML-based workload monitoring Automatic tuning Automatic scaling Automatic workload management Pay for use Performance at scale Automatic maintenance AWS Lambda, AWS Cloud9, Java, Go, PowerShell, Node.js, C#, Python, and Ruby Amazon Redshift managed storage Amazon Aurora/ RDS databases Data lake queries Federated query Durability and transactional guarantees JDBC/ODBC and Data API And more Preview

© 2021, Amazon Web Services, Inc. or its Affiliates. Amazon Redshift Serverless クラスタの管理をせず⾼速DWHがすぐ利⽤可能に • ノードタイプ、ノード数、ワークロード管理、スケーリン グなどを実⾏する必要はなく、サービスが⾃動実⾏。デー タを投⼊してすぐに分析処理を開始できる • 処理能⼒はワークロードに応じて⾃動的にスケールアウ ト・ダウンし、⾮アクティブのときは⾃動停⽌ • 利⽤量に応じた従量課⾦で利⽤できる • 演算処理: 使⽤したRPU(Redshift Processing Unit) に応じて$0.70/RPU/時間 で秒単位課⾦。1RPU=2vCPU, 16GiBメモリ • ストレージ: Amazon Redshiftマネージドストレージとスナップショットスト レージの費⽤が発⽣ • 東京、バージニア、オハイオ、オレゴン、フランクフルト、 アイルランドでプレビュー開始 ※料⾦は東京リージョンでのプレビューのもの Preview

© 2021, Amazon Web Services, Inc. or its Affiliates. 主なユースケース: Easy analytics Why • インフラのことを考慮せずに簡単に始められる • ノードタイプやノード数を選んでクラスタを作ったり管理したりする必要がない • 利⽤例︓開発/テスト環境やアドホックなビジネス分析 • 使った分だけのお⽀払い

© 2021, Amazon Web Services, Inc. or its Affiliates. 主なユースケース: Variable workloads Why • ワークロードの変動に応じてスケールアップ/スケールダウンを⾏い、未知かつ予測不可能な ニーズに対応 • 使った分だけのお⽀払い query_count scanned_data

© 2021, Amazon Web Services, Inc. or its Affiliates. 主なユースケース: Periodic workloads Why • リソースのプロビジョニングとスケーリングを⾃動化し、コンピューティングの作成と管理を ⼿動で⾏う必要がない • アイドル時間中の⽀払いは不要 query_count scanned_data

© 2021, Amazon Web Services, Inc. or its Affiliates. 主なユースケース: Steady state with spikes • ワークロードの急増に応じて、シームレスかつ⾃動的にスケールアップ/スケールダウンを実現 • ⼤規模環境でも⼀貫したパフォーマンス query_count scanned_data Why

© 2021, Amazon Web Services, Inc. or its Affiliates. Data sources People, apps and devices Governance Data lakes Machine learning Analytics Databases The data journey

© 2021, Amazon Web Services, Inc. or its Affiliates. Build a secure data lake in days AWS Lake Formation Manage access control from a single location Move, store, catalog, and clean your data faster with ML Enforce security policies across multiple services

© 2021, Amazon Web Services, Inc. or its Affiliates. AWS Lake Formation - ⾏と列レベルのセキュリティ機能 Lake Formation で⼀元管理される Amazon Simple Storage Service（S3） テーブルでセルレベルのセキュリティポリ シーを指定できるように、きめ細かいアクセ スコントロールを提供 • データを⼤規模に確実に取り込み、管理 することが簡単に • 列、⾏、セルへのアクセスを制限して、 個⼈情報 (PII) などの機密データを保護 できる • リアルタイム監視と統合監査も可能 対応リージョン︓ US East (N. Virginia), US East (Ohio), US West (Oregon), Europe (Ireland), and Asia Pacific (Tokyo). https://aws.amazon.com/jp/about-aws/whats-new/2021/11/aws-lake-formation-governed-tables-storage-security/

© 2021, Amazon Web Services, Inc. or its Affiliates. AWS Lake Formation - Governed Tables • ACID(不可分性、⼀貫性、独⽴性、永続性)の トランザク ションをサポートする、新しいS3上のテーブルタイプ。信 頼性と⼀貫性をもってデータレイクにデータを挿⼊可能 • データレイクを最新の状態に保つと同時に、分析クエリを 実⾏し、構造化データ、⾮構造化データにかかわらず、 MLから⼀貫性のあるリアルタイムの結果を受け取ること が可能に • Amazon Redshift、Amazon EMR、Athena、AWS Glue、 Amazon QuickSight、Amazon SageMaker など、Lake Formation と統合されたいくつかの AWS 分析および ML サービスを通じてデータレイクにクエリ可能 対応リージョン︓ US East (N. Virginia), US East (Ohio), US West (Oregon), Europe (Ireland), and Asia Pacific (Tokyo). https://aws.amazon.com/jp/about-aws/whats-new/2021/11/aws-lake-formation-governed-tables-storage-security/

© 2021, Amazon Web Services, Inc. or its Affiliates. Amazon AthenaがLake Formationの新機能をサポート • Amazon AthenaがLake Formationの新機能に対応し、 きめ細かなアクセス制御やACID準拠のテーブルからの データ読み込みが可能になった • Athenaの管理者はLake Formationのデータフィルタリ ング機能を利⽤して、カラムレベル、⾏レベル、セルレ ベルのアクセス権限を設定できる • Lake FormationのGoverned Tableによって、Athena から複数のユーザが同時にS3のオブジェクトを追加・ 削除できるようになった AWS Lake Formation Amazon Athena

© 2021, Amazon Web Services, Inc. or its Affiliates. Amazon AthenaのACIDトランザクション • Amazon AthenaのACIDトランザクションがパブリックプレビューとし て利⽤可能に • 独⾃のロック機構を設けることなく、複数の同時接続ユーザが整合 性を保ちながら、S3データの⾏レベルの変更を実⾏可能 • 書き込み、削除、更新、タイムトラベルオペレーションをAthenaの コンソール、API、ODBC/JDBC経由で実⾏できる • Apache Icebergをベースとしており、Icebergのテーブルフォーマット をサポートするEMRやSparkなどと互換性がある • バージニア、オレゴン、アイルランドのリージョンでプレビューが可能 Amazon Athena Amazon Simple Storage Service (Amazon S3) Client Preview

© 2021, Amazon Web Services, Inc. or its Affiliates. AWS Data Exchange for APIs • サードパーティのデータをサブスクライブして利⽤できるAWS Data ExchangeがAPI製品に対応 • お客様はAWSの認証やガバナンスの仕組みにのっとり、⼀貫性 のあるAPIやAWS SDKを利⽤してデータを取得、活⽤できる • データプロバイダは⾃社のAPIをData Exchangeのカタログに登 録するだけで、数百万のAWSのお客様に対してサービス提供、 認証、資格管理、請求を実現できる • 利⽤可能なAPI製品はデータカタログから参照し利⽤可能。費⽤は AWSの請求書に統合される • 東京をはじめ、AWS Data Exchangeが利⽤できる11のリージョン にてご利⽤可能 AWS Data Exchange Lambda function API Call

© 2021, Amazon Web Services, Inc. or its Affiliates. まとめ o サーバーレスによって、先⾏き不透明なビジネス環境でも ⼿軽に分析を開始できる o 様々な分析の起点となるデータレイクが、よりセキュアに より便利に この他にも多くのサービスアップデートがございます。 Appendixでは、この中でも特にAmazon Redshiftの最新機能を まとめています。ぜひご覧ください。

© 2021, Amazon Web Services, Inc. or its Affiliates. Appendix: Amazon Redshift その他のアップデート

© 2021, Amazon Web Services, Inc. or its Affiliates. 同時実⾏スケーリングが書き込みクエリ対応 クラスタ同時実⾏性能のさらなる向上 https://aws.amazon.com/about-aws/whats-new/2021/11/preview-write-queries-amazon-redshift-concurrency-scaling/ • キューに滞留したクエリを⾃動的 に追加される同時実⾏⽤クラス ターで処理することでクエリパ フォーマンスを向上する既存機能 「同時実⾏スケーリング」のアッ プデート • これまで読み取りクエリのみ対応 だったが、新たにCOPY、INSERT、 UPDATE、DELETE などの書き込 みクエリに対応し、より幅広い ワークロードをカバー • 東京含む10リージョンで対応 （2021/12/8時点） （Concurrency Scaling） Preview

© 2021, Amazon Web Services, Inc. or its Affiliates. Data Sharing機能 クロスリージョン 対応 異なるリージョンのシステム/企業間の容易なデータ連携 https://aws.amazon.com/jp/about-aws/whats-new/2021/11/amazon-redshift-region-data-sharing/?nc1=h_ls • 異なるRedshift クラスター間でト ランザクションに⼀貫性のあるラ イブデータ共有を可能とする既存 機能「Data Sharing」のアップ デート • これまでもAWSアカウント内また はAWSアカウント間共有は可能 だったが、新たにクロスリージョ ン 共有が可能に • RA3タイプが利⽤可能なリージョ ン全てで対応 (データ共有) Preview

© 2021, Amazon Web Services, Inc. or its Affiliates. Data Sharing機能 新しいパフォーマンス強化 低レイテンシーと⾼い同時実⾏性が必要なワークロードにも効果的 https://aws.amazon.com/jp/about-aws/whats-new/2021/11/enhancements-amazon-redshift/ • データ共有におけるクエリに対し、 リザルトキャッシュと同時実⾏ス ケーリングによる性能向上を実現 ü リザルトキャッシュ対応により、過去の クエリ結果の有効なキャッシュを利⽤す ることで 1秒未満の応答時間を実現 ü 同時実⾏スケーリング対応により、実質 的に無制限の同時実⾏ユーザーと共有 データに対する同時実⾏クエリをサポー トし、⼀貫して⾼速なクエリパフォーマ ンスを維持 (データ共有) パフォーマンス強化→

© 2021, Amazon Web Services, Inc. or its Affiliates. Automated Materialized View : AutoMV 頻繁に実⾏されるクエリの⾃動的なパフォーマンス向上 https://aws.amazon.com/jp/about-aws/whats-new/2021/12/amazon-redshift-preview-automated-materialized-view/ • Redshiftは継続的にワークロードをモニターし、 機械学習によりパフォーマンス⾯で最適なマテ リアライズドビューを⾃動的に⽣成・管理 ※⽣成後もモニターされ、不要と判断されれば⾃動DROP • 従来はユーザ⾃⾝がワークロードをモニターお よび分析して⼿動で⽣成および管理が必要だっ たが、その作業が不要に • すでに提供済みのクエリリライトと⾃動リフ レッシュ機能と合わせ、ユーザは意識せずに最 も⾼速なクエリ結果を得られる • 全てのリージョンでプレビュー開始 Preview

© 2021, Amazon Web Services, Inc. or its Affiliates. デフォルトIAMロール 他のAWSサービスへのアクセスステップを簡素化 https://aws.amazon.com/jp/about-aws/whats-new/2021/11/amazon-redshift-default-iam-role/?nc1=h_ls • クラスタ作成時、これまでは別途作成済みのIAM ROLEをARNにより指定するフローだった が、クラスタ作成画⾯からデフォルトIAM ROLEを⾃動作成およびアタッチ可能に • ⾃動作成されるIAM ROLEには、Amazon S3, Amazon SageMaker, AWS Lambda, Amazon Aurora, and AWS Glueなどの他AWSサービスとの標準的な連携を想定したAWS 管理ポリシ※1が設定される ※1: AmazonRedshiftAllCommandsFullAccess ※ 次のリージョンは未対応: eu-south-1, af-south-1, and ap-northeast-3

© 2021, Amazon Web Services, Inc. or its Affiliates. Query Editor v2 SQL Notebooksサポート Markdownによる説明と複数のクエリ結果をまとめて整理/共有 https://aws.amazon.com/jp/about-aws/whats-new/2021/12/sql-notebooks-amazon-redshift-query-editor-v2/ • Markdown形式とSQL⼊⼒に対応した新 しい⼊⼒モードを追加 • 複数のクエリ結果や、クエリ結果への注 釈/説明などを１つのNotebook上に整 理できる • 作成したNotebookは保存およびTeam 内で共有も可能 • データアナリスト/サイエンティストの 分析や結果整理、共有を効率化 • 東京含む6リージョンでプレビュー開始 Preview

© 2021, Amazon Web Services, Inc. or its Affiliates. GrafanaからのRedshiftデータアクセス • Amazon Managed Grafana ワーク スペース上からRedshiftをデータソ ースとしてクエリ実⾏やメトリクス のモニタリング等が可能に • Amazon Redshift プラグインには、 すぐに使⽤できるデフォルトのダッ シュボードも付属しており、 Redshift クラスターのヘルスとパフ ォーマンスのモニタリングも簡単に 開始できる Amazon Managed Grafana がデータソースサポート

© 2021, Amazon Web Services, Inc. or its Affiliates. GEOGRAPHYデータ型と新たな空間関数サポート より多くの3rd Partyの空間および GIS アプリケーションのサポートが可能に https://aws.amazon.com/about-aws/whats-new/2021/11/amazon-redshift-spatial-geography-datatype/ • GEOGRAPHY データ型は、地球の回転楕円体モデルで表すことができ、空間座標 系として緯度と経度を使⽤して参照できる地理的特徴を備えた空間データ向けに、 より⾼精度の結果を必要とするクエリで使⽤できる • 既に対応済みのGEOMETRYデータ型と合わせて、空間分析の⼤部分を実⾏可能に • ST_Intersection、ST_Centroid、ST_Transform、および ST_IsRing などの新 しい空間関数のサポートもリリース 対応空間関数リスト︓ https://docs.aws.amazon.com/redshift/latest/dg/geospatial-functions.html

© 2021, Amazon Web Services, Inc. or its Affiliates. VARBYTE データ型サポート 可変⻑バイナリ値 https://aws.amazon.com/jp/about-aws/whats-new/2021/12/amazon-redshift-support-varbyte-data-type/ varbyte [ (n) ] • 桁数nはデフォルトが64KBで最⼩１から最⼤1,024,000 (1MB)で定義可能 • VARBYTEの設定値は画⾯出⼒時はHEX(16進)形式で表⽰される 注意事項︓以下では未対応（2021/12/8時点） • Redshift Spectrum、Redshift query editor v1/v2の⼀部利⽤ケース、Python/Lambda UDFs、ソートキーまたは分散キーでの指定、APPROXIMATE COUNT DISTINCT演算、等

© 2021, Amazon Web Services, Inc. or its Affiliates. RA3 Reserved Instance 移⾏機能 DC2からRA3へリザーブドインスタンスのスムーズな移⾏ https://aws.amazon.com/jp/about-aws/whats-new/2021/11/amazon-redshift-ra3-reserved-instance-migration/?nc1=h_ls • 対象の DS2.xlarge および DS2.8xlarge クラスターを持ち、同じアカウント でこれらのクラスターに対して購⼊した RI があり、クラスターサイズが要件 を満たしていれば、Amazon Redshift RA3 RI 移⾏機能が利⽤可能。 • DS2 RI クラスターは、等価な RA3 RI クラスターに、インスタンス間リサイ ズまたはインスタンス間スナップショットリストア機能の⼀環として、移⾏で きる。 • 新しいクラスターをカバーする RA3 RI は、サポートされている設定について は、元の DS2 RI と同じ費⽤で、同じ条件の期間使⽤可能。 • 東京含む８つのリージョンで対応済みで12/20にさらに拡⼤予定。 （2021/12/8時点）

© 2021, Amazon Web Services, Inc. or its Affiliates. Thank you!

© 2021, Amazon Web Services, Inc. or its Affiliates. 内容についての注意点 • 本資料では2021年12⽉時点でのサービス内容および価格に基づいたスライドや説明になっています。最新の情 報はAWS公式ウェブサイト(http://aws.amazon.com)にてご確認ください。 • 資料作成には⼗分注意しておりますが、資料内の価格とAWS公式ウェブサイト記載の価格に相違があった場合、 AWS公式ウェブサイトの価格を優先とさせていただきます。 • AWS does not offer binding price quotes. AWS pricing is publicly available and is subject to change in accordance with the AWS Customer Agreement available at http://aws.amazon.com/agreement/. Any pricing information included in this document is provided only as an estimate of usage charges for AWS services based on certain information that you have provided. Monthly charges will be based on your actual use of AWS services, and may vary from the estimates provided.