2022/12/14 Amazon Aurora ZERO-ETL Integration Amazon Redshift JAWS-UG Osaka
ZJAWS-UG ⼤阪 / AWS re:Invent 2022 re:Capdaiki mori2022/12/14EROETL
View Slide
2⾃⼰紹介★Who am I ?所属・⽒名株式会社サーバーワークス / アプリケーションサービス部 /ディベロップメントサービス1課 / 課⻑森 ⼤樹 ([email protected])キャリア約20年、SIerでプログラマ/プロジェクトマネージャの実務経験後、2017年1⽉にサーバーワークスへ⼊社Java / C# / Pythonを中⼼に様々なプログラム⾔語で開発CICD環境の構築、運⽤などを⾏い、現在に⾄る資格PMP(Project Management Professional) 資格趣味スノーボード/お酒好きなAWSサービスAWS Lambda/Amazon Connect
⽬次1. ZERO ETLの概要2. ZERO ETL3. まとめ
40. その前にこの資料は、2022/12/14(⽔)時点のものです。現時点、限定プレビューです。
50. その前にこの資料は、2022/12/14(⽔)時点のものです。現時点、限定プレビューです。今年は、re:Inventに⾏ってません︕︕
1. ZERO ETLの概要
71. ZERO ETLの概要https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-aurora-zero-etl-integration-redshift/
81. ZERO ETL概要これまでは AWS LambdaやAWS Glueなどを使ってETL処理が必要であったAWS CloudAmazon AuroraAWS LambdaAWS GlueAmazon Redshift Amazon QuickSightAWS LambdaやAWS Glueでプログラムを書いてデータ取得/加⼯してAmazon Redshiftに登録
91. ZERO ETL概要これまでは AWS LambdaやAWS Glueなどを使ってETL処理が必要であったAWS CloudAmazon AuroraAWS LambdaAWS GlueAmazon Redshift Amazon QuickSightAWS LambdaやAWS Glueでプログラムを書いてデータ取得/加⼯してAmazon Redshiftに登録プログラム1⾏書くとバグが発⽣する可能性がUP︕
101. ZERO ETL概要これまでは AWS LambdaやAWS Glueなどを使ってETL処理が必要であったAWS CloudAmazon AuroraAWS LambdaAWS GlueAmazon Redshift Amazon QuickSightAWS LambdaやAWS Glueでプログラムを書いてデータ取得/加⼯してAmazon Redshiftに登録プログラム1⾏書くとバグが発⽣する可能性がUP︕
111. ZERO ETL概要これまでは AWS LambdaやAWS Glueなどを使ってETL処理が必要であったAWS CloudAmazon AuroraAWS LambdaAWS GlueAmazon Redshift Amazon QuickSightこれがZEROETL
121. ZERO ETLの概要https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-aurora-zero-etl-integration-redshift/
131. ZERO ETL概要ETL処理があるときは、サービスの起動やデータ取得、データ登録に時間が必要AWS CloudAmazon AuroraAWS LambdaAWS GlueAmazon Redshift Amazon QuickSightAWS LambdaやAWS Glueの起動やデータ取得処理の実⾏時間、Amazon Redshiftへのデータ登録時間これからが必要になる
141. ZERO ETL概要ETL処理があるときは、サービスの起動やデータ取得、データ登録に時間が必要AWS CloudAmazon AuroraAWS LambdaAWS GlueAmazon Redshift Amazon QuickSightAWS LambdaやAWS Glueの起動やデータ取得処理の実⾏時間、Amazon Redshiftへのデータ登録時間これからが必要になるZERO ETLで数秒以内にAmazon Redshiftに登録されてデータ利⽤が可能に︕
151. ZERO ETL概要⼀番気になったところAurora Serverless と Redshift Serverlessが使えるのか︖
161. ZERO ETL概要⼀番気になったところAurora Serverless と Redshift Serverlessが使えるのか︖Youtubeで公開されている動画の11:45からご覧をAWS re:Invent 2022 – [NEW] Enable operational analytics w/Amazon Aurora & Amazon Redshift (DAT328)https://youtu.be/H4JRz5yv694使えます︕
171. ZERO ETLの概要https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-aurora-zero-etl-integration-redshift/
2. ZERO ETL
192. ZERO ETL限定プレビューということで、申込みを12/9に実施まだ連絡なし...⾃分もやってみたい︕という⽅はこちらから登録をhttps://pages.awscloud.com/AmazonAurora-zeroETL-AmazonRedshift-Preview.html
202. ZERO ETL限定プレビューということで、申込みを12/9に実施まだ連絡なし...⾃分もやってみたい︕という⽅はこちらから登録をhttps://pages.awscloud.com/AmazonAurora-zeroETL-AmazonRedshift-Preview.htmlということで、残念ながらデモできず...
212. ZERO ETL限定プレビューということで、申込みを12/9に実施まだ連絡なし...⾃分もやってみたい︕という⽅はこちらから登録をhttps://pages.awscloud.com/AmazonAurora-zeroETL-AmazonRedshift-Preview.htmlということで、残念ながらデモできず...動いてるところは先程のYoutubeからも確認できますので、そちらをご覧下さい
3. まとめ
233. まとめAmazon AuroraからAmazon Redshiftへプログラムなしでデータ登録可能プログラムを書かなくていいということは開発効率もUPし、運⽤コストも低減Aurora Serverless と Redshift Serverlessも利⽤可能ケースにはよるかもしれませんが、こちらを利⽤することで運⽤コストが低減詳細はそれぞれのサービスの料⾦を参照ください限定プレビューなのでどこかでちょっと変わってGAされる現時点では製品開発としては利⽤せず、検証してみる程度でとは⾔え、すぐにできることなので、やって知⾒を得てアウトプットして、フィードバックGAが待ち遠しい︕
243. まとめAmazon AuroraからAmazon Redshiftへプログラムなしでデータ登録可能プログラムを書かなくていいということは開発効率もUPし、運⽤コストも低減Aurora Serverless と Redshift Serverlessも利⽤可能ケースにはよるかもしれませんが、こちらを利⽤することで運⽤コストが低減詳細はそれぞれのサービスの料⾦を参照ください限定プレビューなのでどこかでちょっと変わってGAされる現時点では製品開発としては利⽤せず、検証してみる程度でとは⾔え、すぐにできることなので、やって知⾒を得てアウトプットして、フィードバックGAが待ち遠しい︕最後に
253. まとめAmazon AuroraからAmazon Redshiftへプログラムなしでデータ登録可能プログラムを書かなくていいということは開発効率もUPし、運⽤コストも低減Aurora Serverless と Redshift Serverlessも利⽤可能ケースにはよるかもしれませんが、こちらを利⽤することで運⽤コストが低減詳細はそれぞれのサービスの料⾦を参照ください限定プレビューなのでどこかでちょっと変わってGAされる現時点では製品開発としては利⽤せず、検証してみる程度でとは⾔え、すぐにできることなので、やって知⾒を得てアウトプットして、フィードバックGAが待ち遠しい︕最後に「 」って名前がかっこいい︕ZEROETL
JAWS-UG Osaka2022/12/14 (Wed)re:Invent 2022 re:CapThank you for your attention