Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
JAWS-UG Osaka ZERO-ETL/jawsug osaka zero-etl
Search
daiki.mori
December 14, 2022
Technology
0
33
JAWS-UG Osaka ZERO-ETL/jawsug osaka zero-etl
2022/12/14
Amazon Aurora ZERO-ETL Integration Amazon Redshift
JAWS-UG Osaka
daiki.mori
December 14, 2022
Tweet
Share
More Decks by daiki.mori
See All by daiki.mori
サーバーレスアーキテクチャを使って、小さく作って大きくする取り組み
daikimori
0
2.8k
AWS RDK 〜AWS ConfigのカスタムルールをLambdaで書くときに使うツールキット〜
daikimori
0
230
JAWS DAYS 2022/Osaka/プログラムは作ったら終わり︖︖ その後が⼤事なんだよ︕︕/20221008_X-Ray_LambdaPowertools
daikimori
0
83
データを受け取って、データを加工して、データを可視化する直前までのお話 / AWS DATA ETL
daikimori
0
150
[JAWS DAYS 2021] Amazon Connect and Serverless
daikimori
1
160
JAWS-UG Kansai Meetup(2020/11) Amazon Connectの今
daikimori
0
57
Playing in re:Invent
daikimori
0
77
Introduction of Amazon Connect
daikimori
0
24
Amazon VPC and Amazon EC2
daikimori
0
100
Other Decks in Technology
See All in Technology
KubeCon EU 2024 Recap “Kubernetes Policy Time Machine: Where to Next?”
ryysud
0
130
マルチアカウント環境への発見的統制の導入
ch1aki
1
1.3k
Databricks におけるデータエンジニアリング
databricksjapan
0
380
GraphQL 成熟度モデルの紹介と、プロダクトに当てはめた事例 / GraphQL maturity model
mh4gf
4
130
Databricks:『生成AI World Cup』のご案内
databricksjapan
2
150
ここが嬉しいABAC ここが辛いよABAC #再解説+補足編
masahirokawahara
0
230
Algyan イベント振り返り
linyixian
0
190
長期運用プロジェクトでのMySQLからTiDB移行の検証
colopl
2
690
4年前、あるじゃん老害エンジニアLT合戦に登壇、米国西海岸コンピュータ歴史博物館体験記の続編
toshi_atsumi
0
200
Aurora MySQL v3(MySQL8.0互換)の オンラインDDLの罠挙動を全バージョンで検証した
yutakikai
1
150
The CloudCompare project by Dr. Daniel Girardeau-Montaut
kentaitakura
0
510
レガシーをぶっ壊せ。AEONで始めるDevRelの話 / Qiita Night 2024-2-22
aeonpeople
3
150
Featured
See All Featured
The World Runs on Bad Software
bkeepers
PRO
61
6.7k
Fireside Chat
paigeccino
20
2.6k
Fantastic passwords and where to find them - at NoRuKo
philnash
36
2.5k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
220
21k
The Invisible Customer
myddelton
114
12k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
243
20k
How to train your dragon (web standard)
notwaldorf
72
5.1k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
18
6.9k
Facilitating Awesome Meetings
lara
41
5.6k
Side Projects
sachag
451
41k
Into the Great Unknown - MozCon
thekraken
10
980
Practical Orchestrator
shlominoach
181
9.7k
Transcript
Z JAWS-UG ⼤阪 / AWS re:Invent 2022 re:Cap daiki mori
2022/12/14 ERO ETL
2 ⾃⼰紹介 ★ Who am I ? 所属・⽒名 株式会社サーバーワークス /
アプリケーションサービス部 / ディベロップメントサービス1課 / 課⻑ 森 ⼤樹 (
[email protected]
) キャリア 約20年、SIerでプログラマ/プロジェクトマネージャの実務経験後、 2017年1⽉にサーバーワークスへ⼊社 Java / C# / Pythonを中⼼に様々なプログラム⾔語で開発 CICD環境の構築、運⽤などを⾏い、現在に⾄る 資格 PMP(Project Management Professional) 資格 趣味 スノーボード/お酒 好きなAWSサービス AWS Lambda/Amazon Connect
⽬次 1. ZERO ETLの概要 2. ZERO ETL 3. まとめ
4 0. その前に この資料は、2022/12/14(⽔)時点のものです。 現時点、限定プレビューです。
5 0. その前に この資料は、2022/12/14(⽔)時点のものです。 現時点、限定プレビューです。 今年は、re:Inventに⾏ってません︕︕
1. ZERO ETLの概要
7 1. ZERO ETLの概要 https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-aurora-zero-etl-integration-redshift/
8 1. ZERO ETL概要 これまでは AWS LambdaやAWS Glueなどを使ってETL処理が必要であった AWS Cloud
Amazon Aurora AWS Lambda AWS Glue Amazon Redshift Amazon QuickSight AWS LambdaやAWS Glueで プログラムを書いて データ取得/加⼯して Amazon Redshiftに登録
9 1. ZERO ETL概要 これまでは AWS LambdaやAWS Glueなどを使ってETL処理が必要であった AWS Cloud
Amazon Aurora AWS Lambda AWS Glue Amazon Redshift Amazon QuickSight AWS LambdaやAWS Glueで プログラムを書いて データ取得/加⼯して Amazon Redshiftに登録 プログラム1⾏書くと バグが発⽣する可能性がUP︕
10 1. ZERO ETL概要 これまでは AWS LambdaやAWS Glueなどを使ってETL処理が必要であった AWS Cloud
Amazon Aurora AWS Lambda AWS Glue Amazon Redshift Amazon QuickSight AWS LambdaやAWS Glueで プログラムを書いて データ取得/加⼯して Amazon Redshiftに登録 プログラム1⾏書くと バグが発⽣する可能性がUP︕
11 1. ZERO ETL概要 これまでは AWS LambdaやAWS Glueなどを使ってETL処理が必要であった AWS Cloud
Amazon Aurora AWS Lambda AWS Glue Amazon Redshift Amazon QuickSight これが ZERO ETL
12 1. ZERO ETLの概要 https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-aurora-zero-etl-integration-redshift/
13 1. ZERO ETL概要 ETL処理があるときは、サービスの起動やデータ取得、データ登録に時間が必要 AWS Cloud Amazon Aurora AWS
Lambda AWS Glue Amazon Redshift Amazon QuickSight AWS LambdaやAWS Glueの起動や データ取得処理の実⾏時間、 Amazon Redshiftへのデータ登録時間 これからが必要になる
14 1. ZERO ETL概要 ETL処理があるときは、サービスの起動やデータ取得、データ登録に時間が必要 AWS Cloud Amazon Aurora AWS
Lambda AWS Glue Amazon Redshift Amazon QuickSight AWS LambdaやAWS Glueの起動や データ取得処理の実⾏時間、 Amazon Redshiftへのデータ登録時間 これからが必要になる ZERO ETLで数秒以内に Amazon Redshiftに登録されて データ利⽤が可能に︕
15 1. ZERO ETL概要 ⼀番気になったところ Aurora Serverless と Redshift Serverlessが使えるのか︖
16 1. ZERO ETL概要 ⼀番気になったところ Aurora Serverless と Redshift Serverlessが使えるのか︖
Youtubeで公開されている動画の11:45からご覧を AWS re:Invent 2022 – [NEW] Enable operational analytics w/Amazon Aurora & Amazon Redshift (DAT328) https://youtu.be/H4JRz5yv694 使えます︕
17 1. ZERO ETLの概要 https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-aurora-zero-etl-integration-redshift/
2. ZERO ETL
19 2. ZERO ETL 限定プレビューということで、申込みを12/9に実施 まだ連絡なし... ⾃分もやってみたい︕という⽅はこちらから登録を https://pages.awscloud.com/AmazonAurora-zeroETL-AmazonRedshift-Preview.html
20 2. ZERO ETL 限定プレビューということで、申込みを12/9に実施 まだ連絡なし... ⾃分もやってみたい︕という⽅はこちらから登録を https://pages.awscloud.com/AmazonAurora-zeroETL-AmazonRedshift-Preview.html ということで、残念ながらデモできず...
21 2. ZERO ETL 限定プレビューということで、申込みを12/9に実施 まだ連絡なし... ⾃分もやってみたい︕という⽅はこちらから登録を https://pages.awscloud.com/AmazonAurora-zeroETL-AmazonRedshift-Preview.html ということで、残念ながらデモできず... 動いてるところは先程のYoutubeからも確認できますので、そちらをご覧下さい
3. まとめ
23 3. まとめ Amazon AuroraからAmazon Redshiftへプログラムなしでデータ登録可能 プログラムを書かなくていいということは開発効率もUPし、運⽤コストも低減 Aurora Serverless と
Redshift Serverlessも利⽤可能 ケースにはよるかもしれませんが、こちらを利⽤することで運⽤コストが低減 詳細はそれぞれのサービスの料⾦を参照ください 限定プレビューなのでどこかでちょっと変わってGAされる 現時点では製品開発としては利⽤せず、検証してみる程度で とは⾔え、すぐにできることなので、やって知⾒を得てアウトプットして、フィードバック GAが待ち遠しい︕
24 3. まとめ Amazon AuroraからAmazon Redshiftへプログラムなしでデータ登録可能 プログラムを書かなくていいということは開発効率もUPし、運⽤コストも低減 Aurora Serverless と
Redshift Serverlessも利⽤可能 ケースにはよるかもしれませんが、こちらを利⽤することで運⽤コストが低減 詳細はそれぞれのサービスの料⾦を参照ください 限定プレビューなのでどこかでちょっと変わってGAされる 現時点では製品開発としては利⽤せず、検証してみる程度で とは⾔え、すぐにできることなので、やって知⾒を得てアウトプットして、フィードバック GAが待ち遠しい︕ 最後に
25 3. まとめ Amazon AuroraからAmazon Redshiftへプログラムなしでデータ登録可能 プログラムを書かなくていいということは開発効率もUPし、運⽤コストも低減 Aurora Serverless と
Redshift Serverlessも利⽤可能 ケースにはよるかもしれませんが、こちらを利⽤することで運⽤コストが低減 詳細はそれぞれのサービスの料⾦を参照ください 限定プレビューなのでどこかでちょっと変わってGAされる 現時点では製品開発としては利⽤せず、検証してみる程度で とは⾔え、すぐにできることなので、やって知⾒を得てアウトプットして、フィードバック GAが待ち遠しい︕ 最後に 「 」って名前がかっこいい︕ ZERO ETL
JAWS-UG Osaka 2022/12/14 (Wed) re:Invent 2022 re:Cap Thank you for
your attention