Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
JAWS-UG Osaka ZERO-ETL/jawsug osaka zero-etl
Search
daiki.mori
December 14, 2022
Technology
0
72
JAWS-UG Osaka ZERO-ETL/jawsug osaka zero-etl
2022/12/14
Amazon Aurora ZERO-ETL Integration Amazon Redshift
JAWS-UG Osaka
daiki.mori
December 14, 2022
Tweet
Share
More Decks by daiki.mori
See All by daiki.mori
いい感じにグラフを表示、やっぱWebでやりたいね。それをAWSで実現!
daikimori
0
170
サーバーレスアーキテクチャを使って、小さく作って大きくする取り組み
daikimori
0
3.9k
AWS RDK 〜AWS ConfigのカスタムルールをLambdaで書くときに使うツールキット〜
daikimori
0
480
JAWS DAYS 2022/Osaka/プログラムは作ったら終わり︖︖ その後が⼤事なんだよ︕︕/20221008_X-Ray_LambdaPowertools
daikimori
0
140
データを受け取って、データを加工して、データを可視化する直前までのお話 / AWS DATA ETL
daikimori
0
180
[JAWS DAYS 2021] Amazon Connect and Serverless
daikimori
1
250
JAWS-UG Kansai Meetup(2020/11) Amazon Connectの今
daikimori
0
88
Playing in re:Invent
daikimori
0
140
Introduction of Amazon Connect
daikimori
0
57
Other Decks in Technology
See All in Technology
研究開発部メンバーの働き⽅ / Sansan R&D Profile
sansan33
PRO
3
20k
Large Vision Language Modelを用いた 文書画像データ化作業自動化の検証、運用 / shibuya_AI
sansan_randd
0
130
綺麗なデータマートをつくろう_データ整備を前向きに考える会 / Let's create clean data mart
brainpadpr
3
330
o11yで育てる、強い内製開発組織
_awache
3
130
VCC 2025 Write-up
bata_24
0
180
小学4年生夏休みの自由研究「ぼくと Copilot エージェント」
taichinakamura
0
530
Function calling機能をPLaMo2に実装するには / PFN LLMセミナー
pfn
PRO
0
990
オープンソースでどこまでできる?フォーマル検証チャレンジ
msyksphinz
0
120
PLaMo2シリーズのvLLM実装 / PFN LLM セミナー
pfn
PRO
2
1k
【Kaigi on Rails 事後勉強会LT】MeはどうしてGirlsに? 私とRubyを繋いだRail(s)
joyfrommasara
0
170
AWS IoT 超入門 2025
hattori
0
250
AI時代だからこそ考える、僕らが本当につくりたいスクラムチーム / A Scrum Team we really want to create in this AI era
takaking22
7
3.9k
Featured
See All Featured
Art, The Web, and Tiny UX
lynnandtonic
303
21k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
54
3k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
189
55k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
35
3.2k
Principles of Awesome APIs and How to Build Them.
keavy
127
17k
Documentation Writing (for coders)
carmenintech
75
5k
GitHub's CSS Performance
jonrohan
1032
460k
Automating Front-end Workflow
addyosmani
1371
200k
Statistics for Hackers
jakevdp
799
220k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
45
2.5k
Building Better People: How to give real-time feedback that sticks.
wjessup
368
20k
Building Adaptive Systems
keathley
43
2.8k
Transcript
Z JAWS-UG ⼤阪 / AWS re:Invent 2022 re:Cap daiki mori
2022/12/14 ERO ETL
2 ⾃⼰紹介 ★ Who am I ? 所属・⽒名 株式会社サーバーワークス /
アプリケーションサービス部 / ディベロップメントサービス1課 / 課⻑ 森 ⼤樹 (
[email protected]
) キャリア 約20年、SIerでプログラマ/プロジェクトマネージャの実務経験後、 2017年1⽉にサーバーワークスへ⼊社 Java / C# / Pythonを中⼼に様々なプログラム⾔語で開発 CICD環境の構築、運⽤などを⾏い、現在に⾄る 資格 PMP(Project Management Professional) 資格 趣味 スノーボード/お酒 好きなAWSサービス AWS Lambda/Amazon Connect
⽬次 1. ZERO ETLの概要 2. ZERO ETL 3. まとめ
4 0. その前に この資料は、2022/12/14(⽔)時点のものです。 現時点、限定プレビューです。
5 0. その前に この資料は、2022/12/14(⽔)時点のものです。 現時点、限定プレビューです。 今年は、re:Inventに⾏ってません︕︕
1. ZERO ETLの概要
7 1. ZERO ETLの概要 https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-aurora-zero-etl-integration-redshift/
8 1. ZERO ETL概要 これまでは AWS LambdaやAWS Glueなどを使ってETL処理が必要であった AWS Cloud
Amazon Aurora AWS Lambda AWS Glue Amazon Redshift Amazon QuickSight AWS LambdaやAWS Glueで プログラムを書いて データ取得/加⼯して Amazon Redshiftに登録
9 1. ZERO ETL概要 これまでは AWS LambdaやAWS Glueなどを使ってETL処理が必要であった AWS Cloud
Amazon Aurora AWS Lambda AWS Glue Amazon Redshift Amazon QuickSight AWS LambdaやAWS Glueで プログラムを書いて データ取得/加⼯して Amazon Redshiftに登録 プログラム1⾏書くと バグが発⽣する可能性がUP︕
10 1. ZERO ETL概要 これまでは AWS LambdaやAWS Glueなどを使ってETL処理が必要であった AWS Cloud
Amazon Aurora AWS Lambda AWS Glue Amazon Redshift Amazon QuickSight AWS LambdaやAWS Glueで プログラムを書いて データ取得/加⼯して Amazon Redshiftに登録 プログラム1⾏書くと バグが発⽣する可能性がUP︕
11 1. ZERO ETL概要 これまでは AWS LambdaやAWS Glueなどを使ってETL処理が必要であった AWS Cloud
Amazon Aurora AWS Lambda AWS Glue Amazon Redshift Amazon QuickSight これが ZERO ETL
12 1. ZERO ETLの概要 https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-aurora-zero-etl-integration-redshift/
13 1. ZERO ETL概要 ETL処理があるときは、サービスの起動やデータ取得、データ登録に時間が必要 AWS Cloud Amazon Aurora AWS
Lambda AWS Glue Amazon Redshift Amazon QuickSight AWS LambdaやAWS Glueの起動や データ取得処理の実⾏時間、 Amazon Redshiftへのデータ登録時間 これからが必要になる
14 1. ZERO ETL概要 ETL処理があるときは、サービスの起動やデータ取得、データ登録に時間が必要 AWS Cloud Amazon Aurora AWS
Lambda AWS Glue Amazon Redshift Amazon QuickSight AWS LambdaやAWS Glueの起動や データ取得処理の実⾏時間、 Amazon Redshiftへのデータ登録時間 これからが必要になる ZERO ETLで数秒以内に Amazon Redshiftに登録されて データ利⽤が可能に︕
15 1. ZERO ETL概要 ⼀番気になったところ Aurora Serverless と Redshift Serverlessが使えるのか︖
16 1. ZERO ETL概要 ⼀番気になったところ Aurora Serverless と Redshift Serverlessが使えるのか︖
Youtubeで公開されている動画の11:45からご覧を AWS re:Invent 2022 – [NEW] Enable operational analytics w/Amazon Aurora & Amazon Redshift (DAT328) https://youtu.be/H4JRz5yv694 使えます︕
17 1. ZERO ETLの概要 https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-aurora-zero-etl-integration-redshift/
2. ZERO ETL
19 2. ZERO ETL 限定プレビューということで、申込みを12/9に実施 まだ連絡なし... ⾃分もやってみたい︕という⽅はこちらから登録を https://pages.awscloud.com/AmazonAurora-zeroETL-AmazonRedshift-Preview.html
20 2. ZERO ETL 限定プレビューということで、申込みを12/9に実施 まだ連絡なし... ⾃分もやってみたい︕という⽅はこちらから登録を https://pages.awscloud.com/AmazonAurora-zeroETL-AmazonRedshift-Preview.html ということで、残念ながらデモできず...
21 2. ZERO ETL 限定プレビューということで、申込みを12/9に実施 まだ連絡なし... ⾃分もやってみたい︕という⽅はこちらから登録を https://pages.awscloud.com/AmazonAurora-zeroETL-AmazonRedshift-Preview.html ということで、残念ながらデモできず... 動いてるところは先程のYoutubeからも確認できますので、そちらをご覧下さい
3. まとめ
23 3. まとめ Amazon AuroraからAmazon Redshiftへプログラムなしでデータ登録可能 プログラムを書かなくていいということは開発効率もUPし、運⽤コストも低減 Aurora Serverless と
Redshift Serverlessも利⽤可能 ケースにはよるかもしれませんが、こちらを利⽤することで運⽤コストが低減 詳細はそれぞれのサービスの料⾦を参照ください 限定プレビューなのでどこかでちょっと変わってGAされる 現時点では製品開発としては利⽤せず、検証してみる程度で とは⾔え、すぐにできることなので、やって知⾒を得てアウトプットして、フィードバック GAが待ち遠しい︕
24 3. まとめ Amazon AuroraからAmazon Redshiftへプログラムなしでデータ登録可能 プログラムを書かなくていいということは開発効率もUPし、運⽤コストも低減 Aurora Serverless と
Redshift Serverlessも利⽤可能 ケースにはよるかもしれませんが、こちらを利⽤することで運⽤コストが低減 詳細はそれぞれのサービスの料⾦を参照ください 限定プレビューなのでどこかでちょっと変わってGAされる 現時点では製品開発としては利⽤せず、検証してみる程度で とは⾔え、すぐにできることなので、やって知⾒を得てアウトプットして、フィードバック GAが待ち遠しい︕ 最後に
25 3. まとめ Amazon AuroraからAmazon Redshiftへプログラムなしでデータ登録可能 プログラムを書かなくていいということは開発効率もUPし、運⽤コストも低減 Aurora Serverless と
Redshift Serverlessも利⽤可能 ケースにはよるかもしれませんが、こちらを利⽤することで運⽤コストが低減 詳細はそれぞれのサービスの料⾦を参照ください 限定プレビューなのでどこかでちょっと変わってGAされる 現時点では製品開発としては利⽤せず、検証してみる程度で とは⾔え、すぐにできることなので、やって知⾒を得てアウトプットして、フィードバック GAが待ち遠しい︕ 最後に 「 」って名前がかっこいい︕ ZERO ETL
JAWS-UG Osaka 2022/12/14 (Wed) re:Invent 2022 re:Cap Thank you for
your attention