Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
JAWS-UG Osaka ZERO-ETL/jawsug osaka zero-etl
Search
daiki.mori
December 14, 2022
Technology
0
63
JAWS-UG Osaka ZERO-ETL/jawsug osaka zero-etl
2022/12/14
Amazon Aurora ZERO-ETL Integration Amazon Redshift
JAWS-UG Osaka
daiki.mori
December 14, 2022
Tweet
Share
More Decks by daiki.mori
See All by daiki.mori
いい感じにグラフを表示、やっぱWebでやりたいね。それをAWSで実現!
daikimori
0
120
サーバーレスアーキテクチャを使って、小さく作って大きくする取り組み
daikimori
0
3.6k
AWS RDK 〜AWS ConfigのカスタムルールをLambdaで書くときに使うツールキット〜
daikimori
0
430
JAWS DAYS 2022/Osaka/プログラムは作ったら終わり︖︖ その後が⼤事なんだよ︕︕/20221008_X-Ray_LambdaPowertools
daikimori
0
120
データを受け取って、データを加工して、データを可視化する直前までのお話 / AWS DATA ETL
daikimori
0
170
[JAWS DAYS 2021] Amazon Connect and Serverless
daikimori
1
220
JAWS-UG Kansai Meetup(2020/11) Amazon Connectの今
daikimori
0
74
Playing in re:Invent
daikimori
0
120
Introduction of Amazon Connect
daikimori
0
45
Other Decks in Technology
See All in Technology
Software Delivery Observability CI・CD , DORA metrics も Datadog で可視化しよう / datadog-ci-cd-observability
parupappa2929
0
160
最近のRedmineの開発動向と次期バージョン6.1.0
vividtone
0
110
問 1:以下のコンパイラを証明せよ(予告編) #kernelvm / Kernel VM Study Kansai 11th
ytaka23
3
630
Cursorをチョッパヤインタビューライターにチューニングする方法 / how to tuning cursor for interview write
shuzon
2
270
PCNW20250514(情シスはAIとどう向き合う?事例から学ぶ活用法)
suguru0719
0
100
Developer 以外にこそ使って欲しい Amazon Q Developer
mita
0
180
地に足の付いた現実的な技術選定から魔力のある体験を得る『AIレシート読み取り機能』のケーススタディ / From Grounded Tech Choices to Magical UX: A Case Study of AI Receipt Scanning
moznion
5
1.9k
スイッチのBMC、つかってますか?
sonic
0
410
[新卒向け研修資料] テスト文字列に「うんこ」と入れるな(2025年版)
infiniteloop_inc
14
46k
GPU 클라우드 환경에서의 회복탄력적 AI 운영 : 훈련 및 추론을 위한 견고한 아키텍처와 전략
inureyes
PRO
0
130
Why every SwiftUI developer should care about the Environment - iOSKonf25
peterfriese
0
160
分解し、導き、託す ログラスにおける“技術でリードする” 実践の記録
hryushm
1
520
Featured
See All Featured
Building Better People: How to give real-time feedback that sticks.
wjessup
368
19k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
179
53k
Making the Leap to Tech Lead
cromwellryan
133
9.3k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Gamification - CAS2011
davidbonilla
81
5.3k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
21k
What's in a price? How to price your products and services
michaelherold
245
12k
VelocityConf: Rendering Performance Case Studies
addyosmani
329
24k
YesSQL, Process and Tooling at Scale
rocio
172
14k
Designing for humans not robots
tammielis
253
25k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
12k
Transcript
Z JAWS-UG ⼤阪 / AWS re:Invent 2022 re:Cap daiki mori
2022/12/14 ERO ETL
2 ⾃⼰紹介 ★ Who am I ? 所属・⽒名 株式会社サーバーワークス /
アプリケーションサービス部 / ディベロップメントサービス1課 / 課⻑ 森 ⼤樹 (
[email protected]
) キャリア 約20年、SIerでプログラマ/プロジェクトマネージャの実務経験後、 2017年1⽉にサーバーワークスへ⼊社 Java / C# / Pythonを中⼼に様々なプログラム⾔語で開発 CICD環境の構築、運⽤などを⾏い、現在に⾄る 資格 PMP(Project Management Professional) 資格 趣味 スノーボード/お酒 好きなAWSサービス AWS Lambda/Amazon Connect
⽬次 1. ZERO ETLの概要 2. ZERO ETL 3. まとめ
4 0. その前に この資料は、2022/12/14(⽔)時点のものです。 現時点、限定プレビューです。
5 0. その前に この資料は、2022/12/14(⽔)時点のものです。 現時点、限定プレビューです。 今年は、re:Inventに⾏ってません︕︕
1. ZERO ETLの概要
7 1. ZERO ETLの概要 https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-aurora-zero-etl-integration-redshift/
8 1. ZERO ETL概要 これまでは AWS LambdaやAWS Glueなどを使ってETL処理が必要であった AWS Cloud
Amazon Aurora AWS Lambda AWS Glue Amazon Redshift Amazon QuickSight AWS LambdaやAWS Glueで プログラムを書いて データ取得/加⼯して Amazon Redshiftに登録
9 1. ZERO ETL概要 これまでは AWS LambdaやAWS Glueなどを使ってETL処理が必要であった AWS Cloud
Amazon Aurora AWS Lambda AWS Glue Amazon Redshift Amazon QuickSight AWS LambdaやAWS Glueで プログラムを書いて データ取得/加⼯して Amazon Redshiftに登録 プログラム1⾏書くと バグが発⽣する可能性がUP︕
10 1. ZERO ETL概要 これまでは AWS LambdaやAWS Glueなどを使ってETL処理が必要であった AWS Cloud
Amazon Aurora AWS Lambda AWS Glue Amazon Redshift Amazon QuickSight AWS LambdaやAWS Glueで プログラムを書いて データ取得/加⼯して Amazon Redshiftに登録 プログラム1⾏書くと バグが発⽣する可能性がUP︕
11 1. ZERO ETL概要 これまでは AWS LambdaやAWS Glueなどを使ってETL処理が必要であった AWS Cloud
Amazon Aurora AWS Lambda AWS Glue Amazon Redshift Amazon QuickSight これが ZERO ETL
12 1. ZERO ETLの概要 https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-aurora-zero-etl-integration-redshift/
13 1. ZERO ETL概要 ETL処理があるときは、サービスの起動やデータ取得、データ登録に時間が必要 AWS Cloud Amazon Aurora AWS
Lambda AWS Glue Amazon Redshift Amazon QuickSight AWS LambdaやAWS Glueの起動や データ取得処理の実⾏時間、 Amazon Redshiftへのデータ登録時間 これからが必要になる
14 1. ZERO ETL概要 ETL処理があるときは、サービスの起動やデータ取得、データ登録に時間が必要 AWS Cloud Amazon Aurora AWS
Lambda AWS Glue Amazon Redshift Amazon QuickSight AWS LambdaやAWS Glueの起動や データ取得処理の実⾏時間、 Amazon Redshiftへのデータ登録時間 これからが必要になる ZERO ETLで数秒以内に Amazon Redshiftに登録されて データ利⽤が可能に︕
15 1. ZERO ETL概要 ⼀番気になったところ Aurora Serverless と Redshift Serverlessが使えるのか︖
16 1. ZERO ETL概要 ⼀番気になったところ Aurora Serverless と Redshift Serverlessが使えるのか︖
Youtubeで公開されている動画の11:45からご覧を AWS re:Invent 2022 – [NEW] Enable operational analytics w/Amazon Aurora & Amazon Redshift (DAT328) https://youtu.be/H4JRz5yv694 使えます︕
17 1. ZERO ETLの概要 https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-aurora-zero-etl-integration-redshift/
2. ZERO ETL
19 2. ZERO ETL 限定プレビューということで、申込みを12/9に実施 まだ連絡なし... ⾃分もやってみたい︕という⽅はこちらから登録を https://pages.awscloud.com/AmazonAurora-zeroETL-AmazonRedshift-Preview.html
20 2. ZERO ETL 限定プレビューということで、申込みを12/9に実施 まだ連絡なし... ⾃分もやってみたい︕という⽅はこちらから登録を https://pages.awscloud.com/AmazonAurora-zeroETL-AmazonRedshift-Preview.html ということで、残念ながらデモできず...
21 2. ZERO ETL 限定プレビューということで、申込みを12/9に実施 まだ連絡なし... ⾃分もやってみたい︕という⽅はこちらから登録を https://pages.awscloud.com/AmazonAurora-zeroETL-AmazonRedshift-Preview.html ということで、残念ながらデモできず... 動いてるところは先程のYoutubeからも確認できますので、そちらをご覧下さい
3. まとめ
23 3. まとめ Amazon AuroraからAmazon Redshiftへプログラムなしでデータ登録可能 プログラムを書かなくていいということは開発効率もUPし、運⽤コストも低減 Aurora Serverless と
Redshift Serverlessも利⽤可能 ケースにはよるかもしれませんが、こちらを利⽤することで運⽤コストが低減 詳細はそれぞれのサービスの料⾦を参照ください 限定プレビューなのでどこかでちょっと変わってGAされる 現時点では製品開発としては利⽤せず、検証してみる程度で とは⾔え、すぐにできることなので、やって知⾒を得てアウトプットして、フィードバック GAが待ち遠しい︕
24 3. まとめ Amazon AuroraからAmazon Redshiftへプログラムなしでデータ登録可能 プログラムを書かなくていいということは開発効率もUPし、運⽤コストも低減 Aurora Serverless と
Redshift Serverlessも利⽤可能 ケースにはよるかもしれませんが、こちらを利⽤することで運⽤コストが低減 詳細はそれぞれのサービスの料⾦を参照ください 限定プレビューなのでどこかでちょっと変わってGAされる 現時点では製品開発としては利⽤せず、検証してみる程度で とは⾔え、すぐにできることなので、やって知⾒を得てアウトプットして、フィードバック GAが待ち遠しい︕ 最後に
25 3. まとめ Amazon AuroraからAmazon Redshiftへプログラムなしでデータ登録可能 プログラムを書かなくていいということは開発効率もUPし、運⽤コストも低減 Aurora Serverless と
Redshift Serverlessも利⽤可能 ケースにはよるかもしれませんが、こちらを利⽤することで運⽤コストが低減 詳細はそれぞれのサービスの料⾦を参照ください 限定プレビューなのでどこかでちょっと変わってGAされる 現時点では製品開発としては利⽤せず、検証してみる程度で とは⾔え、すぐにできることなので、やって知⾒を得てアウトプットして、フィードバック GAが待ち遠しい︕ 最後に 「 」って名前がかっこいい︕ ZERO ETL
JAWS-UG Osaka 2022/12/14 (Wed) re:Invent 2022 re:Cap Thank you for
your attention