Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
JAWS-UG Osaka ZERO-ETL/jawsug osaka zero-etl
Search
daiki.mori
December 14, 2022
Technology
0
40
JAWS-UG Osaka ZERO-ETL/jawsug osaka zero-etl
2022/12/14
Amazon Aurora ZERO-ETL Integration Amazon Redshift
JAWS-UG Osaka
daiki.mori
December 14, 2022
Tweet
Share
More Decks by daiki.mori
See All by daiki.mori
いい感じにグラフを表示、やっぱWebでやりたいね。それをAWSで実現!
daikimori
0
27
サーバーレスアーキテクチャを使って、小さく作って大きくする取り組み
daikimori
0
3.1k
AWS RDK 〜AWS ConfigのカスタムルールをLambdaで書くときに使うツールキット〜
daikimori
0
280
JAWS DAYS 2022/Osaka/プログラムは作ったら終わり︖︖ その後が⼤事なんだよ︕︕/20221008_X-Ray_LambdaPowertools
daikimori
0
100
データを受け取って、データを加工して、データを可視化する直前までのお話 / AWS DATA ETL
daikimori
0
150
[JAWS DAYS 2021] Amazon Connect and Serverless
daikimori
1
170
JAWS-UG Kansai Meetup(2020/11) Amazon Connectの今
daikimori
0
57
Playing in re:Invent
daikimori
0
84
Introduction of Amazon Connect
daikimori
0
31
Other Decks in Technology
See All in Technology
Android研修【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
100
推薦システムを本番導入する上で一番優先すべきだったこと~NewsPicks記事推薦機能の改善事例を元に~
morinota
0
130
さらに高品質・高速化を目指すAI時代のテスト設計支援と、めざす先 / AI Test Lab vol.1
shift_evolve
0
190
LLMアプリケーションの評価の実践と課題 ~PharmaXにおける今後の展望~
pharma_x_tech
2
170
エンジニア向け会社紹介資料
caddi_eng
14
230k
コンテナ・K8s研修 - 前半 コンテナ基礎・ハンズオン【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
170
Github Actions 로 Android 팀의 효율성 극대화
hadonghyun
0
160
データ分析を支える技術 生成AI再入門
ishikawa_satoru
0
380
OSSコミットしてZennの課題を解決した話
dyoshikawa1993
0
150
Flutter研修【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
160
Azure Pipelinesを使用したCICDベースラインアーキテクチャ実践
yuriemori
0
190
「我々はどこに向かっているのか」を問い続けるための仕組みづくり / Establishing a System for Continuous Inquiry about where we are
daitasu
0
170
Featured
See All Featured
Agile that works and the tools we love
rasmusluckow
325
20k
Reflections from 52 weeks, 52 projects
jeffersonlam
346
19k
The Language of Interfaces
destraynor
151
23k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
29
2.5k
Fashionably flexible responsive web design (full day workshop)
malarkey
399
65k
The Art of Programming - Codeland 2020
erikaheidi
48
13k
[RailsConf 2023] Rails as a piece of cake
palkan
35
4.4k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
155
14k
Optimising Largest Contentful Paint
csswizardry
18
2.6k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
18
1.2k
The Cult of Friendly URLs
andyhume
75
5.9k
It's Worth the Effort
3n
181
27k
Transcript
Z JAWS-UG ⼤阪 / AWS re:Invent 2022 re:Cap daiki mori
2022/12/14 ERO ETL
2 ⾃⼰紹介 ★ Who am I ? 所属・⽒名 株式会社サーバーワークス /
アプリケーションサービス部 / ディベロップメントサービス1課 / 課⻑ 森 ⼤樹 (
[email protected]
) キャリア 約20年、SIerでプログラマ/プロジェクトマネージャの実務経験後、 2017年1⽉にサーバーワークスへ⼊社 Java / C# / Pythonを中⼼に様々なプログラム⾔語で開発 CICD環境の構築、運⽤などを⾏い、現在に⾄る 資格 PMP(Project Management Professional) 資格 趣味 スノーボード/お酒 好きなAWSサービス AWS Lambda/Amazon Connect
⽬次 1. ZERO ETLの概要 2. ZERO ETL 3. まとめ
4 0. その前に この資料は、2022/12/14(⽔)時点のものです。 現時点、限定プレビューです。
5 0. その前に この資料は、2022/12/14(⽔)時点のものです。 現時点、限定プレビューです。 今年は、re:Inventに⾏ってません︕︕
1. ZERO ETLの概要
7 1. ZERO ETLの概要 https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-aurora-zero-etl-integration-redshift/
8 1. ZERO ETL概要 これまでは AWS LambdaやAWS Glueなどを使ってETL処理が必要であった AWS Cloud
Amazon Aurora AWS Lambda AWS Glue Amazon Redshift Amazon QuickSight AWS LambdaやAWS Glueで プログラムを書いて データ取得/加⼯して Amazon Redshiftに登録
9 1. ZERO ETL概要 これまでは AWS LambdaやAWS Glueなどを使ってETL処理が必要であった AWS Cloud
Amazon Aurora AWS Lambda AWS Glue Amazon Redshift Amazon QuickSight AWS LambdaやAWS Glueで プログラムを書いて データ取得/加⼯して Amazon Redshiftに登録 プログラム1⾏書くと バグが発⽣する可能性がUP︕
10 1. ZERO ETL概要 これまでは AWS LambdaやAWS Glueなどを使ってETL処理が必要であった AWS Cloud
Amazon Aurora AWS Lambda AWS Glue Amazon Redshift Amazon QuickSight AWS LambdaやAWS Glueで プログラムを書いて データ取得/加⼯して Amazon Redshiftに登録 プログラム1⾏書くと バグが発⽣する可能性がUP︕
11 1. ZERO ETL概要 これまでは AWS LambdaやAWS Glueなどを使ってETL処理が必要であった AWS Cloud
Amazon Aurora AWS Lambda AWS Glue Amazon Redshift Amazon QuickSight これが ZERO ETL
12 1. ZERO ETLの概要 https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-aurora-zero-etl-integration-redshift/
13 1. ZERO ETL概要 ETL処理があるときは、サービスの起動やデータ取得、データ登録に時間が必要 AWS Cloud Amazon Aurora AWS
Lambda AWS Glue Amazon Redshift Amazon QuickSight AWS LambdaやAWS Glueの起動や データ取得処理の実⾏時間、 Amazon Redshiftへのデータ登録時間 これからが必要になる
14 1. ZERO ETL概要 ETL処理があるときは、サービスの起動やデータ取得、データ登録に時間が必要 AWS Cloud Amazon Aurora AWS
Lambda AWS Glue Amazon Redshift Amazon QuickSight AWS LambdaやAWS Glueの起動や データ取得処理の実⾏時間、 Amazon Redshiftへのデータ登録時間 これからが必要になる ZERO ETLで数秒以内に Amazon Redshiftに登録されて データ利⽤が可能に︕
15 1. ZERO ETL概要 ⼀番気になったところ Aurora Serverless と Redshift Serverlessが使えるのか︖
16 1. ZERO ETL概要 ⼀番気になったところ Aurora Serverless と Redshift Serverlessが使えるのか︖
Youtubeで公開されている動画の11:45からご覧を AWS re:Invent 2022 – [NEW] Enable operational analytics w/Amazon Aurora & Amazon Redshift (DAT328) https://youtu.be/H4JRz5yv694 使えます︕
17 1. ZERO ETLの概要 https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-aurora-zero-etl-integration-redshift/
2. ZERO ETL
19 2. ZERO ETL 限定プレビューということで、申込みを12/9に実施 まだ連絡なし... ⾃分もやってみたい︕という⽅はこちらから登録を https://pages.awscloud.com/AmazonAurora-zeroETL-AmazonRedshift-Preview.html
20 2. ZERO ETL 限定プレビューということで、申込みを12/9に実施 まだ連絡なし... ⾃分もやってみたい︕という⽅はこちらから登録を https://pages.awscloud.com/AmazonAurora-zeroETL-AmazonRedshift-Preview.html ということで、残念ながらデモできず...
21 2. ZERO ETL 限定プレビューということで、申込みを12/9に実施 まだ連絡なし... ⾃分もやってみたい︕という⽅はこちらから登録を https://pages.awscloud.com/AmazonAurora-zeroETL-AmazonRedshift-Preview.html ということで、残念ながらデモできず... 動いてるところは先程のYoutubeからも確認できますので、そちらをご覧下さい
3. まとめ
23 3. まとめ Amazon AuroraからAmazon Redshiftへプログラムなしでデータ登録可能 プログラムを書かなくていいということは開発効率もUPし、運⽤コストも低減 Aurora Serverless と
Redshift Serverlessも利⽤可能 ケースにはよるかもしれませんが、こちらを利⽤することで運⽤コストが低減 詳細はそれぞれのサービスの料⾦を参照ください 限定プレビューなのでどこかでちょっと変わってGAされる 現時点では製品開発としては利⽤せず、検証してみる程度で とは⾔え、すぐにできることなので、やって知⾒を得てアウトプットして、フィードバック GAが待ち遠しい︕
24 3. まとめ Amazon AuroraからAmazon Redshiftへプログラムなしでデータ登録可能 プログラムを書かなくていいということは開発効率もUPし、運⽤コストも低減 Aurora Serverless と
Redshift Serverlessも利⽤可能 ケースにはよるかもしれませんが、こちらを利⽤することで運⽤コストが低減 詳細はそれぞれのサービスの料⾦を参照ください 限定プレビューなのでどこかでちょっと変わってGAされる 現時点では製品開発としては利⽤せず、検証してみる程度で とは⾔え、すぐにできることなので、やって知⾒を得てアウトプットして、フィードバック GAが待ち遠しい︕ 最後に
25 3. まとめ Amazon AuroraからAmazon Redshiftへプログラムなしでデータ登録可能 プログラムを書かなくていいということは開発効率もUPし、運⽤コストも低減 Aurora Serverless と
Redshift Serverlessも利⽤可能 ケースにはよるかもしれませんが、こちらを利⽤することで運⽤コストが低減 詳細はそれぞれのサービスの料⾦を参照ください 限定プレビューなのでどこかでちょっと変わってGAされる 現時点では製品開発としては利⽤せず、検証してみる程度で とは⾔え、すぐにできることなので、やって知⾒を得てアウトプットして、フィードバック GAが待ち遠しい︕ 最後に 「 」って名前がかっこいい︕ ZERO ETL
JAWS-UG Osaka 2022/12/14 (Wed) re:Invent 2022 re:Cap Thank you for
your attention