JAWS-UG Osaka ZERO-ETL/jawsug osaka zero-etl

2022/12/14
Amazon Aurora ZERO-ETL Integration Amazon Redshift
JAWS-UG Osaka

Transcript

1. Z
   JAWS-UG ⼤阪 / AWS re:Invent 2022 re:Cap
   daiki mori
   2022/12/14
   ERO
   ETL
   

   View Slide

2. 2
   ⾃⼰紹介
   ★
   Who am I ?
   所属・⽒名
   株式会社サーバーワークス / アプリケーションサービス部 /
   ディベロップメントサービス1課 / 課⻑
   森 ⼤樹 (mori@serverworks.co.jp)
   キャリア
   約20年、SIerでプログラマ／プロジェクトマネージャの実務経験後、
   2017年1⽉にサーバーワークスへ⼊社
   Java / C# / Pythonを中⼼に様々なプログラム⾔語で開発
   CICD環境の構築、運⽤などを⾏い、現在に⾄る
   資格
   PMP(Project Management Professional) 資格
   趣味
   スノーボード／お酒
   好きなAWSサービス
   AWS Lambda／Amazon Connect
   

   View Slide

3. ⽬次
   1. ZERO ETLの概要
   2. ZERO ETL
   3. まとめ
   

   View Slide

4. 4
   0. その前に
   この資料は、2022/12/14(⽔)時点のものです。
   現時点、限定プレビューです。
   

   View Slide

5. 5
   0. その前に
   この資料は、2022/12/14(⽔)時点のものです。
   現時点、限定プレビューです。
   今年は、re:Inventに⾏ってません︕︕
   

   View Slide

6. 1. ZERO ETLの概要
   

   View Slide

7. 7
   1. ZERO ETLの概要
   https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-aurora-zero-etl-integration-redshift/
   

   View Slide

8. 8
   1. ZERO ETL概要
   これまでは AWS LambdaやAWS Glueなどを使ってETL処理が必要であった
   AWS Cloud
   Amazon Aurora
   AWS Lambda
   AWS Glue
   Amazon Redshift Amazon QuickSight
   AWS LambdaやAWS Glueで
   プログラムを書いて
   データ取得／加⼯して
   Amazon Redshiftに登録
   

   View Slide

9. 9
   1. ZERO ETL概要
   これまでは AWS LambdaやAWS Glueなどを使ってETL処理が必要であった
   AWS Cloud
   Amazon Aurora
   AWS Lambda
   AWS Glue
   Amazon Redshift Amazon QuickSight
   AWS LambdaやAWS Glueで
   プログラムを書いて
   データ取得／加⼯して
   Amazon Redshiftに登録
   プログラム１⾏書くと
   バグが発⽣する可能性がUP︕
   

   View Slide

10. 10
    1. ZERO ETL概要
    これまでは AWS LambdaやAWS Glueなどを使ってETL処理が必要であった
    AWS Cloud
    Amazon Aurora
    AWS Lambda
    AWS Glue
    Amazon Redshift Amazon QuickSight
    AWS LambdaやAWS Glueで
    プログラムを書いて
    データ取得／加⼯して
    Amazon Redshiftに登録
    プログラム１⾏書くと
    バグが発⽣する可能性がUP︕
    

    View Slide

11. 11
    1. ZERO ETL概要
    これまでは AWS LambdaやAWS Glueなどを使ってETL処理が必要であった
    AWS Cloud
    Amazon Aurora
    AWS Lambda
    AWS Glue
    Amazon Redshift Amazon QuickSight
    これが
    ZERO
    ETL
    

    View Slide

12. 12
    1. ZERO ETLの概要
    https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-aurora-zero-etl-integration-redshift/
    

    View Slide

13. 13
    1. ZERO ETL概要
    ETL処理があるときは、サービスの起動やデータ取得、データ登録に時間が必要
    AWS Cloud
    Amazon Aurora
    AWS Lambda
    AWS Glue
    Amazon Redshift Amazon QuickSight
    AWS LambdaやAWS Glueの起動や
    データ取得処理の実⾏時間、
    Amazon Redshiftへのデータ登録時間
    これからが必要になる
    

    View Slide

14. 14
    1. ZERO ETL概要
    ETL処理があるときは、サービスの起動やデータ取得、データ登録に時間が必要
    AWS Cloud
    Amazon Aurora
    AWS Lambda
    AWS Glue
    Amazon Redshift Amazon QuickSight
    AWS LambdaやAWS Glueの起動や
    データ取得処理の実⾏時間、
    Amazon Redshiftへのデータ登録時間
    これからが必要になる
    ZERO ETLで数秒以内に
    Amazon Redshiftに登録されて
    データ利⽤が可能に︕
    

    View Slide

15. 15
    1. ZERO ETL概要
    ⼀番気になったところ
    Aurora Serverless と Redshift Serverlessが使えるのか︖
    

    View Slide

16. 16
    1. ZERO ETL概要
    ⼀番気になったところ
    Aurora Serverless と Redshift Serverlessが使えるのか︖
    Youtubeで公開されている動画の11:45からご覧を
    AWS re:Invent 2022 – [NEW] Enable operational analytics w/Amazon Aurora & Amazon Redshift (DAT328)
    https://youtu.be/H4JRz5yv694
    使えます︕
    

    View Slide

17. 17
    1. ZERO ETLの概要
    https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-aurora-zero-etl-integration-redshift/
    

    View Slide

18. 2. ZERO ETL
    

    View Slide

19. 19
    2. ZERO ETL
    限定プレビューということで、申込みを12/9に実施
    まだ連絡なし...
    ⾃分もやってみたい︕という⽅はこちらから登録を
    https://pages.awscloud.com/AmazonAurora-zeroETL-AmazonRedshift-Preview.html
    

    View Slide

20. 20
    2. ZERO ETL
    限定プレビューということで、申込みを12/9に実施
    まだ連絡なし...
    ⾃分もやってみたい︕という⽅はこちらから登録を
    https://pages.awscloud.com/AmazonAurora-zeroETL-AmazonRedshift-Preview.html
    ということで、残念ながらデモできず...
    

    View Slide

21. 21
    2. ZERO ETL
    限定プレビューということで、申込みを12/9に実施
    まだ連絡なし...
    ⾃分もやってみたい︕という⽅はこちらから登録を
    https://pages.awscloud.com/AmazonAurora-zeroETL-AmazonRedshift-Preview.html
    ということで、残念ながらデモできず...
    動いてるところは先程のYoutubeからも確認できますので、そちらをご覧下さい
    

    View Slide

22. 3. まとめ
    

    View Slide

23. 23
    3. まとめ
    Amazon AuroraからAmazon Redshiftへプログラムなしでデータ登録可能
    プログラムを書かなくていいということは開発効率もUPし、運⽤コストも低減
    Aurora Serverless と Redshift Serverlessも利⽤可能
    ケースにはよるかもしれませんが、こちらを利⽤することで運⽤コストが低減
    詳細はそれぞれのサービスの料⾦を参照ください
    限定プレビューなのでどこかでちょっと変わってGAされる
    現時点では製品開発としては利⽤せず、検証してみる程度で
    とは⾔え、すぐにできることなので、やって知⾒を得てアウトプットして、フィードバック
    GAが待ち遠しい︕
    

    View Slide

24. 24
    3. まとめ
    Amazon AuroraからAmazon Redshiftへプログラムなしでデータ登録可能
    プログラムを書かなくていいということは開発効率もUPし、運⽤コストも低減
    Aurora Serverless と Redshift Serverlessも利⽤可能
    ケースにはよるかもしれませんが、こちらを利⽤することで運⽤コストが低減
    詳細はそれぞれのサービスの料⾦を参照ください
    限定プレビューなのでどこかでちょっと変わってGAされる
    現時点では製品開発としては利⽤せず、検証してみる程度で
    とは⾔え、すぐにできることなので、やって知⾒を得てアウトプットして、フィードバック
    GAが待ち遠しい︕
    最後に
    

    View Slide

25. 25
    3. まとめ
    Amazon AuroraからAmazon Redshiftへプログラムなしでデータ登録可能
    プログラムを書かなくていいということは開発効率もUPし、運⽤コストも低減
    Aurora Serverless と Redshift Serverlessも利⽤可能
    ケースにはよるかもしれませんが、こちらを利⽤することで運⽤コストが低減
    詳細はそれぞれのサービスの料⾦を参照ください
    限定プレビューなのでどこかでちょっと変わってGAされる
    現時点では製品開発としては利⽤せず、検証してみる程度で
    とは⾔え、すぐにできることなので、やって知⾒を得てアウトプットして、フィードバック
    GAが待ち遠しい︕
    最後に
    「 」って名前がかっこいい︕
    ZERO
    ETL
    

    View Slide

26. JAWS-UG Osaka
    2022/12/14 (Wed)
    re:Invent 2022 re:Cap
    Thank you for your attention
    

    View Slide