Upgrade to Pro — share decks privately, control downloads, hide ads and more …

JAWS-UG Osaka ZERO-ETL/jawsug osaka zero-etl

daiki.mori
December 14, 2022

JAWS-UG Osaka ZERO-ETL/jawsug osaka zero-etl

2022/12/14
Amazon Aurora ZERO-ETL Integration Amazon Redshift
JAWS-UG Osaka

daiki.mori

December 14, 2022
Tweet

More Decks by daiki.mori

Other Decks in Technology

Transcript

  1. Z
    JAWS-UG ⼤阪 / AWS re:Invent 2022 re:Cap
    daiki mori
    2022/12/14
    ERO
    ETL

    View Slide

  2. 2
    ⾃⼰紹介

    Who am I ?
    所属・⽒名
    株式会社サーバーワークス / アプリケーションサービス部 /
    ディベロップメントサービス1課 / 課⻑
    森 ⼤樹 ([email protected])
    キャリア
    約20年、SIerでプログラマ/プロジェクトマネージャの実務経験後、
    2017年1⽉にサーバーワークスへ⼊社
    Java / C# / Pythonを中⼼に様々なプログラム⾔語で開発
    CICD環境の構築、運⽤などを⾏い、現在に⾄る
    資格
    PMP(Project Management Professional) 資格
    趣味
    スノーボード/お酒
    好きなAWSサービス
    AWS Lambda/Amazon Connect

    View Slide

  3. ⽬次
    1. ZERO ETLの概要
    2. ZERO ETL
    3. まとめ

    View Slide

  4. 4
    0. その前に
    この資料は、2022/12/14(⽔)時点のものです。
    現時点、限定プレビューです。

    View Slide

  5. 5
    0. その前に
    この資料は、2022/12/14(⽔)時点のものです。
    現時点、限定プレビューです。
    今年は、re:Inventに⾏ってません︕︕

    View Slide

  6. 1. ZERO ETLの概要

    View Slide

  7. 7
    1. ZERO ETLの概要
    https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-aurora-zero-etl-integration-redshift/

    View Slide

  8. 8
    1. ZERO ETL概要
    これまでは AWS LambdaやAWS Glueなどを使ってETL処理が必要であった
    AWS Cloud
    Amazon Aurora
    AWS Lambda
    AWS Glue
    Amazon Redshift Amazon QuickSight
    AWS LambdaやAWS Glueで
    プログラムを書いて
    データ取得/加⼯して
    Amazon Redshiftに登録

    View Slide

  9. 9
    1. ZERO ETL概要
    これまでは AWS LambdaやAWS Glueなどを使ってETL処理が必要であった
    AWS Cloud
    Amazon Aurora
    AWS Lambda
    AWS Glue
    Amazon Redshift Amazon QuickSight
    AWS LambdaやAWS Glueで
    プログラムを書いて
    データ取得/加⼯して
    Amazon Redshiftに登録
    プログラム1⾏書くと
    バグが発⽣する可能性がUP︕

    View Slide

  10. 10
    1. ZERO ETL概要
    これまでは AWS LambdaやAWS Glueなどを使ってETL処理が必要であった
    AWS Cloud
    Amazon Aurora
    AWS Lambda
    AWS Glue
    Amazon Redshift Amazon QuickSight
    AWS LambdaやAWS Glueで
    プログラムを書いて
    データ取得/加⼯して
    Amazon Redshiftに登録
    プログラム1⾏書くと
    バグが発⽣する可能性がUP︕

    View Slide

  11. 11
    1. ZERO ETL概要
    これまでは AWS LambdaやAWS Glueなどを使ってETL処理が必要であった
    AWS Cloud
    Amazon Aurora
    AWS Lambda
    AWS Glue
    Amazon Redshift Amazon QuickSight
    これが
    ZERO
    ETL

    View Slide

  12. 12
    1. ZERO ETLの概要
    https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-aurora-zero-etl-integration-redshift/

    View Slide

  13. 13
    1. ZERO ETL概要
    ETL処理があるときは、サービスの起動やデータ取得、データ登録に時間が必要
    AWS Cloud
    Amazon Aurora
    AWS Lambda
    AWS Glue
    Amazon Redshift Amazon QuickSight
    AWS LambdaやAWS Glueの起動や
    データ取得処理の実⾏時間、
    Amazon Redshiftへのデータ登録時間
    これからが必要になる

    View Slide

  14. 14
    1. ZERO ETL概要
    ETL処理があるときは、サービスの起動やデータ取得、データ登録に時間が必要
    AWS Cloud
    Amazon Aurora
    AWS Lambda
    AWS Glue
    Amazon Redshift Amazon QuickSight
    AWS LambdaやAWS Glueの起動や
    データ取得処理の実⾏時間、
    Amazon Redshiftへのデータ登録時間
    これからが必要になる
    ZERO ETLで数秒以内に
    Amazon Redshiftに登録されて
    データ利⽤が可能に︕

    View Slide

  15. 15
    1. ZERO ETL概要
    ⼀番気になったところ
    Aurora Serverless と Redshift Serverlessが使えるのか︖

    View Slide

  16. 16
    1. ZERO ETL概要
    ⼀番気になったところ
    Aurora Serverless と Redshift Serverlessが使えるのか︖
    Youtubeで公開されている動画の11:45からご覧を
    AWS re:Invent 2022 – [NEW] Enable operational analytics w/Amazon Aurora & Amazon Redshift (DAT328)
    https://youtu.be/H4JRz5yv694
    使えます︕

    View Slide

  17. 17
    1. ZERO ETLの概要
    https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-aurora-zero-etl-integration-redshift/

    View Slide

  18. 2. ZERO ETL

    View Slide

  19. 19
    2. ZERO ETL
    限定プレビューということで、申込みを12/9に実施
    まだ連絡なし...
    ⾃分もやってみたい︕という⽅はこちらから登録を
    https://pages.awscloud.com/AmazonAurora-zeroETL-AmazonRedshift-Preview.html

    View Slide

  20. 20
    2. ZERO ETL
    限定プレビューということで、申込みを12/9に実施
    まだ連絡なし...
    ⾃分もやってみたい︕という⽅はこちらから登録を
    https://pages.awscloud.com/AmazonAurora-zeroETL-AmazonRedshift-Preview.html
    ということで、残念ながらデモできず...

    View Slide

  21. 21
    2. ZERO ETL
    限定プレビューということで、申込みを12/9に実施
    まだ連絡なし...
    ⾃分もやってみたい︕という⽅はこちらから登録を
    https://pages.awscloud.com/AmazonAurora-zeroETL-AmazonRedshift-Preview.html
    ということで、残念ながらデモできず...
    動いてるところは先程のYoutubeからも確認できますので、そちらをご覧下さい

    View Slide

  22. 3. まとめ

    View Slide

  23. 23
    3. まとめ
    Amazon AuroraからAmazon Redshiftへプログラムなしでデータ登録可能
    プログラムを書かなくていいということは開発効率もUPし、運⽤コストも低減
    Aurora Serverless と Redshift Serverlessも利⽤可能
    ケースにはよるかもしれませんが、こちらを利⽤することで運⽤コストが低減
    詳細はそれぞれのサービスの料⾦を参照ください
    限定プレビューなのでどこかでちょっと変わってGAされる
    現時点では製品開発としては利⽤せず、検証してみる程度で
    とは⾔え、すぐにできることなので、やって知⾒を得てアウトプットして、フィードバック
    GAが待ち遠しい︕

    View Slide

  24. 24
    3. まとめ
    Amazon AuroraからAmazon Redshiftへプログラムなしでデータ登録可能
    プログラムを書かなくていいということは開発効率もUPし、運⽤コストも低減
    Aurora Serverless と Redshift Serverlessも利⽤可能
    ケースにはよるかもしれませんが、こちらを利⽤することで運⽤コストが低減
    詳細はそれぞれのサービスの料⾦を参照ください
    限定プレビューなのでどこかでちょっと変わってGAされる
    現時点では製品開発としては利⽤せず、検証してみる程度で
    とは⾔え、すぐにできることなので、やって知⾒を得てアウトプットして、フィードバック
    GAが待ち遠しい︕
    最後に

    View Slide

  25. 25
    3. まとめ
    Amazon AuroraからAmazon Redshiftへプログラムなしでデータ登録可能
    プログラムを書かなくていいということは開発効率もUPし、運⽤コストも低減
    Aurora Serverless と Redshift Serverlessも利⽤可能
    ケースにはよるかもしれませんが、こちらを利⽤することで運⽤コストが低減
    詳細はそれぞれのサービスの料⾦を参照ください
    限定プレビューなのでどこかでちょっと変わってGAされる
    現時点では製品開発としては利⽤せず、検証してみる程度で
    とは⾔え、すぐにできることなので、やって知⾒を得てアウトプットして、フィードバック
    GAが待ち遠しい︕
    最後に
    「 」って名前がかっこいい︕
    ZERO
    ETL

    View Slide

  26. JAWS-UG Osaka
    2022/12/14 (Wed)
    re:Invent 2022 re:Cap
    Thank you for your attention

    View Slide