$30 off During Our Annual Pro Sale. View Details »

AWS Glue Git統合のPoCでの活用

x-blood
December 22, 2022

AWS Glue Git統合のPoCでの活用

x-blood

December 22, 2022
Tweet

More Decks by x-blood

Other Decks in Programming

Transcript

  1. AWS Glue Git統合の
    PoCでの活⽤
    佐藤 靖幸
    2022年のAWSアップデートを振り返ろう
    ~Season 4~
    2022/11/24
    2022年のAWSアップデートを振り返ろう
    ~Season 4~
    1

    View Slide

  2. ⾃⼰紹介
    佐藤 靖幸
    デロイト トーマツ
    ウェブサービス株式会社 所属
    得意領域
    バックエンド開発
    2022/11/24
    2022年のAWSアップデートを振り返ろう
    ~Season 4~
    2
    PARTNER
    NETWORK
    2022 APN AWS Top Engineers

    View Slide

  3. 本LTについて
    本LTでは、AWS Glue StudioからGit統合が利
    ⽤できるようになったアップデートをPoCで活
    ⽤した事例を共有します。
    2022/11/24
    2022年のAWSアップデートを振り返ろう
    ~Season 4~
    3

    View Slide

  4. アジェンダ
    2022/11/24
    2022年のAWSアップデートを振り返ろう
    ~Season 4~
    4
    AWS Glue Git統合とは
    PoC環境について
    Gitリポジトリへのプッシュ
    Gitリポジトリからのプル
    AWSアカウント移⾏におけるリファクタリング
    ⼀括プル
    まとめ

    View Slide

  5. AWS Glue Git統合とは
    AWS Glue Git統合の
    ご紹介
    2022/11/24
    2022年のAWSアップデートを振り返ろう
    ~Season 4~
    5

    View Slide

  6. AWS Glue Git統合
    AWS Glue Git統合は2022年10⽉に
    発表されたAWS Glueの新機能。
    Glue Studioで作成したGlue Jobを
    Gitリポジトリで管理することが出来ます。
    対象のGitリポジトリはAWS CodeCommitと
    GitHubに対応しています。
    2022/11/24
    2022年のAWSアップデートを振り返ろう
    ~Season 4~
    6

    View Slide

  7. AWS Glue Git統合
    2022/11/24
    2022年のAWSアップデートを振り返ろう
    ~Season 4~
    7

    View Slide

  8. PoC環境について
    AWS Glue Git統合を
    利⽤したPoC環境について
    2022/11/24
    2022年のAWSアップデートを振り返ろう
    ~Season 4~
    8

    View Slide

  9. PoC環境について
    今回AWS Glue Git統合を活⽤したPoC環境は
    多くのGlue JobをMWAA(Airflow)で
    ワークフロー化して実⾏するETL基盤の構築
    多くのGlue Jobが含まれます
    2022/11/24
    2022年のAWSアップデートを振り返ろう
    ~Season 4~
    9

    View Slide

  10. Gitリポジトリへのプッシュ
    AWS Glue Git統合による
    Gitリポジトリへの
    プッシュ⽅法
    2022/11/24
    2022年のAWSアップデートを振り返ろう
    ~Season 4~
    10

    View Slide

  11. Gitリポジトリへのプッシュ
    2022/11/24
    2022年のAWSアップデートを振り返ろう
    ~Season 4~
    11

    View Slide

  12. Git統合によるプッシュ⽅法
    2022/11/24
    2022年のAWSアップデートを振り返ろう
    ~Season 4~
    12

    View Slide

  13. Gitリポジトリからのプル
    AWS Glue Git統合による
    Gitリポジトリからの
    プル⽅法
    2022/11/24
    2022年のAWSアップデートを振り返ろう
    ~Season 4~
    13

    View Slide

  14. Git統合によるプル⽅法
    2022/11/24
    2022年のAWSアップデートを振り返ろう
    ~Season 4~
    14

    View Slide

  15. AWSアカウント移⾏における
    リファクタリング
    異なるAWSアカウントに
    Git統合で⽣成した
    ファイルを移⾏する際の
    ポイント
    2022/11/24
    2022年のAWSアップデートを振り返ろう
    ~Season 4~
    15

    View Slide

  16. ⾃動⽣成された
    Glue Jobファイルの変更箇所
    2022/11/24
    2022年のAWSアップデートを振り返ろう
    ~Season 4~
    16

    View Slide

  17. AWSアカウント移⾏の実施
    2022/11/24
    2022年のAWSアップデートを振り返ろう
    ~Season 4~
    17

    View Slide

  18. ⼀括プル
    Git統合で
    ⼀括プルする⽅法をご紹介
    2022/11/24
    2022年のAWSアップデートを振り返ろう
    ~Season 4~
    18

    View Slide

  19. AWS CLIを活⽤した
    Git統合の⼀括プル
    今回のPoC環境は多くのGlue Jobが存在しまし
    た。そんな時はマネージメントコンソールでは
    なく、AWS CLIによる1コマンドによる移⾏が
    便利でした
    2022/11/24
    2022年のAWSアップデートを振り返ろう
    ~Season 4~
    19
    aws glue update-job-from-source-control ¥
    --job-name import_script ¥
    --provider AWS_CODE_COMMIT ¥
    --repository-name webiner-glue-job ¥
    --branch-name master ¥
    --folder src ¥
    --region ap-northeast-1

    View Slide

  20. まとめ
    • AWS Glue Git統合を利⽤することでGlue
    Jobを簡単にリポジトリ管理することが出来ま
    した
    • まずはGlue StudioでGlueを始めたけど、あ
    とからコード管理したいという時に便利です
    • 他のAWSサービスもこういう機能があるとい
    いですよね ... Lambdaとか ...
    • CloudFormationのフォーマットではないた
    め、異なるIaCに移⾏する際は移⾏⽅法の検討
    が必要です
    2022/11/24
    2022年のAWSアップデートを振り返ろう
    ~Season 4~
    20

    View Slide

  21. ご清聴ありがとうございました。
    2022/11/24
    2022年のAWSアップデートを振り返ろう
    ~Season 4~
    21

    View Slide