AWS Glue Git統合のPoCでの活用

Transcript

1. AWS Glue Git統合の
   PoCでの活⽤
   佐藤 靖幸
   2022年のAWSアップデートを振り返ろう
   ~Season 4~
   2022/11/24
   2022年のAWSアップデートを振り返ろう
   ~Season 4~
   1
   

   View Slide

2. ⾃⼰紹介
   佐藤 靖幸
   デロイト トーマツ
   ウェブサービス株式会社 所属
   得意領域
   バックエンド開発
   2022/11/24
   2022年のAWSアップデートを振り返ろう
   ~Season 4~
   2
   PARTNER
   NETWORK
   2022 APN AWS Top Engineers
   

   View Slide

3. 本LTについて
   本LTでは、AWS Glue StudioからGit統合が利
   ⽤できるようになったアップデートをPoCで活
   ⽤した事例を共有します。
   2022/11/24
   2022年のAWSアップデートを振り返ろう
   ~Season 4~
   3
   

   View Slide

4. アジェンダ
   2022/11/24
   2022年のAWSアップデートを振り返ろう
   ~Season 4~
   4
   AWS Glue Git統合とは
   PoC環境について
   Gitリポジトリへのプッシュ
   Gitリポジトリからのプル
   AWSアカウント移⾏におけるリファクタリング
   ⼀括プル
   まとめ
   

   View Slide

5. AWS Glue Git統合とは
   AWS Glue Git統合の
   ご紹介
   2022/11/24
   2022年のAWSアップデートを振り返ろう
   ~Season 4~
   5
   

   View Slide

6. AWS Glue Git統合
   AWS Glue Git統合は2022年10⽉に
   発表されたAWS Glueの新機能。
   Glue Studioで作成したGlue Jobを
   Gitリポジトリで管理することが出来ます。
   対象のGitリポジトリはAWS CodeCommitと
   GitHubに対応しています。
   2022/11/24
   2022年のAWSアップデートを振り返ろう
   ~Season 4~
   6
   

   View Slide

7. AWS Glue Git統合
   2022/11/24
   2022年のAWSアップデートを振り返ろう
   ~Season 4~
   7
   

   View Slide

8. PoC環境について
   AWS Glue Git統合を
   利⽤したPoC環境について
   2022/11/24
   2022年のAWSアップデートを振り返ろう
   ~Season 4~
   8
   

   View Slide

9. PoC環境について
   今回AWS Glue Git統合を活⽤したPoC環境は
   多くのGlue JobをMWAA（Airflow）で
   ワークフロー化して実⾏するETL基盤の構築
   多くのGlue Jobが含まれます
   2022/11/24
   2022年のAWSアップデートを振り返ろう
   ~Season 4~
   9
   

   View Slide

10. Gitリポジトリへのプッシュ
    AWS Glue Git統合による
    Gitリポジトリへの
    プッシュ⽅法
    2022/11/24
    2022年のAWSアップデートを振り返ろう
    ~Season 4~
    10
    

    View Slide

11. Gitリポジトリへのプッシュ
    2022/11/24
    2022年のAWSアップデートを振り返ろう
    ~Season 4~
    11
    

    View Slide

12. Git統合によるプッシュ⽅法
    2022/11/24
    2022年のAWSアップデートを振り返ろう
    ~Season 4~
    12
    

    View Slide

13. Gitリポジトリからのプル
    AWS Glue Git統合による
    Gitリポジトリからの
    プル⽅法
    2022/11/24
    2022年のAWSアップデートを振り返ろう
    ~Season 4~
    13
    

    View Slide

14. Git統合によるプル⽅法
    2022/11/24
    2022年のAWSアップデートを振り返ろう
    ~Season 4~
    14
    

    View Slide

15. AWSアカウント移⾏における
    リファクタリング
    異なるAWSアカウントに
    Git統合で⽣成した
    ファイルを移⾏する際の
    ポイント
    2022/11/24
    2022年のAWSアップデートを振り返ろう
    ~Season 4~
    15
    

    View Slide

16. ⾃動⽣成された
    Glue Jobファイルの変更箇所
    2022/11/24
    2022年のAWSアップデートを振り返ろう
    ~Season 4~
    16
    

    View Slide

17. AWSアカウント移⾏の実施
    2022/11/24
    2022年のAWSアップデートを振り返ろう
    ~Season 4~
    17
    

    View Slide

18. ⼀括プル
    Git統合で
    ⼀括プルする⽅法をご紹介
    2022/11/24
    2022年のAWSアップデートを振り返ろう
    ~Season 4~
    18
    

    View Slide

19. AWS CLIを活⽤した
    Git統合の⼀括プル
    今回のPoC環境は多くのGlue Jobが存在しまし
    た。そんな時はマネージメントコンソールでは
    なく、AWS CLIによる１コマンドによる移⾏が
    便利でした
    2022/11/24
    2022年のAWSアップデートを振り返ろう
    ~Season 4~
    19
    aws glue update-job-from-source-control ¥
    --job-name import_script ¥
    --provider AWS_CODE_COMMIT ¥
    --repository-name webiner-glue-job ¥
    --branch-name master ¥
    --folder src ¥
    --region ap-northeast-1
    

    View Slide

20. まとめ
    • AWS Glue Git統合を利⽤することでGlue
    Jobを簡単にリポジトリ管理することが出来ま
    した
    • まずはGlue StudioでGlueを始めたけど、あ
    とからコード管理したいという時に便利です
    • 他のAWSサービスもこういう機能があるとい
    いですよね ... Lambdaとか ...
    • CloudFormationのフォーマットではないた
    め、異なるIaCに移⾏する際は移⾏⽅法の検討
    が必要です
    2022/11/24
    2022年のAWSアップデートを振り返ろう
    ~Season 4~
    20
    

    View Slide

21. ご清聴ありがとうございました。
    2022/11/24
    2022年のAWSアップデートを振り返ろう
    ~Season 4~
    21
    

    View Slide