Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥

AWS Glue Git統合のPoCでの活用

Avatar for x-blood x-blood
December 22, 2022
Programming
0
200

AWS Glue Git統合のPoCでの活用

Avatar for x-blood

x-blood

December 22, 2022
Tweet

More Decks by x-blood

See All by x-blood
Amazon Q Developerで テストコードを生成してみた
Avatar for x-blood xblood
0
23
re:Inventで現地参加したコンテナ関連セッションを振り返る
Avatar for x-blood xblood
0
490
Amazon EKS Pod Identityで何が変わるのか
Avatar for x-blood xblood
0
980
Lizさんに届け！ AWS Jr. ChampionとTop Engineerが 書籍コンテナセキュリティを読んで感じたこと
Avatar for x-blood xblood
0
1.5k
サーバーレスJava パフォーマンス選手権 at AWS Dev Day 2023 Tokyo
Avatar for x-blood xblood
2
1.4k
サーバーレスJavaの今 ~SnapStartとWeb Adapterを寄せて~
Avatar for x-blood xblood
4
3.5k
Finch OSSコードリーディング
Avatar for x-blood xblood
0
1.4k
ECS Service Connectでマイクロサービスを繋いでみた
Avatar for x-blood xblood
0
2.5k
Spring BootとKubernetesで実現する今どきのDevOps入門
Avatar for x-blood xblood
1
1.1k

Other Decks in Programming

See All in Programming
Tinkerbellから学ぶ、Podで DHCPをリッスンする手法
Avatar for Tomofumi Kondo tomokon
0
140
AIの誤りが許されない業務システムにおいて“信頼されるAI” を目指す / building-trusted-ai-systems
Avatar for Yuya Matsumura yuya4
6
3.9k
Rubyで鍛える仕組み化プロヂュース力
Avatar for muryoimpl muryoimpl
0
160
脳の「省エネモード」をデバッグする ～System 1（直感）と System 2（論理）の切り替え～
Avatar for HideyukiKitao panda728
PRO
0
120
tsgolintはいかにしてtypescript-goの非公開APIを呼び出しているのか
Avatar for syumai syumai
7
2.3k
HTTPプロトコル正しく理解していますか？ 〜かわいい猫と共に学ぼう。ฅ^•ω•^ฅ ﾆｬ〜
Avatar for ♛Heitor Hirose hekuchan
2
230
AI 駆動開発ライフサイクル(AI-DLC):ソフトウェアエンジニアリングの再構築 / AI-DLC Introduction
Avatar for kanamsasa kanamasa
11
3.8k
クラウドに依存しないS3を使った開発術
Avatar for しめさば simesaba80
0
160
「コードは上から下へ読むのが一番」と思った時に、思い出してほしい話
Avatar for HideyukiKitao panda728
PRO
39
26k
perlをWebAssembly上で動かすと何が嬉しいの？？？ / Where does Perl-on-Wasm actually make sense?
Avatar for mackee mackee
0
120
GoLab2025 Recap
Avatar for kuro kuro_kurorrr
0
780
Graviton と Nitro と私
Avatar for maroon1st maroon1st
0
130

Featured

See All Featured
Embracing the Ebb and Flow
Avatar for Simon Collison colly
88
4.9k
We Have a Design System, Now What?
Avatar for Morgane Peng morganepeng
54
7.9k
Making Projects Easy
Avatar for Brett Harned brettharned
120
6.5k
Building a Scalable Design System with Sketch
Avatar for Laura Van Doore lauravandoore
463
34k
Java REST API Framework Comparison - PWX 2021
Avatar for Matt Raible mraible
34
9k
Bootstrapping a Software Product
Avatar for Garrett Dimon garrettdimon
PRO
307
120k
The B2B funnel & how to create a winning content strategy
Avatar for Katarina Dahlin katarinadahlin
PRO
0
190
B2B Lead Gen: Tactics, Traps & Triumph
Avatar for Sophie Logan marketingsoph
0
32
Tell your own story through comics
Avatar for letsgokoyo letsgokoyo
0
760
Build your cross-platform service in a week with App Engine
Avatar for Jose L jlugia
234
18k
Impact Scores and Hybrid Strategies: The future of link building
Avatar for Tamara Novitovic tamaranovitovic
0
170
Let's Do A Bunch of Simple Stuff to Make Websites Faster
Avatar for Chris Coyier chriscoyier
508
140k

Transcript

  1. AWS Glue Git統合の PoCでの活⽤ 佐藤 靖幸 2022年のAWSアップデートを振り返ろう ~Season 4~ 2022/11/24

    2022年のAWSアップデートを振り返ろう ~Season 4~ 1

  2. ⾃⼰紹介 佐藤 靖幸 デロイト トーマツ ウェブサービス株式会社 所属 得意領域 バックエンド開発 2022/11/24

    2022年のAWSアップデートを振り返ろう ~Season 4~ 2 PARTNER NETWORK 2022 APN AWS Top Engineers

  3. 本LTについて 本LTでは、AWS Glue StudioからGit統合が利 ⽤できるようになったアップデートをPoCで活 ⽤した事例を共有します。 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~

    3

  4. アジェンダ 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 4 AWS Glue Git統合とは PoC環境について

    Gitリポジトリへのプッシュ Gitリポジトリからのプル AWSアカウント移⾏におけるリファクタリング ⼀括プル まとめ

  5. AWS Glue Git統合とは AWS Glue Git統合の ご紹介 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season

    4~ 5

  6. AWS Glue Git統合 AWS Glue Git統合は2022年10⽉に 発表されたAWS Glueの新機能。 Glue Studioで作成したGlue

    Jobを Gitリポジトリで管理することが出来ます。 対象のGitリポジトリはAWS CodeCommitと GitHubに対応しています。 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 6

  7. AWS Glue Git統合 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 7

  8. PoC環境について AWS Glue Git統合を 利⽤したPoC環境について 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 8

  9. PoC環境について 今回AWS Glue Git統合を活⽤したPoC環境は 多くのGlue JobをMWAA（Airflow）で ワークフロー化して実⾏するETL基盤の構築 多くのGlue Jobが含まれます 2022/11/24

    2022年のAWSアップデートを振り返ろう ~Season 4~ 9

  10. Gitリポジトリへのプッシュ AWS Glue Git統合による Gitリポジトリへの プッシュ⽅法 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~

    10

  11. Gitリポジトリへのプッシュ 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 11

  12. Git統合によるプッシュ⽅法 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 12

  13. Gitリポジトリからのプル AWS Glue Git統合による Gitリポジトリからの プル⽅法 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~

    13

  14. Git統合によるプル⽅法 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 14

  15. AWSアカウント移⾏における リファクタリング 異なるAWSアカウントに Git統合で⽣成した ファイルを移⾏する際の ポイント 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~

    15

  16. ⾃動⽣成された Glue Jobファイルの変更箇所 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 16

  17. AWSアカウント移⾏の実施 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 17

  18. ⼀括プル Git統合で ⼀括プルする⽅法をご紹介 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 18

  19. AWS CLIを活⽤した Git統合の⼀括プル 今回のPoC環境は多くのGlue Jobが存在しまし た。そんな時はマネージメントコンソールでは なく、AWS CLIによる１コマンドによる移⾏が 便利でした 2022/11/24

    2022年のAWSアップデートを振り返ろう ~Season 4~ 19 aws glue update-job-from-source-control ¥ --job-name import_script ¥ --provider AWS_CODE_COMMIT ¥ --repository-name webiner-glue-job ¥ --branch-name master ¥ --folder src ¥ --region ap-northeast-1

  20. まとめ • AWS Glue Git統合を利⽤することでGlue Jobを簡単にリポジトリ管理することが出来ま した • まずはGlue StudioでGlueを始めたけど、あ

    とからコード管理したいという時に便利です • 他のAWSサービスもこういう機能があるとい いですよね ... Lambdaとか ... • CloudFormationのフォーマットではないた め、異なるIaCに移⾏する際は移⾏⽅法の検討 が必要です 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 20

  21. ご清聴ありがとうございました。 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 21