Upgrade to Pro — share decks privately, control downloads, hide ads and more …
Sign up for free

AWS Glue Git統合のPoCでの活用

Avatar for x-blood x-blood
December 22, 2022
Programming
240
0

AWS Glue Git統合のPoCでの活用

Avatar for x-blood

x-blood

December 22, 2022

More Decks by x-blood

See All by x-blood
Amazon Q Developerで テストコードを生成してみた
Avatar for x-blood xblood
0
52
re:Inventで現地参加したコンテナ関連セッションを振り返る
Avatar for x-blood xblood
0
570
Amazon EKS Pod Identityで何が変わるのか
Avatar for x-blood xblood
0
1.1k
Lizさんに届け！ AWS Jr. ChampionとTop Engineerが 書籍コンテナセキュリティを読んで感じたこと
Avatar for x-blood xblood
0
1.6k
サーバーレスJava パフォーマンス選手権 at AWS Dev Day 2023 Tokyo
Avatar for x-blood xblood
2
1.5k
サーバーレスJavaの今 ~SnapStartとWeb Adapterを寄せて~
Avatar for x-blood xblood
4
3.8k
Finch OSSコードリーディング
Avatar for x-blood xblood
0
1.5k
ECS Service Connectでマイクロサービスを繋いでみた
Avatar for x-blood xblood
0
2.5k
Spring BootとKubernetesで実現する今どきのDevOps入門
Avatar for x-blood xblood
1
1.3k

Other Decks in Programming

See All in Programming
20260828_品質と開発生産性を両立させる、AI時代のE2Eテストの考え方
Avatar for MagicPod magicpod
0
170
Seeing Through Serverless: Observability for AWS Lambda with ADOT and CloudWatch Application Signals
Avatar for shiro seike seike460
PRO
1
130
Go を使い始めて 2 ヶ月の学び / My first two months with Go
Avatar for Daisuke Garaike contour_gara
0
420
GKE で Pod の見方を変えたら、スケールアウト時の挙動を真に捉えられた話
Avatar for Sota Takaki stkk
0
100
PHPプロジェクトの結合バランスを可視化する #php_night
Avatar for Takuma Kajikawa kajitack
0
230
GKE アップグレード前に知っておきたい Blue/Green と PDB の関係
Avatar for Sota Takaki stkk
0
160
What We Talk About When We Talk About XP
Avatar for seki at druby.org m_seki
2
410
Webプラットフォームで議論されているセキュリティ課題 / Security issues being discussed on Web Platforms
Avatar for petamoriken / 森建 petamoriken
0
260
Deep dive into the select statement (GopherCon UK)
Avatar for Jesús Espino jespino
0
170
AI Agent時代のリアーキテクチャ戦略と実践
Avatar for Kazuhito Hokamura hokaccha
2
960
kubernetes コンポーネント開発入門 / 新卒N年目の勉強会&交流会！〜〇〇への誘い〜 #n_study
Avatar for mazrean mazrean
0
180
AI に Inclusive UI を書かせよう — Design Rules Skill で Compose UI を作り直す
Avatar for テオリア・テクノロジーズ theoriatec2024
1
460

Featured

See All Featured
Building a Modern Day 
E-commerce SEO Strategy
Avatar for Aleyda Solis aleyda
45
9.2k
Building Applications with DynamoDB
Avatar for Matt Wood mza
96
7.2k
So, you think you're a good person
Avatar for Per Axbom axbom
PRO
2
2.1k
Fashionably flexible responsive web design (full day workshop)
Avatar for Andy Clarke malarkey
408
67k
Mobile First: as difficult as doing things right
Avatar for Swwweet swwweet
225
10k
The AI Search Optimization Roadmap by Aleyda Solis
Avatar for Aleyda Solis aleyda
1
6.2k
職位にかかわらず全員がリーダーシップを発揮するチーム作り / Building a team where everyone can demonstrate leadership regardless of position
Avatar for MADOX madoxten
69
65k
The Anti-SEO Checklist Checklist. Pubcon Cyber Week
Avatar for Ryan Jones ryanjones
0
230
SEO Brein meetup: CTRL+C is not how to scale international SEO
Avatar for Linda Hogenes lindahogenes
1
2.9k
Game over? The fight for quality and originality in the time of robots
Avatar for Wayne Barker wayneb77
1
270
Easily Structure & Communicate Ideas using Wireframe
Avatar for Afnizar Nur Ghifari afnizarnur
194
17k
Highjacked: Video Game Concept Design
Avatar for Ryan Kendrick rkendrick25
PRO
1
450

Transcript

  1. AWS Glue Git統合の PoCでの活⽤ 佐藤 靖幸 2022年のAWSアップデートを振り返ろう ~Season 4~ 2022/11/24

    2022年のAWSアップデートを振り返ろう ~Season 4~ 1

  2. ⾃⼰紹介 佐藤 靖幸 デロイト トーマツ ウェブサービス株式会社 所属 得意領域 バックエンド開発 2022/11/24

    2022年のAWSアップデートを振り返ろう ~Season 4~ 2 PARTNER NETWORK 2022 APN AWS Top Engineers

  3. 本LTについて 本LTでは、AWS Glue StudioからGit統合が利 ⽤できるようになったアップデートをPoCで活 ⽤した事例を共有します。 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~

    3

  4. アジェンダ 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 4 AWS Glue Git統合とは PoC環境について

    Gitリポジトリへのプッシュ Gitリポジトリからのプル AWSアカウント移⾏におけるリファクタリング ⼀括プル まとめ

  5. AWS Glue Git統合とは AWS Glue Git統合の ご紹介 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season

    4~ 5

  6. AWS Glue Git統合 AWS Glue Git統合は2022年10⽉に 発表されたAWS Glueの新機能。 Glue Studioで作成したGlue

    Jobを Gitリポジトリで管理することが出来ます。 対象のGitリポジトリはAWS CodeCommitと GitHubに対応しています。 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 6

  7. AWS Glue Git統合 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 7

  8. PoC環境について AWS Glue Git統合を 利⽤したPoC環境について 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 8

  9. PoC環境について 今回AWS Glue Git統合を活⽤したPoC環境は 多くのGlue JobをMWAA（Airflow）で ワークフロー化して実⾏するETL基盤の構築 多くのGlue Jobが含まれます 2022/11/24

    2022年のAWSアップデートを振り返ろう ~Season 4~ 9

  10. Gitリポジトリへのプッシュ AWS Glue Git統合による Gitリポジトリへの プッシュ⽅法 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~

    10

  11. Gitリポジトリへのプッシュ 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 11

  12. Git統合によるプッシュ⽅法 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 12

  13. Gitリポジトリからのプル AWS Glue Git統合による Gitリポジトリからの プル⽅法 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~

    13

  14. Git統合によるプル⽅法 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 14

  15. AWSアカウント移⾏における リファクタリング 異なるAWSアカウントに Git統合で⽣成した ファイルを移⾏する際の ポイント 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~

    15

  16. ⾃動⽣成された Glue Jobファイルの変更箇所 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 16

  17. AWSアカウント移⾏の実施 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 17

  18. ⼀括プル Git統合で ⼀括プルする⽅法をご紹介 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 18

  19. AWS CLIを活⽤した Git統合の⼀括プル 今回のPoC環境は多くのGlue Jobが存在しまし た。そんな時はマネージメントコンソールでは なく、AWS CLIによる１コマンドによる移⾏が 便利でした 2022/11/24

    2022年のAWSアップデートを振り返ろう ~Season 4~ 19 aws glue update-job-from-source-control ¥ --job-name import_script ¥ --provider AWS_CODE_COMMIT ¥ --repository-name webiner-glue-job ¥ --branch-name master ¥ --folder src ¥ --region ap-northeast-1

  20. まとめ • AWS Glue Git統合を利⽤することでGlue Jobを簡単にリポジトリ管理することが出来ま した • まずはGlue StudioでGlueを始めたけど、あ

    とからコード管理したいという時に便利です • 他のAWSサービスもこういう機能があるとい いですよね ... Lambdaとか ... • CloudFormationのフォーマットではないた め、異なるIaCに移⾏する際は移⾏⽅法の検討 が必要です 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 20

  21. ご清聴ありがとうございました。 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 21