Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データ分析基盤構築に役立つAWSマネージドサービス紹介
Search
Ryo Higuchi
April 25, 2024
Business
0
400
データ分析基盤構築に役立つAWSマネージドサービス紹介
JAWS-UG東京ランチタイムLT会 #10発表資料
Ryo Higuchi
April 25, 2024
Tweet
Share
Other Decks in Business
See All in Business
採用ピッチデック
macloud
3
75k
【2025年度】大会協賛提案書
jusdl
0
310
マルチビジネス企業におけるデータ分析基盤の責務と分担
0610esa
2
230
三井物産グループのデジタル証券〜銀座〜徹底解説セミナースライド(20250630)
c0rp_mdm
PRO
0
2k
AvallyLP挿入資料
systemsow
0
110
株式会社kubellパートナー 会社説明資料 (MINAGINE事業版)
kubell_partner
2
340
ちゅらデータ会社紹介
churadata
0
850
フルリモートで社内にどうやって自分の居場所を作るのか?
satoshi256kbyte
1
260
エクセレントグループ採用ピッチ[介護事業]
excare
0
1.6k
SlackでDMを使わない方が いい理由を説明してみた
walkersumida
1
850
VISASQ: ABOUT DEV TEAM
eikohashiba
4
30k
グラハム株式会社_採用ピッチ_20241225__1__compressed.pdf
shu30
0
330
Featured
See All Featured
Why You Should Never Use an ORM
jnunemaker
PRO
58
9.4k
Code Reviewing Like a Champion
maltzj
524
40k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
22k
Balancing Empowerment & Direction
lara
1
410
Reflections from 52 weeks, 52 projects
jeffersonlam
351
20k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
Thoughts on Productivity
jonyablonski
69
4.7k
How STYLIGHT went responsive
nonsquared
100
5.6k
Building an army of robots
kneath
306
45k
Embracing the Ebb and Flow
colly
86
4.7k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
Transcript
© 2024 NTT DATA Japan Corporation
AWS Cloud © 2024 NTT DATA Japan Corporation
© 2024 NTT DATA Japan Corporation
Amazon Appflow © 2024 NTT DATA Japan Corporation
UI © 2024 NTT DATA Japan Corporation
© 2024 NTT DATA Japan Corporation
© 2024 NTT DATA Japan Corporation
Amazon MWAA © 2024 NTT DATA Japan Corporation
PJ DAG DAG及びMWAAユーザが新規に追加されるたびに、ロールの権限設定を行えれば、MWAA のDAG一覧画面で、プロジェクトA用のIAMロールからはプロジェクトBのDAGが見えない、または、 DAG詳細が見えない様にすることは可能。 ただし、基盤担当者・プロジェクト担当者間で連携が必要な作業が頻繁に発生するため、運用 負荷が大きい。 IAM User IAM
Role IAMPolicy Role(Public) MWAA Permissions IAM MWAA DAG実装(S3) DAG "Action": "airflow:CreateWebLoginToken", "Resource": "arn:aws:airflow:::role/{mwaa-env}/{mwaa-role}" Role(ProjectA) MWAA User MWAA既定の5つのロールのみ指定可能。 Public < Viewer < User < Op < Admin 新たに作成したMWAAロールは指定できない。 ➂ ➂ ① ① ② ② ⑥ ⑥ ⑤ ⑤ ④ ④ © 2024 NTT DATA Japan Corporation
→ロググループ一覧 (全て見えてしまう) →ストリーム一覧 (許可したロググループ内のスト リームは全て見えてしまう) →ログイベント一覧 (ストリーム名が前方一致すれ ば参照可能) PJ ロググループ名に加えてログストリーム名も指定し
て許可すると、同様に全て見えなくなってしまった 許可していないロググループ名の場合は ストリーム一覧を得られない 1.DescribeLogGroupsは対象”*”のみ指定可能 2.DescribeLogStreams、GetQueryResults は ロググループごとの参照権限を制御可能 3.GetLogEventsはログストリームレベルでの参照 権限を制御可能 © 2024 NTT DATA Japan Corporation
SQLExecuteQueryOperator Connection Type: Amazon Redshift DB User/Password Redshift Redshift API
© 2024 NTT DATA Japan Corporation
Redshift Redshift API RedshiftDataOperator Connection Type: Amazon Web Service IAMロール
Redshift Data API © 2024 NTT DATA Japan Corporation
© 2024 NTT DATA Japan Corporation
Glue © 2024 NTT DATA Japan Corporation
PJ ----- ----- ----- Subscriber Queue Topic Lambda Lambda Subscriber
Subscriber Subscriber Queue ClougWatch Logs 0..2 0..1 0..1 0..n Amazon SNS Amazon SQS © 2024 NTT DATA Japan Corporation
• • • © 2024 NTT DATA Japan Corporation
EOF © 2024 NTT DATA Japan Corporation