Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データ分析基盤構築に役立つAWSマネージドサービス紹介
Search
Ryo Higuchi
April 25, 2024
Business
0
230
データ分析基盤構築に役立つAWSマネージドサービス紹介
JAWS-UG東京ランチタイムLT会 #10発表資料
Ryo Higuchi
April 25, 2024
Tweet
Share
Other Decks in Business
See All in Business
第24回クラウド女子会 登壇資料
o2mami
1
1.5k
ツクリンク 会社説明資料
tanashu
0
22k
CultureDeck
remainin
1
420
アジャイルトランスフォーメーションが現場にもたらす価値と超えるべきいくつかの壁/Agile transformation and some impediments
ikuodanaka
5
1.6k
多職種で実施したふりかえりで基本的なことに気付かされた/Basic key learnings from the pretests conducted in multiple professions
k_takashiro
2
270
Beyond Engineering: The Future of Platforms
mfpais
PRO
1
320
福岡から小樽へ、 1400kmのマネジメントの旅
mshdfukui86
0
130
Findy - 人生で熱くなれるなにかを探している誰かへ / Letter from Findy
findyinc
6
110k
生成AIに個人情報/秘密情報を入力する際の法的論点20240318
kenjisugiura
1
220
2023年度ICT職専門研修(海外派遣研修)報告書_No.4_組織においてデジタルによる変革を計画・実行する手法を学ぶ
tokyo_metropolitan_gov_digital_hr
0
140
Company Deck 2024Q1
tterasoma
0
440
plan-renewal-freee-2024
yuki_yano
PRO
0
150
Featured
See All Featured
Java REST API Framework Comparison - PWX 2021
mraible
PRO
18
6.9k
Design by the Numbers
sachag
274
18k
KATA
mclloyd
16
12k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
21
1.9k
Building a Scalable Design System with Sketch
lauravandoore
457
32k
Statistics for Hackers
jakevdp
790
220k
Imperfection Machines: The Place of Print at Facebook
scottboms
261
12k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
22
1.4k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
352
28k
Music & Morning Musume
bryan
41
5.6k
[RailsConf 2023] Rails as a piece of cake
palkan
28
4k
How To Stay Up To Date on Web Technology
chriscoyier
782
250k
Transcript
© 2024 NTT DATA Japan Corporation
AWS Cloud © 2024 NTT DATA Japan Corporation
© 2024 NTT DATA Japan Corporation
Amazon Appflow © 2024 NTT DATA Japan Corporation
UI © 2024 NTT DATA Japan Corporation
© 2024 NTT DATA Japan Corporation
© 2024 NTT DATA Japan Corporation
Amazon MWAA © 2024 NTT DATA Japan Corporation
PJ DAG DAG及びMWAAユーザが新規に追加されるたびに、ロールの権限設定を行えれば、MWAA のDAG一覧画面で、プロジェクトA用のIAMロールからはプロジェクトBのDAGが見えない、または、 DAG詳細が見えない様にすることは可能。 ただし、基盤担当者・プロジェクト担当者間で連携が必要な作業が頻繁に発生するため、運用 負荷が大きい。 IAM User IAM
Role IAMPolicy Role(Public) MWAA Permissions IAM MWAA DAG実装(S3) DAG "Action": "airflow:CreateWebLoginToken", "Resource": "arn:aws:airflow:::role/{mwaa-env}/{mwaa-role}" Role(ProjectA) MWAA User MWAA既定の5つのロールのみ指定可能。 Public < Viewer < User < Op < Admin 新たに作成したMWAAロールは指定できない。 ➂ ➂ ① ① ② ② ⑥ ⑥ ⑤ ⑤ ④ ④ © 2024 NTT DATA Japan Corporation
→ロググループ一覧 (全て見えてしまう) →ストリーム一覧 (許可したロググループ内のスト リームは全て見えてしまう) →ログイベント一覧 (ストリーム名が前方一致すれ ば参照可能) PJ ロググループ名に加えてログストリーム名も指定し
て許可すると、同様に全て見えなくなってしまった 許可していないロググループ名の場合は ストリーム一覧を得られない 1.DescribeLogGroupsは対象”*”のみ指定可能 2.DescribeLogStreams、GetQueryResults は ロググループごとの参照権限を制御可能 3.GetLogEventsはログストリームレベルでの参照 権限を制御可能 © 2024 NTT DATA Japan Corporation
SQLExecuteQueryOperator Connection Type: Amazon Redshift DB User/Password Redshift Redshift API
© 2024 NTT DATA Japan Corporation
Redshift Redshift API RedshiftDataOperator Connection Type: Amazon Web Service IAMロール
Redshift Data API © 2024 NTT DATA Japan Corporation
© 2024 NTT DATA Japan Corporation
Glue © 2024 NTT DATA Japan Corporation
PJ ----- ----- ----- Subscriber Queue Topic Lambda Lambda Subscriber
Subscriber Subscriber Queue ClougWatch Logs 0..2 0..1 0..1 0..n Amazon SNS Amazon SQS © 2024 NTT DATA Japan Corporation
• • • © 2024 NTT DATA Japan Corporation
EOF © 2024 NTT DATA Japan Corporation