Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データ分析基盤構築に役立つAWSマネージドサービス紹介
Search
Ryo Higuchi
April 25, 2024
Business
0
240
データ分析基盤構築に役立つAWSマネージドサービス紹介
JAWS-UG東京ランチタイムLT会 #10発表資料
Ryo Higuchi
April 25, 2024
Tweet
Share
Other Decks in Business
See All in Business
KAKEHASHI会社説明資料/Company information materials
kakehashi
0
2.8k
詫び石の裏側
infiniteloop_inc
0
130
Mercari-Fact-book_en
mercari_inc
1
18k
ジンジニアのキャリア ~てぃーびーの場合~ / Tb's career
tbpgr
0
530
実はたくさんほしい インシデント報告/more incident reports
kakehashi
0
250
Z_Venture_Capital採用_240417.pdf
zvc2022
0
390
linkマクロが使いたい/smart knowledge management with link macro
kakehashi
2
970
Polaris.AI Company Deck / We are hiring
polarisai
1
790
【イベント概要資料】AJINOMOTO MissCollegeDancer 2024
jusdl
0
150
Beyond Engineering: The Future of Platforms
mfpais
PRO
1
330
慶應修士卒が語るキャリアパス:メーカー・コンサル・エンジニアからの知見
hamawwo
0
380
ファブリカホールディングス_2024年3月期 通期説明資料
fabrica_com
0
1.8k
Featured
See All Featured
YesSQL, Process and Tooling at Scale
rocio
165
13k
Rails Girls Zürich Keynote
gr2m
91
13k
Being A Developer After 40
akosma
67
580k
Build your cross-platform service in a week with App Engine
jlugia
226
17k
Agile that works and the tools we love
rasmusluckow
325
20k
Unsuck your backbone
ammeep
664
57k
Happy Clients
brianwarren
92
6.4k
GraphQLの誤解/rethinking-graphql
sonatard
56
9.3k
Building Adaptive Systems
keathley
32
1.9k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
104
6.7k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
34
6.1k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
8
3.5k
Transcript
© 2024 NTT DATA Japan Corporation
AWS Cloud © 2024 NTT DATA Japan Corporation
© 2024 NTT DATA Japan Corporation
Amazon Appflow © 2024 NTT DATA Japan Corporation
UI © 2024 NTT DATA Japan Corporation
© 2024 NTT DATA Japan Corporation
© 2024 NTT DATA Japan Corporation
Amazon MWAA © 2024 NTT DATA Japan Corporation
PJ DAG DAG及びMWAAユーザが新規に追加されるたびに、ロールの権限設定を行えれば、MWAA のDAG一覧画面で、プロジェクトA用のIAMロールからはプロジェクトBのDAGが見えない、または、 DAG詳細が見えない様にすることは可能。 ただし、基盤担当者・プロジェクト担当者間で連携が必要な作業が頻繁に発生するため、運用 負荷が大きい。 IAM User IAM
Role IAMPolicy Role(Public) MWAA Permissions IAM MWAA DAG実装(S3) DAG "Action": "airflow:CreateWebLoginToken", "Resource": "arn:aws:airflow:::role/{mwaa-env}/{mwaa-role}" Role(ProjectA) MWAA User MWAA既定の5つのロールのみ指定可能。 Public < Viewer < User < Op < Admin 新たに作成したMWAAロールは指定できない。 ➂ ➂ ① ① ② ② ⑥ ⑥ ⑤ ⑤ ④ ④ © 2024 NTT DATA Japan Corporation
→ロググループ一覧 (全て見えてしまう) →ストリーム一覧 (許可したロググループ内のスト リームは全て見えてしまう) →ログイベント一覧 (ストリーム名が前方一致すれ ば参照可能) PJ ロググループ名に加えてログストリーム名も指定し
て許可すると、同様に全て見えなくなってしまった 許可していないロググループ名の場合は ストリーム一覧を得られない 1.DescribeLogGroupsは対象”*”のみ指定可能 2.DescribeLogStreams、GetQueryResults は ロググループごとの参照権限を制御可能 3.GetLogEventsはログストリームレベルでの参照 権限を制御可能 © 2024 NTT DATA Japan Corporation
SQLExecuteQueryOperator Connection Type: Amazon Redshift DB User/Password Redshift Redshift API
© 2024 NTT DATA Japan Corporation
Redshift Redshift API RedshiftDataOperator Connection Type: Amazon Web Service IAMロール
Redshift Data API © 2024 NTT DATA Japan Corporation
© 2024 NTT DATA Japan Corporation
Glue © 2024 NTT DATA Japan Corporation
PJ ----- ----- ----- Subscriber Queue Topic Lambda Lambda Subscriber
Subscriber Subscriber Queue ClougWatch Logs 0..2 0..1 0..1 0..n Amazon SNS Amazon SQS © 2024 NTT DATA Japan Corporation
• • • © 2024 NTT DATA Japan Corporation
EOF © 2024 NTT DATA Japan Corporation