Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データ分析基盤構築に役立つAWSマネージドサービス紹介
Search
Ryo Higuchi
April 25, 2024
Business
0
410
データ分析基盤構築に役立つAWSマネージドサービス紹介
JAWS-UG東京ランチタイムLT会 #10発表資料
Ryo Higuchi
April 25, 2024
Tweet
Share
Other Decks in Business
See All in Business
ワンキャリア 会社説明資料 / Company Deck
onecareer
7
250k
ソフトウェア開発者が「感性」を磨く時代へ〜匠Methodが導く新しいスキルの方向性 / The Era of Software Developers Cultivating “Sensitivity” ~ The New Direction in Skills Guided by the Takumi Method ~
takumi_method_ug
1
120
株式会社サイバーリンクス|カルチャーデック
cyberlinks
0
650
Guiding teams, and shaping a portfolio, using Wardley Maps & DDD at KanDDDinsky
marijn
0
100
2025年 コミュニティ×ビジネスのリアル_Mitz
comucal
PRO
0
150
Vibe codingで作る、“忠実度の高い” プロトタイプのススメ
kakumaeda
1
120
【リクロマ株式会社】20251026_会社紹介資料
takahiro4545
0
100
採用ピッチ資料
awesome22
0
380
スクラム再始動 〜場づくりで透明性を促進し、『形骸化』から脱出しよう!〜
nato
0
160
GMOフィナンシャルHD 会社紹介資料
gmofh_hr_team
0
55k
株式会社EventHub 会社紹介資料
eventhub
1
40k
at FOREST_recruit_pitch deck202510
atforest
0
290
Featured
See All Featured
Become a Pro
speakerdeck
PRO
29
5.6k
The Illustrated Children's Guide to Kubernetes
chrisshort
49
51k
Designing for Performance
lara
610
69k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
253
22k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
230
22k
Designing for humans not robots
tammielis
254
26k
A better future with KSS
kneath
239
18k
A Tale of Four Properties
chriscoyier
161
23k
Unsuck your backbone
ammeep
671
58k
The Pragmatic Product Professional
lauravandoore
36
7k
Building a Scalable Design System with Sketch
lauravandoore
463
33k
Building a Modern Day E-commerce SEO Strategy
aleyda
44
7.8k
Transcript
© 2024 NTT DATA Japan Corporation
AWS Cloud © 2024 NTT DATA Japan Corporation
© 2024 NTT DATA Japan Corporation
Amazon Appflow © 2024 NTT DATA Japan Corporation
UI © 2024 NTT DATA Japan Corporation
© 2024 NTT DATA Japan Corporation
© 2024 NTT DATA Japan Corporation
Amazon MWAA © 2024 NTT DATA Japan Corporation
PJ DAG DAG及びMWAAユーザが新規に追加されるたびに、ロールの権限設定を行えれば、MWAA のDAG一覧画面で、プロジェクトA用のIAMロールからはプロジェクトBのDAGが見えない、または、 DAG詳細が見えない様にすることは可能。 ただし、基盤担当者・プロジェクト担当者間で連携が必要な作業が頻繁に発生するため、運用 負荷が大きい。 IAM User IAM
Role IAMPolicy Role(Public) MWAA Permissions IAM MWAA DAG実装(S3) DAG "Action": "airflow:CreateWebLoginToken", "Resource": "arn:aws:airflow:::role/{mwaa-env}/{mwaa-role}" Role(ProjectA) MWAA User MWAA既定の5つのロールのみ指定可能。 Public < Viewer < User < Op < Admin 新たに作成したMWAAロールは指定できない。 ➂ ➂ ① ① ② ② ⑥ ⑥ ⑤ ⑤ ④ ④ © 2024 NTT DATA Japan Corporation
→ロググループ一覧 (全て見えてしまう) →ストリーム一覧 (許可したロググループ内のスト リームは全て見えてしまう) →ログイベント一覧 (ストリーム名が前方一致すれ ば参照可能) PJ ロググループ名に加えてログストリーム名も指定し
て許可すると、同様に全て見えなくなってしまった 許可していないロググループ名の場合は ストリーム一覧を得られない 1.DescribeLogGroupsは対象”*”のみ指定可能 2.DescribeLogStreams、GetQueryResults は ロググループごとの参照権限を制御可能 3.GetLogEventsはログストリームレベルでの参照 権限を制御可能 © 2024 NTT DATA Japan Corporation
SQLExecuteQueryOperator Connection Type: Amazon Redshift DB User/Password Redshift Redshift API
© 2024 NTT DATA Japan Corporation
Redshift Redshift API RedshiftDataOperator Connection Type: Amazon Web Service IAMロール
Redshift Data API © 2024 NTT DATA Japan Corporation
© 2024 NTT DATA Japan Corporation
Glue © 2024 NTT DATA Japan Corporation
PJ ----- ----- ----- Subscriber Queue Topic Lambda Lambda Subscriber
Subscriber Subscriber Queue ClougWatch Logs 0..2 0..1 0..1 0..n Amazon SNS Amazon SQS © 2024 NTT DATA Japan Corporation
• • • © 2024 NTT DATA Japan Corporation
EOF © 2024 NTT DATA Japan Corporation