Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データ分析基盤構築に役立つAWSマネージドサービス紹介
Search
Ryo Higuchi
April 25, 2024
Business
0
380
データ分析基盤構築に役立つAWSマネージドサービス紹介
JAWS-UG東京ランチタイムLT会 #10発表資料
Ryo Higuchi
April 25, 2024
Tweet
Share
Other Decks in Business
See All in Business
How should you respond to feedback from reviews and tests
kitanosirokuma
3
220
unnameカルチャーブック 2025.02.21 update
unnameinc
6
17k
リンクアンドモチベーション 営業コンサルタント向け紹介資料 / Introduction to Link and Motivation for Sales and Consultants
lmi
0
120k
UMed採用デック 202502
umed
0
160
20250220_生成AIで実現する業務改革とは?活用事例とデモでご紹介!
suzakiyoshito
0
360
人事評価制度の設計/導入/運用 にEMとしてどう関わってきたか / How I have been involved as an EM in the design, introduction and operation of evaluation systems
hiro_torii
0
180
一般社団法人ディレクションサポート協会(DiSA)
masakisukeda
0
600
そのドキュメント、ちゃんと息してる? ~ 使われ続ける“生きた”ドキュメントの育て方 ~
natty_natty254
0
140
経験は色褪せない ~ キャリアの “点” を “線” にするために ~
natty_natty254
3
130
クラスメソッド_営業向け会社紹介資料_202502 / introduction to classmethod for sales
classmethod_jinji
0
1k
【詳細版】パーソルクロステクノロジー_グループソリューション統括本部_システムソリューション統括本部のご紹介 / Introduction_of_persol-xtech_gs_ssol_all
pxt_gs_ssol
0
11k
CCBJIピッチブック
2024ccbji
0
270
Featured
See All Featured
Testing 201, or: Great Expectations
jmmastey
42
7.2k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.7k
Building Flexible Design Systems
yeseniaperezcruz
328
38k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
134
33k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.5k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5.2k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
How to train your dragon (web standard)
notwaldorf
91
5.9k
It's Worth the Effort
3n
184
28k
Why You Should Never Use an ORM
jnunemaker
PRO
55
9.2k
Large-scale JavaScript Application Architecture
addyosmani
511
110k
Transcript
© 2024 NTT DATA Japan Corporation
AWS Cloud © 2024 NTT DATA Japan Corporation
© 2024 NTT DATA Japan Corporation
Amazon Appflow © 2024 NTT DATA Japan Corporation
UI © 2024 NTT DATA Japan Corporation
© 2024 NTT DATA Japan Corporation
© 2024 NTT DATA Japan Corporation
Amazon MWAA © 2024 NTT DATA Japan Corporation
PJ DAG DAG及びMWAAユーザが新規に追加されるたびに、ロールの権限設定を行えれば、MWAA のDAG一覧画面で、プロジェクトA用のIAMロールからはプロジェクトBのDAGが見えない、または、 DAG詳細が見えない様にすることは可能。 ただし、基盤担当者・プロジェクト担当者間で連携が必要な作業が頻繁に発生するため、運用 負荷が大きい。 IAM User IAM
Role IAMPolicy Role(Public) MWAA Permissions IAM MWAA DAG実装(S3) DAG "Action": "airflow:CreateWebLoginToken", "Resource": "arn:aws:airflow:::role/{mwaa-env}/{mwaa-role}" Role(ProjectA) MWAA User MWAA既定の5つのロールのみ指定可能。 Public < Viewer < User < Op < Admin 新たに作成したMWAAロールは指定できない。 ➂ ➂ ① ① ② ② ⑥ ⑥ ⑤ ⑤ ④ ④ © 2024 NTT DATA Japan Corporation
→ロググループ一覧 (全て見えてしまう) →ストリーム一覧 (許可したロググループ内のスト リームは全て見えてしまう) →ログイベント一覧 (ストリーム名が前方一致すれ ば参照可能) PJ ロググループ名に加えてログストリーム名も指定し
て許可すると、同様に全て見えなくなってしまった 許可していないロググループ名の場合は ストリーム一覧を得られない 1.DescribeLogGroupsは対象”*”のみ指定可能 2.DescribeLogStreams、GetQueryResults は ロググループごとの参照権限を制御可能 3.GetLogEventsはログストリームレベルでの参照 権限を制御可能 © 2024 NTT DATA Japan Corporation
SQLExecuteQueryOperator Connection Type: Amazon Redshift DB User/Password Redshift Redshift API
© 2024 NTT DATA Japan Corporation
Redshift Redshift API RedshiftDataOperator Connection Type: Amazon Web Service IAMロール
Redshift Data API © 2024 NTT DATA Japan Corporation
© 2024 NTT DATA Japan Corporation
Glue © 2024 NTT DATA Japan Corporation
PJ ----- ----- ----- Subscriber Queue Topic Lambda Lambda Subscriber
Subscriber Subscriber Queue ClougWatch Logs 0..2 0..1 0..1 0..n Amazon SNS Amazon SQS © 2024 NTT DATA Japan Corporation
• • • © 2024 NTT DATA Japan Corporation
EOF © 2024 NTT DATA Japan Corporation