データ分析基盤構築に役立つAWSマネージドサービス紹介

JAWS-UG東京ランチタイムLT会 #10発表資料

Transcript

1. © 2024 NTT DATA Japan Corporation
2. AWS Cloud © 2024 NTT DATA Japan Corporation
3. © 2024 NTT DATA Japan Corporation
4. Amazon Appflow © 2024 NTT DATA Japan Corporation
5. UI © 2024 NTT DATA Japan Corporation
6. © 2024 NTT DATA Japan Corporation
7. © 2024 NTT DATA Japan Corporation
8. Amazon MWAA © 2024 NTT DATA Japan Corporation
9. PJ DAG DAG及びMWAAユーザが新規に追加されるたびに、ロールの権限設定を行えれば、MWAA のDAG一覧画面で、プロジェクトA用のIAMロールからはプロジェクトBのDAGが見えない、または、 DAG詳細が見えない様にすることは可能。 ただし、基盤担当者・プロジェクト担当者間で連携が必要な作業が頻繁に発生するため、運用 負荷が大きい。 IAM User IAM Role IAMPolicy Role(Public) MWAA Permissions IAM MWAA DAG実装(S3) DAG "Action": "airflow:CreateWebLoginToken", "Resource": "arn:aws:airflow:::role/{mwaa-env}/{mwaa-role}" Role(ProjectA) MWAA User MWAA既定の5つのロールのみ指定可能。 Public < Viewer < User < Op < Admin 新たに作成したMWAAロールは指定できない。 ➂ ➂ ① ① ② ② ⑥ ⑥ ⑤ ⑤ ④ ④ © 2024 NTT DATA Japan Corporation
10. →ロググループ一覧 (全て見えてしまう) →ストリーム一覧 (許可したロググループ内のスト リームは全て見えてしまう) →ログイベント一覧 (ストリーム名が前方一致すれ ば参照可能) PJ ロググループ名に加えてログストリーム名も指定し て許可すると、同様に全て見えなくなってしまった 許可していないロググループ名の場合は ストリーム一覧を得られない 1.DescribeLogGroupsは対象”*”のみ指定可能 2.DescribeLogStreams、GetQueryResults は ロググループごとの参照権限を制御可能 3.GetLogEventsはログストリームレベルでの参照 権限を制御可能 © 2024 NTT DATA Japan Corporation
11. SQLExecuteQueryOperator Connection Type: Amazon Redshift DB User/Password Redshift Redshift API © 2024 NTT DATA Japan Corporation
12. Redshift Redshift API RedshiftDataOperator Connection Type: Amazon Web Service IAMロール Redshift Data API © 2024 NTT DATA Japan Corporation
13. © 2024 NTT DATA Japan Corporation
14. Glue © 2024 NTT DATA Japan Corporation
15. PJ ----- ----- ----- Subscriber Queue Topic Lambda Lambda Subscriber Subscriber Subscriber Queue ClougWatch Logs 0..2 0..1 0..1 0..n Amazon SNS Amazon SQS © 2024 NTT DATA Japan Corporation
16. • • • © 2024 NTT DATA Japan Corporation
17. EOF © 2024 NTT DATA Japan Corporation