「データレイク」という言葉だけ知ってる人がAWS Lake Formationをはじめてみる/DevelopersIO2021 DECADE Try AWS Lake Formation for the first time

Transcript

1. 「データレイク」という⾔葉だけ知ってる⼈が AWS Lake Formationをはじめてみる 2021/10/15 AWS事業本部 コンサルティング部 丸⽑ 篤史
2. 2 本セッションのターゲット 「データレイク」という⾔葉は知っているけど・・ • データは溜まっているが管理できていない • データをどうやって安全に共有するべきか悩んでいる • AWS Lake Formationって何が出来るの︖
3. 3 本セッションで話さないこと データ分析全般の技術的なこと • データをどうやって溜めるか • データをどうやって加⼯するか • データをどのように分析するか
4. データレイクとは︖
5. 5 データレイクとは︖ 規模にかかわらず、すべてのデータを⼀元化された１つ のリポジトリ • 構造化データ、半構造化データ、⾮構造化データ • ⽣データ、加⼯データ • データサイズ制限からの解放（低コスト）
6. 6 なぜデータレイクが必要なのか︖ データからビジネス価値を⽣み出せる企業は、同業他社 よりも優れた業績をあげている • 顧客の獲得と維持 • ⽣産性の向上 • デバイスの事前の保守管理 • 情報に基づいた意思決定 https://s3-ap-southeast-1.amazonaws.com/mktg-apac/Big+Data+Refresh+Q4+Campaign/Aberdeen+Research+- +Angling+for+Insights+in+Today's+Data+Lake.pdf
7. 7 データ活⽤における課題 • システム間の調整が⾯倒 • データ複製による共有の限界 • 最新データどれ︖問題 • セキュリティ（データの主権委譲） • 共有するためのETLのコスト、リソース • データの蓄積 • コスト、リソース • そもそも、どんなデータがどこにあるのかわからない
8. 8 レイクですか︖スワンプですか︖ OR
9. 9 スワンプにしないために データカタログ を使いましょう
10. 10 データカタログ メタデータの管理台帳 • メタデータ＝データに関する情報 • テーブル名 • カラム名 • 型 • データの場所 • パーティショニング • バージョン • ファイル形式 • 更新⽇ • …etc
11. 11 データレイクのつくりかた https://pages.awscloud.com/rs/112-TZM-766/images/AWS-03_AWS_Summit_Online_2020_ANT01.pdf
12. AWS Glue
13. 13 AWS Glueの全体像 AWS Glue トリガー クローラー データカタログ サーバレス エンジン データソース ターゲット • コネクタ • データクロール • スキーマレジストリ • メタデータを管理 • ジョブ • スケジューラ • ワークフロー • カタログのメタデータ をもとにデータ抽出 • サーバレスエンジンにてジョブ を実⾏し、ターゲットに出⼒
14. 14 データカタログを⽤いたデータ取得 クローラー データカタログ サーバレス エンジン AWS Glue S3 RDS Redshift Spectrum Redshift Athena S3 • サーバレスエンジンにて ジョブを実⾏し、ターゲ ットに出⼒ データアナリストはデータソースではなく、カタ ログを利⽤してS3オブジェクトをテーブルとして 利⽤する アナリスト アナリスト データソース
15. 15 AWS Lake Formation on AWS Glue https://www.slideshare.net/AmazonWebServicesJapan/20191001-aws-black-belt-online-seminar-aws-lake-formation-198737098/21
16. AWS Lake Formation
17. AWS Glue AWS Lake Formation
18. 18 AWS Lake Formation で何が解決できる︖ • データ取り込みと構造化 • セキュリティとコントロール • データの利⽤促進 • モニタリングと監査
19. 19 データ取り込みと構造化 BlueprintとWorkflow • WorkflowはAWS Glue ジョブ、クローラ、トリガーなど ⼀連の処理をセットにした⼊れ物 • Blueprintは標準で⽤意されているワークフローのテンプレ ート • 必ずしも使⽤する必要はない • Glueで⾃作できる • 別で成型されたデータをS3に置く など
20. 20 Blueprint • 標準で提供されているBlueprint • データベーススナップショット • 増分データベース • ログファイル • AWS CloudTrail • Classic Load Balancer ログ • Application Load Balancer ログ
21. 21 Workflow
22. 22 セキュリティとコントロール AWS Lake Formationの本丸はコレ（だと思う） • IAMを拡張したセキュリティパーミッション • Lake Formationによる⼀括したアクセスコントロール • きめ細かいデータアクセス制御 • ABAC/TBAC • データベース/テーブル/列 単位の粒度 • ⾏/セル 単位もPREVIEW
23. 23 Lake Formationがないとき • IAM、S3、Glueカタログなど複数の箇所でポリシーを登録 する必要がある • プリンシパルやリソースの増減のたびに設定変更が必要 バケットポリシー ACL リソースポリシー データカタログ IAMポリシー IAMロール S3 IAMユーザー Athena Glueジョブ Redshift
24. 24 Lake Formationがあるとき • IAMを拡張したセキュリティモデル • シンプルなGrant/RevokeでLake Formationが⼀元的にア クセス制御が可能 IAMユーザ データカタログ IAMロール Lake Formation • Grant/Revoke • Database A • Table A • Permission ü SELECT ü CREATE TABLE S3 Athena Glueジョブ Redshift
25. 25 Lake Formationセキュリティモデル ユーザー Lake Formation S3 Athena Glue Redshift EMR LFで管理された テーブルに対する クエリ テーブルへのアクセスリクエスト テーブルへのアクセスするための ⼀時クレデンシャルを返す LFの⼀時クレデンシャルでテーブルに 含まれるS3オブジェクトにリクエスト クエリ結果を返す Lake Formationに 統合されたサービス １ ２ ３ ４ ５
26. 26 Lake Formationと統合されたサービス 以下のサービスはLake Formationのアクセス許可を 尊重する • AWS Glue • 列の権限は未サポート（フィルタリングは統合サービス側に依存する） • Amazon Athena • Amazon Redshift Spectrum • マニフェストを使⽤したクエリは未サポート • Amazon QuickSight Enterprize Edition • Amazon EMR
27. 27 IAMとLake Formation IAMパーミッションが無視されるわけではない • 例えば、データカタログにテーブルを作成するCREATE_TABLEのLF権限を持っている場合でも、 glue:CreateTable APIに対するIAM権限がなければ失敗する • 基本的にIAMによる認可は緩く、Lake Formationでキッチリ管理する https://docs.aws.amazon.com/ja_jp/lake-formation/latest/dg/access-control-overview.html
28. 28 Lake Formationタグの登場 • 2021年5⽉ Lake Formation タグがGA • クロスアカウントの場合、AWSアカウントのみサポート • 現時点でOrganizationやOUには適⽤できない • TBAC のサポートにより新しいリソースが追加されるたびにポリシ ーを更新する必要がなくなる（推奨） IAMユーザ データカタログ IAMロール Lake Formation • Grant/Revoke • TAG: ENV=analyst • Permission ü SELECT Database A Database B Database C New!! ENV=analyst ENV=analyst ENV=secure
29. 29 きめの細かいアクセス許可もタグで柔軟に • カラムレベルの権限付与も可能 • マスキングされたテーブルやビューを個別に作成する必要 がない アナリスト • Grant • TAG: ENV=secure • Table A • Permission ü SELECT • Grant • Table A • Permission ü SELECT ENV=secure
30. Lake Formation のはじめ⽅
31. 31 Lake Formationのはじめ⽅（例） https://docs.aws.amazon.com/ja_jp/lake-formation/latest/dg/permissions-reference.html
32. 32 Lake Formationのはじめ⽅（例） IAM管理者 • データレイク管理者の作成（IAMユーザ/ロール) • Lake Formation管理者の登録 • Lake Formationパススルーの無効化 https://docs.aws.amazon.com/lake-formation/latest/dg/getting-started-setup.html
33. 33 Lake Formationパススルーの無効化 チェックが有効な場合、Lake Formationのパーミッションモデル ではなく、IAMによるアクセスコントロールになります。
34. 34 Lake Formationのはじめ⽅（例） データレイク管理者 • S3ロケーションの登録 • データベースの作成 • データベース管理者へのCREATE_DATABASE権限付与
35. 35 CREATE＿DATABASE権限付与
36. 36 Lake Formationのはじめ⽅（例） データエンジニア • テーブルの作成 • データの登録 • データアナリストへの権限付与
37. 37 データアナリストへの権限付与 • TPC データベース配下のテーブルで、LFタグ group = analyst のカラムに対するSELECTを許可する場合
38. 38 Lake Formationのはじめ⽅（例） データアナリスト • カタログの検索 • 各種データ分析ツールからのクエリ
39. 39 暗黙的な許可 Lake Formationは以下の暗黙的な許可を付与する • データレイク管理者 • データカタログ内のすべてのリソースのフル読み取り • データベースの作成および、他のユーザへデータベース作成の権限付与 • 他のデータベース作成者が作成したテーブルの変更/削除するための暗黙的な権限はない • データベース作成者 • 作成したデータベースに対するすべての権限、他のユーザへテーブル作成の権限付与 • 他のテーブル作成者が作成したテーブルに対する暗黙的な許可は持たない • テーブル作成者 • 作成したテーブルに対するすべての権限 https://docs.aws.amazon.com/ja_jp/lake-formation/latest/dg/implicit-permissions.html
40. 40 暗黙的な許可 データレイク管理者 ① S3ロケーションの登録 ② データエンジニアにS3ロケーショ ンへのアクセス許可 ③ データベースエンジニアへデータ ベース作成権限を付与 データエンジニア ②③
41. 41 暗黙的な許可 データレイク管理者 ① データエンジニアはDatabase A を作成。作成したデータベースの CREATE_TABLE権限を暗黙的に 持つ ② データエンジニアはDatabase A にTable Aを作成。データエンジ ニアはTable Aに対する全権限を 暗黙的に持つ ③ データエンジニアはデータアナリ ストにTable Aへのアクセス許可 を与える データエンジニア Database A Table A ② ① データアナリスト ③ Database Aの作成者ではないため、 Table Aへの変更/削除権限は暗黙的 には持っていない
42. 42 暗黙的な許可 データレイク管理者 ① データエンジニアAがデータエン ジニアBにDatabase Aに対する CREATE_TABLE権限を付与 ② データベースエンジニアBは Database AにTable Bを作成。デ ータベースエンジニアBはTable B に対する全権限を暗黙的に持つ データエンジニアA Database A Table A データエンジニアB Table Bの作成者ではないため、Table Bへの権限は暗黙的には持っていない Table B ② CREATE_TABLE
43. まとめ
44. 44 Lake Formation まとめ • スワンプにしないためにカタログを持ちましょう • AWSではデータカタログをサーバレスに管理するサービス AWS Glueがあります • AWS Glueをベースにセキュリティ＆コントロールをシン プルかつ柔軟に利⽤するための拡張機能的なサービスが AWS Lake Formation • Lake FormationはIAMを拡張させたセキュリティモデル を持っている • とはいえ、IAMが無視されるわけではない
45. 45 Lake Formation まとめ • LFタグによってよりシンプルな管理が可能になった • Lake Formationのセキュリティモデルと連携できるのは 未だ⼀部のサービスのみ • Lake Formationパススルーを無効化しないと、IAMによ るパーミッションモデルになる • 暗黙的な許可を理解して、権限を委譲していく • Lake Formation は無料で利⽤できます • ただし、裏で動くGlueやS3で課⾦