祝！Iceberg祭開幕！re:Invent 2024データレイク関連アップデート10分総ざらい

2024年12月11日（水）に開催されたAWS re:Invent ふりかえり勉強会「クラスメソッド re:Growth 2024 大阪」で発表した資料です。
https://classmethod.connpass.com/event/333283/

Transcript

1. 2024/12/11 niino Iceberg祭開幕！ re:Invent 2024データレイク関連 アップデート10分総ざらい
2. スピーカー niino（𝕏：@kniino1234） • データ事業本部 機械学習チーム • 2023~2024 Japan AWS Top Engineer (Analytics) • re:Invent 2024の思い出：日本でお留守番 2
3. Iceberg祭、開幕
4. Iceberg関連のアップデートがいろいろありました ⚫ Amazon Data Firehose がAmazon S3 の Iceberg テーブルへの データベース変更の継続的なレプリケーションをサポート（※11月発表） ⚫ Apache Icebergテーブルに最適化されたストレージ Amazon S3 Tables ⚫ S3オブジェクトの追加・変更時に自動的にメタデータを生成し、 Icebergテーブルに保存するAmazon S3 Metadata（プレビュー） ⚫ S3上のデータレイクとAmazon Redshiftを統合し、IcebergのAPI を 利用して横断的なデータへのアクセスを実現する Amazon SageMaker Lakehouseを発表
5. Iceberg関連のアップデートがいろいろありました ⚫ Amazon Data Firehose がAmazon S3 の Iceberg テーブルへの データベース変更の継続的なレプリケーションをサポート（※11月発表） ⚫ Apache Icebergテーブルに最適化されたストレージ Amazon S3 Tables ⚫ S3オブジェクトの追加・変更時に自動的にメタデータを生成し、 Icebergテーブルに保存するAmazon S3 Metadata（プレビュー） ⚫ S3上のデータレイクとAmazon Redshiftを統合し、IcebergのAPI を 利用して横断的なデータへのアクセスを実現する Amazon SageMaker Lakehouseを発表
6. 押さえておきたい データレイクのキーワード
7. 構造化・非構造化を問わず、様々な形式の生データをそのまま大量に保存する データレイクとは Amazon Redshift Amazon S3 Amazon QuickSight Amazon Athena 様々な データ発生源 データレイク データウェアハウス BI/ML 加工 クエリ
8. データの一貫性、高性能なクエリ処理、スナップショット管理などの 機能を提供するデータレイクのテーブルフォーマット Icebergとは 従来のテーブルフォーマット Iceberg データファイルを編集できない UPDATE/DELETE/MERGEによる データの編集・削除が可能 トランザクションがサポート されておらずデータの一貫性を保てない ACIDトランザクションによる 同時アクセス時の整合性を担保 過去のデータの状態を参照できない テーブルのタイムトラベル機能 ファイルの物理的な構造を元に パーティション構造を参照 メタデータを元にパーティション構造を把握 する、より精度の高いパーティショニング
9. データの一貫性、高性能なクエリ処理、スナップショット管理などの 機能を提供するデータレイクのテーブルフォーマット Icebergとは 従来のテーブルフォーマット Iceberg データファイルを編集できない UPDATE/DELETE/MERGEによる データの編集・削除が可能 トランザクションがサポート されておらずデータの一貫性を保てない ACIDトランザクションによる 同時アクセス時の整合性を担保 過去のデータの状態を復元できない テーブルのタイムトラベル機能 ファイルの物理的な構造を元に パーティション構造を参照 メタデータを元にパーティション構造を把握 する、より精度の高いパーティショニング 比較的安価な データレイクで データウェアハウス のようにデータ操作可能
10. Iceberg関連のアップデートがいろいろありました ⚫ Amazon Data Firehose がAmazon S3 の Iceberg テーブルへの データベース変更の継続的なレプリケーションをサポート（※11月発表） ⚫ Apache Icebergテーブルに最適化されたストレージ Amazon S3 Tables ⚫ S3オブジェクトの追加・変更時に自動的にメタデータを生成し、 Icebergテーブルに保存するAmazon S3 Metadata（プレビュー） ⚫ S3上のデータレイクとAmazon Redshiftを統合し、IcebergのAPI を 利用して横断的なデータへのアクセスを実現する Amazon SageMaker Lakehouseを発表
11. Amazon Data Firehose が Amazon S3 の Iceberg テーブルへの データベース変更の継続的な レプリケーションをサポート （※11月発表、プレビュー）
12. ⚫ データベース（PostgreSQL、MySQL）の変更をIcebergテーブル （S3上）にリアルタイムで複製 ⚫ CDC（Change Data Capture）ストリームを設定可能 Amazon Data Firehose からAmazon S3 の Apache Iceberg テーブルへの データベース変更の継続的なレプリケーション（プレビュー） 変更が発生 Icebergテーブル に即反映
13. リアルタイム分析基盤 ⚫ 運用データベースの変更をデータレイクへの即時反映 ⚫ Icebergテーブルのデータマートで最新データでの分析が可能 ⚫ Glueなどで作成するデータパイプラインが不要に 例えばこんなことに使えそう AWS Glue Crawler Data Firehose
14. Amazon S3 Tables
15. ⚫ Iceberg形式のテーブルデータに最適化されたストレージサービス ⚫ 従来と比べて最大3倍のクエリ性能と10倍のトランザクション処理 ⚫ 自動でテーブルメンテナンスを実行して最適化 ⚫ Lake Formationを使ってGlue Data Catalogとの統合も可能 （プレビュー） Amazon S3 Tables 引用：https://dev.classmethod.jp/articles/reinvent2024-amazon-s3-tables/
16. S3 Tablesが解決すること 観点 従来のS3+Iceberg S3 Tables メンテナンス ・メタデータ管理が手動 ・VACUUMやOPTIMIZE実行 追加作業不要でS3が自動で最適化 パフォーマンス ・データ編集のたびに発生 する小さなデータファイル で性能低下 ・手動で最適化が必要 • クエリが最大3倍高速 • トランザクションが最大10倍向上 • 自動でコンパクション実行
17. ストリーミングデータやログなど、大量 の小さなファイルが継続的に生成され、 読み取り頻度が高いデータをテーブル化 ⚫ 従来よりパフォーマンスに優れ、 自動でコンパクションなどの最適化 を実施してくれる ⚫ Data Firehoseからの配信先に S3 Tablesを指定できる こんなことに使えそう https://dev.classmethod.jp/articles/data-firehose-s3-tables-athena/
18. S3 Metadata
19. S3オブジェクトの作成・削除、メタデータ変更を S3 Tablesの仕組みを使い、自動でIcebergテーブルとして管理 Amazon S3 Metadata（プレビュー）
20. Amazon S3 Metadataが解決すること 課題 従来 S3 Metadata 検索 大量オブジェクトからメタデータを キーにした検索が困難 高速な検索が可能 様々な条件で効率的に検索 管理 カスタム開発が必要 運用負荷が高い 完全マネージド メンテナンス不要 分析 データ準備に時間がかかる ツール連携が複雑 既存ツールと簡単に連携 自動更新でデータが最新
21. いつ、どのIPアドレスから、どのファイルを変更したかを特定 ⚫ 「特定のユーザーが削除したファイルを確認したい」 ⚫ 「システム障害時に変更されたファイルを特定したい」 ユーザー指定のメタデータを利用してトレーニング用画像データを特定 ⚫ 「靴の画像だけを検索したい」 ⚫ 「未アノテーションの商品画像を特定」 S3 MetadataのテーブルをQuickSightでダッシュボード化も可能！ ユースケース妄想
22. Iceberg祭、開幕
23. ⚫ Icebergを利用したデータレイク構築がますますシンプルになり、 使いやすくなるアップデートが登場 ⚫ データウェアハウスから分析用データマートをS3にオフロードし、 S3 Tablesで高パフォーマンスを保ちながらコスト削減が期待できそう ⚫ Lake Formationと組み合わせてきめ細かなアクセス制御、 ガバナンス機能により安全で効率的なデータレイク運用を実現 まとめ