S3 Metadataを試してみよう

Storage-JAWS #6

Transcript

1. S3 Metadataを試してみよう Storage JAWS 小寺　加奈子 2024年12月20日（金）
2. S3 Metadataとは 01 02 どのように活用されるのか 03 アジェンダ S3 Metadataを試してみよう
3. Speaker Introduction 小寺　加奈子　（こでら　かなこ） 仕事: ネットアップ合同会社 　Sales Specialist -AWS X(Twitter): KanakoKode16 その他： 　　クラウド女子会運営 　　AWS Community Builders(Cloud Operations) since 2024 　　AWS Top Engineers ( Service) 2023
4. メタデータとは？ データの管理やアクセスを効率化するための重要な情報 データの識別: メタデータは、データの識別子（ID）、名前、作成日、更新日などを含みま す。これにより、特定のデータを迅速に見つけることができます。 1. アクセス制御: メタデータには、誰がデータにアクセスできるか、どのような権限を持って いるかが含まれます。これにより、データのセキュリティが確保されます。 2. データの分類と検索: メタデータを使用してデータを分類し、効率的に検索することができ ます。例えば、タグやカテゴリ情報をメタデータとして保存することが一般的です。 3. データの管理: メタデータは、データの保存場所、ストレージクラス（例：標準、アーカイ ブ）、キャッシュ制御などの管理情報を提供します。 4.
5. Content-Type オブジェクトのMIMEタイプを指定。 例えば、画像ファイルならimage/jpeg、テキストファイルなら text/plainなど。 カスタムメタデータ x-amz-meta-プレフィックスを使って、ユーザーが独自に定義した メタデータが追加可能 S3におけるメタデータの具体例 Cache-Control ブラウザやキャッシュサーバーに対して、オブジェクトのキャッシ ュ方法を指示
6. S3 Metadataの仕組み Metadataは3種類 System-defined metadata：オブジェクトの作成時間やストレージクラス Custom metadata：オブジェクトアップロード時に含まれるタグ Event metadata：オブジェクトの更新または削除される情報、リクエストを行った AWSアカウント 生成されたメタデータはAmazon S3 Tablesに自動的に反映される S3オブジェクトの作成や更新により、数分以内にメタデータが生成 レコードタイプ (CREATE、UPDATE_METADATA、または DELETE) とシーケン ス番号を持つ新しい行がテーブルに生成
7. S3 Metadataを試してみよう～事前準備～ S3バケット作成とメタデータ設定
8. S3 Metadataを試してみよう～事前準備～ Lake Formationで「Catalog」からパーミッション付与
9. S3 Metadataを試してみよう Athenaからクエリでmetadataを確認してみようー
10. S3 metadataの利用シーン Amazon Athena、Amazon Redshift、Amazon EMR、Amazon QuickSight などの AWS の分析サ ービスを使用して、S3 メタデータテーブルを含むデータのクエリや視覚化 　　→分析、データ処理、AI トレーニングのワークロードに必要なデータを探しやすくなる AI・MLワークロードの加速 →Bedrockから作成したデータもMetadataを使って判別することができるようになる
11. エスコート制度にて、参加者の女性1名の方が男性1名を ご招待させていただき、一緒に参加できます！ クラウド女子会の次回イベントについて 次回１月25日（土）14時～AWS目黒オフィスにて開催