S3を正しく理解するための内部構造の読解

Slide 1

Slide 1 text

S3を正しく理解するための内部構造の読解～表層の理解を超えた設計の原則～ NRIネットコム TECH & DESIGN STUDY #85 2025年12月12日 NRIネットコム株式会社執行役員デジタルソリューション事業本部長クラウドテクニカルセンターセンター長佐々木拓郎

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

6 Copyright（C） NRI Netcom, Ltd. All rights reserved. オブジェクトストレージオブジェクトストレージとは？物理的なディスク（HDDやSSD）ブロックストレージファイルシステム OSレイヤー物理レイヤーオブジェクトストレージ（S3） S3 は、ファイルシステムやブロックストレージのように OS から直接参照されるストレージではなく、HTTP API を通じて利用されるオブジェクトストレージである。利用者は、バケットやオブジェクトといった論理的な構造のみを扱い、その背後にある物理的なディスク配置や冗長化方式を意識する必要はない。 S3を管理するアプリケーション層 S3 の内部では、膨大な数の物理ストレージノードが分散システムとして構成されているが、利用者からはそれらが 1 つの論理的なバケットとして抽象化されている。この強力な抽象化レイヤーにより、利用者は高い耐久性とスケーラビリティを意識することなく扱うことが可能となる。アプリケーションレイヤーハッシュタグ #nncstudy

Slide 8

Slide 8 text

7 Copyright（C） NRI Netcom, Ltd. All rights reserved. 内部構造：バケット・オブジェクト・キー・プレフィックス S3には、フォルダーは存在しない。キーの一部のプレフィックスで疑似的なフォルダを実現 S3://bucket-name/prefix/object.png バケット名キー名プレフィックスオブジェクト名 NRIネットコムBLOG S3のフォルダ構造とプレフィックスの話 https://tech.nri-net.com/entry/s3_folder_structure_and_prefix ハッシュタグ #nncstudy

Slide 9

Slide 9 text

Slide 10

Slide 10 text

9 Copyright（C） NRI Netcom, Ltd. All rights reserved. 整合性モデルの変遷② 2010年～2020年新しいオブジェクトのPUTは書き込み後の読み込み整合性「書き込み後の読み込み」整合性 Client １ S3バケット時間の流れ（新規）書き込み：いちご Client 2 （上書き）書き込み：みかん読み込み：いちご読み込み：いちご or みかん読み込み：いちご ? ハッシュタグ #nncstudy

Slide 11

Slide 11 text

Slide 12

Slide 12 text

11 Copyright（C） NRI Netcom, Ltd. All rights reserved. プレフィックスと性能の関係プレフィックスは性能の単位 awsexamplebucket/2018-01-28/photo1.jpg awsexamplebucket/2018-01-28/photo2.jpg awsexamplebucket/2018-01-28/photo3.jpg awsexamplebucket/2018-01-28/photo4.jpg awsexamplebucket/2018-01-28/photo5.jpg awsexamplebucket/2018-01-28/photo6.jpg awsexamplebucket/232a-2018-01-05/photo1.jpg awsexamplebucket/7b54-2018-01-15/photo2.jpg awsexamplebucket/8a54-2018-01-15/photo3.jpg awsexamplebucket/x154-2018-01-15/photo4.jpg awsexamplebucket/w154-2018-01-15/photo5.jpg awsexamplebucket/4b54-2018-01-15/photo6.jpg 同一プレフィックスの場合この中で性能を分け合うプレフィックスがバラけるとカタログ最大値の性能 • プレフィクス = パーティションキー • プレフィクス上限 5,500 GET/sec 3,500 PUT/sec • 上限を超えた場合は内部的にプレフィックスを分割（シャード化）し始めるが、翌日にリセット AWS re:Invent 2025 - Amazon S3 performance: Architecture, design, and optimization (STG335) https://www.youtube.com/watch?v=JNN5Aw5kVFI ハッシュタグ #nncstudy

Slide 13

Slide 13 text

Slide 14

Slide 14 text

13 Copyright（C） NRI Netcom, Ltd. All rights reserved. ユーザーポリシー（IAMポリシー）とリソースベースポリシー（バケットポリシー） IAMポリシーとバケットポリシーの二つを併用するのが基本 S3バケット IAMポリシー IAM Role バケットポリシー IAM User ユーザーポリシー S3のバケットもしくはオブジェクトにアクセス権限を有しているかを記載リソースベースのポリシーバケット所有者から誰に許可を与えるかを記載アクセス • ユーザーポリシー（IAMポリシー）は、利用者がどのバケットを使えるのかを記載 • リソースベースポリシー（バケットポリシー）は、リソース側からどういった条件で使えるのかを記載 • ACLはすでに非推奨ハッシュタグ #nncstudy

Slide 15

Slide 15 text

14 Copyright（C） NRI Netcom, Ltd. All rights reserved. IAMポリシー最小権限設計が基本 • S3の情報漏洩の多くは、複合技（インスタンスの脆弱性＆インスタンスの過剰権限を利用） • バケット一覧の取得やオブジェクト一覧の付与は慎重に • コンテンツ取得であればgetだけ、ログ出力であればputだけアカウント内の全てのS3 バケット EC2インスタンス IAM Role S3:* （過剰な権限）不正アクセス者脆弱性を突いて乗っ取り List Buckets & Syncで全てのS3バケットのデータを取得ハッシュタグ #nncstudy

Slide 16

Slide 16 text

15 Copyright（C） NRI Netcom, Ltd. All rights reserved. バケットポリシー IAMポリシーのみの制御は現実的には難しい IAMポリシー管理者アクセス可アクセス不可設定例： S3への全ての権限ただしバケットBは除く IAMポリシーのみでも制御は可能だが、現実的な運用は難しいバケットから制御するバケットバケットポリシー IAM Role 特定のIAMロール Endpoints 特定のVPC エンドポイント経由 IAM Role 不特定のIAMからは拒絶ハッシュタグ #nncstudy

Slide 17

Slide 17 text

16 Copyright（C） NRI Netcom, Ltd. All rights reserved. Block Public Accessは必ず適用 Block Public Access（BPA） • S3バケットの直接インターネット公開を禁止する設定 • Organizationsから適用できるようになっている • バケット公開は、CloudFront + OAC（Origin Access Control）を利用設定項目内容 BlockPublicAcls パブリックACLの新規設定を禁止 IgnorePublicAcls 既存のパブリックACLを無視 BlockPublicPolicy パブリックなバケットポリシーの設定を禁止 RestrictPublicBuckets バケットポリシーで許可されていても、特定のサービスプリンシパルのみ許可ハッシュタグ #nncstudy

Slide 18

Slide 18 text

17 Copyright（C） NRI Netcom, Ltd. All rights reserved. Block Public Accessを有効にしておくと、多くの事故を防げる AWS re:Invent 2025 - Amazon S3 security and access control best practices (STG316)https://www.youtube.com/watch?v=UfGW7RoaNhc ハッシュタグ #nncstudy

Slide 19

Slide 19 text

Slide 20

Slide 20 text

19 Copyright（C） NRI Netcom, Ltd. All rights reserved. AWSのネットワーク① VPC外のAWSのネットワークとは何か？ AWS Cloud Virtual private cloud (VPC) Internet gateway Public subnet Private subnet Amazon Simple Storage Service (Amazon S3) この空間は何？インターネット or Something ハッシュタグ #nncstudy

Slide 21

Slide 21 text

20 Copyright（C） NRI Netcom, Ltd. All rights reserved. AWSのネットワーク② The Internet A社ネットワーク B社ネットワーク C社ネットワーク The Internet 組織が持つネットワークを相互に接続したものがインターネット AS 自律システム（Autonomous System）一つのネットワーク管理者の元で単一の明確に定義されたルーティングポリシーによって制御されているネットワークネットワークごとに一意のAS番号が付与されるハッシュタグ #nncstudy

Slide 22

Slide 22 text

Slide 23

Slide 23 text

22 Copyright（C） NRI Netcom, Ltd. All rights reserved. AWSのネットワーク④ AWSのネットワークの正体 AWS Cloud Virtual private cloud (VPC) Internet gateway Public subnet Private subnet Amazon Simple Storage Service (Amazon S3) AWSが管理するプライベートネットワーク空間（ただしパブリックIPで通信）ハッシュタグ #nncstudy

Slide 24

Slide 24 text

23 Copyright（C） NRI Netcom, Ltd. All rights reserved. EC2からS3への４つの経路 Public subnet Private subnet Virtual private cloud (VPC) Internet gateway NAT gateway Endpoints （Gatewayタイプ） S3バケットインスタンスインスタンスパブリックIP Endpoints （Interfaceタイプ） ① ② ③ ④ EC2からS3への４つの経路 AWS PrivateLink ハッシュタグ #nncstudy

Slide 25

Slide 25 text

24 Copyright（C） NRI Netcom, Ltd. All rights reserved. Internet Gateway経由のアクセス AWS Cloud Virtual private cloud (VPC) Internet gateway Public subnet Private subnet Amazon Simple Storage Service (Amazon S3) Instance ハッシュタグ #nncstudy

Slide 26

Slide 26 text

25 Copyright（C） NRI Netcom, Ltd. All rights reserved. EC2 ⇒ Nat Gateway ⇒ Internet Gateway ⇒ S3 AWS Cloud Virtual private cloud (VPC) Internet gateway Public subnet Private subnet Amazon Simple Storage Service (Amazon S3) Instance NAT gateway ハッシュタグ #nncstudy

Slide 27

Slide 27 text

26 Copyright（C） NRI Netcom, Ltd. All rights reserved. EC2 ⇒ VPC Endpoint（Interfaceタイプ） ⇒ S3 AWS Cloud Virtual private cloud (VPC) Internet gateway Public subnet Private subnet Amazon Simple Storage Service (Amazon S3) Instance AWS PrivateLink Elastic network interface ハッシュタグ #nncstudy

Slide 28

Slide 28 text

27 Copyright（C） NRI Netcom, Ltd. All rights reserved. EC2 ⇒ VPC Endpoint（Gatewayタイプ） ⇒ S3 AWS Cloud Virtual private cloud (VPC) Internet gateway Public subnet Private subnet Amazon Simple Storage Service (Amazon S3) Instance Elastic network interface Endpoints ハッシュタグ #nncstudy

Slide 29

Slide 29 text

Slide 30

Slide 30 text

29 Copyright（C） NRI Netcom, Ltd. All rights reserved. クラウド運用の困りごとを解決するウェビナー MSPで実現する運用再編のアプローチ～バラバラな運用がクラウド活用を阻害する～【受講後に得られること】・システム分断運用が引き起こす構造的な問題を整理できる・全社統一の運用品質を実現するための考え方（技術 × 組織）を理解できる・複数ベンダー運用を一本化した際の効果と、MSP活用の具体的なメリットが分かる・AWSアカウント管理＆と請求代行と、MSPを組み合わせた“クラウド運用の最適モデル”のイメージを持てる・IAM Identity Centerの機能概要と設計のポイントが分かる【こんな方におススメです】・・AWS導入済で、システムごとに別ベンダー運用になっている情シス／IT部門のリーダー・運用標準化やガバナンス強化を検討している IT企画・ガバナンス部門の方・CCoE／プラットフォームエンジニアとして全社的な運用モデルを整理したい方・AWS請求代行の次のステップとして MSP を検討したい方 https://nrinetcom.connpass.com/event/377244/ 12月18日（木） 12:00～13:00

Slide 31

Slide 31 text

No content