Lock in $30 Savings on PRO—Offer Ends Soon! ⏳

OCI技術資料 : オブジェクト・ストレージ 概要

OCI技術資料 : オブジェクト・ストレージ 概要

Oracle Cloud Infrastructure (OCI) の技術説明資料、オブジェクト・ストレージの概要編 (Level 100) です。

安価で耐久性の高いストレージ・サービスであるOCIオブジェクト・ストレージについて解説しています。サービスのユースケースや、機能、VCN内からのプライベート・アクセスの方法などについてカバーしています。

More Decks by Oracle Cloud Infrastructure ソリューション・エンジニア

Other Decks in Technology

Transcript

  1. Oracle Cloud Infrastructure ストレージ・サービス Copyright © 2022 Oracle and/or its

    affiliates. 3 ローカル NVMe ブロック ボリューム ファイル ストレージ オブジェクト ストレージ アーカイブ ストレージ タイプ NVMe SSDベースの 一時ストレージ NVMe SSD ベースの ブロックストレージ NFSv3 互換 ファイルシステム 耐久性の高い オブジェクトストレージ 長期アーカイブと バックアップ 耐久性 耐久性はないが、 再起動後もデータは存続 耐久性あり (1AD内に複数のコピー) 耐久性あり (1AD内に複数のコピー) 高耐久性 (AD間で複数のコピー) 高耐久性 (AD間で複数のコピー) 容量 テラバイト以上 ペタバイト以上 エクサバイト以上 無制限 無制限 ユニットサイ ズ BM : 51.2 TB VM : 6.4~25.6 TB 50 GB ~ 32 TB/Vol 32vol/インスタンス 最大8エクサバイト 10 TB/オブジェクト 10 TB/オブジェクト ユース ケース ビッグデータ、OLTP、高パフ ォーマンスのワークロード SAN のような機能を必要と するアプリ (Oracle Database、エンタープライ ズアプリケーション) 共有ファイルシステムを必要 とするアプリ (EBS、HPC) ログ、画像、動画 など非構造化データ 長期的なアーカイブとバックア ップ(Oracle Database バ ックアップ)
  2. • データを容量的な制約なしに保存可能な信頼性の高いストレージ・プラットフォーム • データをオブジェクトとして管理するため、主に非構造化データ(画像、メディア・ファイル、ログ・ファイル、バックアップなど) の格納に最適 • 標準化された RESTful API を使用

    • リージョンに有効なサービス(特定のコンピュート・インスタンスに関連付けられるようなサービスではない) • 用途に応じた3つのタイプ • 標準(Standard Object Storage) Hotデータ用の標準的なストレージ層、価格:1TB ¥3,570/月 • 頻度の低いアクセス(Infrequent Access Storage) アクセス頻度の低いCoolデータ用向き、価格:1TB ¥1,400/月+ Data Retrieval費 • アーカイブストレージ(Archive Storage) 超低価格アーカイブ・ストレージ、価格:1TB ¥364/月 • サービス・ゲートウェイを介して、VCN内のリソースからのプライベート接続が可能 • そのほか、高度な機能も提供 • クロスリージョンコピー、事前認証済みリクエスト、ライフサイクル・ルール、マルチパート・アップロード オブジェクト・ストレージ・サービス Copyright © 2022 Oracle and/or its affiliates. 5
  3. コンテンツ・リポジトリ • データ、画像、ログ、ビデオなどの堅牢な保管場所として アーカイブ / バックアップ • 定期バックアップや、長期保管用のアーカイブの出力先として ログ・データ •

    分析、デバッグ、トラブルシューティングのためのアプリケーショ ンログの保管場所として 大規模データセット • 製薬試験、ゲノム、IoTなど大量データ処理のためのストレー ジとして ビッグデータ • ビッグデータ用のプライマリ・データ保存場所として • HDFS Connectorを利用して Apache Spark、 MapReduce 等のジョブから直接オブジェクト・ストレージ上 へのデータへアクセス オブジェクト・ストレージのユースケース Copyright © 2022 Oracle and/or its affiliates. 6 非構造化データの 保持に最適 画像、動画、ログ etc.. Webアプリケーション 静的コンテンツ リポジトリ 分析 ステージング データベース バックアップ Object Storage ビッグデータ CloudBerry等 GUIツール
  4. 強固な一貫性 • 取得時に常に最新データを提供 耐久性 • 複数のストレージ・サーバー間で冗長化してデータを保持 • データは常に監視され、破損データを検出した場合には自動で修復 性能 •

    コンピュートとオブジェクト・ストレージは同じ高速ネットワーク上に配置 カスタム・メタデータ • 独自のメタデータを定義可能 (Key-Value形式) 暗号化 • オブジェクトは自動的に暗号化(AES-256) オブジェクト・ストレージの特徴 Copyright © 2022 Oracle and/or its affiliates. 7
  5. オブジェクト • コンテンツタイプに関係なく、すべてのデータはオブジェクトとして管理される。 (例: ログ、ビデオ) • 各オブジェクトは、オブジェクトそのものとオブジェクトのメタ・データで構成される。 バケット • オブジェクトを格納するための論理コンテナ。各オブジェクトはバケットに格納される。

    名前空間 • 名前空間はすべてのバケットとオブジェクトのトップレベルコンテナとして機能する論理エンティティ • 各テナントには、すべてのコンパートメントとリージョンにまたがるグローバルな、一つかつ一意の名前空間が 提供される • バケット名はテナント + リージョン内で一意である必要がある。(別のリージョンでは同じ名前を使うことが可能) オブジェクト・ストレージのリソース Copyright © 2022 Oracle and/or its affiliates. 8
  6. • オブジェクト・ストレージの 名前空間文字列 と バケット名 が オブジェクト名 に付加される。 • バケット内は

    フラットな階層 ただし、オブジェクト名にスラッシュ(/) を含むプレフィックス文字列を付与することでディレクトリ構造をシミュレート可能 • オブジェクトの接頭辞にパスをつけると、コンソール上では仮想フォルダとして表示および管理できる • CLI を使用して、階層の指定されたレベルにあるすべてのオブジェクトの一括ダウンロードおよび一括削除を実行可能。 その上または下のレベルのオブジェクトに影響を与えることはない。 ‐ 例えば、上記では CLIを使用して、 marathon/participants のサブレベルのオブジェクトをダウンロードまたは削除せずに marathon/ レベルのすべてのオブジェクトをダウンロードまたは削除可能 オブジェクトのネーミング Copyright © 2022 Oracle and/or its affiliates. 9 オブジェクトに付与される文字列 : /n/<object_storage_namespace>/b/<bucket_name>/o/<object_name> URLの例 : https://objectstorage.us-phoenix-1.oraclecloud.com/n/MyTenant/b/MyBucket/o/test.txt /n/ansh8tvru7zp/b/event_photos/o/marathon/finish_line.jpg /n/ansh8tvru7zp/b/event_photos/o/marathon/participants/p_21.jpg
  7. 標準ストレージ階層(ホット) • 高速、即時、頻繁なアクセスが必要なデータが対象 • データの取り出しは即時に実行可能 • 標準バケットをアーカイブ・ストレージにダウングレードすることはできない 頻度の低いアクセス階層(クール) • アクセス頻度の低いデータが対象

    • データにアクセスする際にData Retrieval費用がかかる • アクセス頻度の低い層の最小保存要件:31日 アーカイブ・ストレージ階層 (コールド) • 殆どアクセスされず、長期間保持、保存する必要があるデータが対象 • アーカイブ・ストレージの最小保存要件:90日 • ダウンロード前にオブジェクトを「リストア処理」を実行する必要がある ‐ リストアリクエストが実行されてからのTime To First Byte (TTFB):1時間 • アーカイブ・バケットを標準ストレージにアップグレードすることはできない オブジェクト・ストレージの階層 Copyright © 2022 Oracle and/or its affiliates. 10 バケットは標準バケット、アーカイブ・バケットの2種類のみ
  8. • アップロードされたデータは”Archived”ステータスとなり、すぐにはダウンロードできない。 • ダウンロード前に事前に「リストア処理」が必要。 • リストア処理を開始してからデータのダウンロードができるようになるまで最大1時間を要する。 • リストア後、所定の時間を経て、再びアーカイブステータスとなる。 ‐ リストア処理実行時に再アーカイブまでの時間を設定

    1~240時間(デフォルト24時間) ‐ 再アーカイブされるまでは、オブジェクト・ストレージ(標準ストレージ階層)の料金が課金される • データアップロード後、90日以内にデータを削除、上書き、 名前変更した場合、追加の課金が発生。 ‐ 全90日分のデータ格納に対するコストを日割り計算した金額 【補足】アーカイブ・ストレージサービスの特性 Copyright © 2022 Oracle and/or its affiliates. 11 アーカイブ・バケット 再アーカイブ リストア (最大1時間) Archived Restored クライアント
  9. 事前認証済リクエスト • ユーザーが独自の資格情報を持たずにバケットまたはオブジェクトにアクセスできる ようにする方法を提供している。 • 指定された期間内のみ有効な、一意の URLを使用してアクセスできる。 • 任意のタイミングでリンクを取り消すことができる。 パブリック・バケット

    • バケットをパブリックにすることにより、不特定のユーザーが、認証・承認なしに バケットへの読み取りを実行できるようになる。(バケット作成時は、プライベート・バ ケットとなり、バケットへのアクセスには認証と承認が必要) • アクセスの種類を変更しても、設定済のPre-Authenticatedリクエストの設定に は影響しない。 Pre-Authenticatedリクエストは引き続き機能する。 アクセスと認証の管理 Copyright © 2022 Oracle and/or its affiliates. 13 URLの例 : https://objectstorage.us-ashburn-1.oraclecloud.com/p/p09Nx-f4UaLCN- MMOxGQIpobmMchgHQrSQv4Lr-aSzs/n/intoraclerohit/b/Image/o/kvm
  10. • 同一リージョン内の他のバケットや他リージョンのバケットに オブジェクトをコピーする機能 • ユーザーに代わって、オブジェクトを管理するための設定が 必要 (リージョンごとに個別のポリシーを設定) ポリシーの設定例: • 作成済みのターゲット・バケットを指定する必要がある

    • コピー設定はオブジェクト毎に個別に設定する必要がある (複数オブジェクトの一括コピーは不可) • アーカイブ・ストレージからオブジェクトをコピーすることはで きない クロス・リージョン・コピー Copyright © 2022 Oracle and/or its affiliates. 14 allow service objectstorage-us-ashburn-1 to manage object-family in tenancy
  11. • オブジェクトストレージのバケットから別のバケット(同一または別リー ジョン)のバケットへのレプリケーションする機能 ‐ DR構成、高可用性構成の実現 ‐ バケット単位での設定。ソースバケットと宛先バケットを指定 • ユーザーに代わってオブジェクトを管理するための設定が必要 (リージョン毎に個別のポリシーを設定)

    • レプリケーションの動作 ‐ 非同期レプリケーション ‐ レプリケーション・ポリシー設定後にレプリケーション元バケットの オブジェクトを操作(アップロード、削除)すると、自動的にレプ リケーション先に反映される ‐ レプリケーション先バケットはRead Onlyとなる バケットのレプリケーション Copyright © 2022 Oracle and/or its affiliates. 15 レプリケーション Tokyoリージョン オブジェクト・ストレージ ソースバケット VCN Osakaリージョン オブジェクト・ストレージ 宛先バケット VCN
  12. • 「指定した日数が経過したオブジェクトを自動的にアーカイブまたは削除する」設定を定義可能 オブジェクトのライフサイクル管理 Copyright © 2022 Oracle and/or its affiliates.

    16 • ユーザーに代わってオブジェクトを管理するための設定が必要 (リージョン毎に個別のポリシーを設定) • ライフサイクルのターゲットは、”オブジェクト”または”コミットされていないマル チパート・アップロード”が選択可能 ‐ ターゲットにオブジェクトを選択した場合、接頭辞一致やパターン一致を使用したフィルタリ ングが可能 ‐ フィルタが指定されていない場合、バケット内のすべてのオブジェクトにルールが適用される • オブジェクトを削除するルールは、そのオブジェクトをアーカイブするルールより も常に優先される • 各ルールは任意のタイミングで有効化および無効化できる 設定例: gloves_27 を接頭辞として設定した場合、下記のオブジェクトは全て対象となります。 /n/ansh8tvru7zp/b/apparel/o/gloves_27_dark_green /n/ansh8tvru7zp/b/apparel/o/gloves_27_light_blue
  13. オブジェクトストレージのバケットに対して保持ルールを追加することで、 イミュータブル(不変)なオブジェクトストレージとして利用 • WORM(Write Once Read Many)ストレージのように利用可能 • データ保護のガバナンス、コンプライアンス対応、法令要件への対応 •

    オペレーションミスや悪意あるデータ削除や更新を避けることが可能 保持ルールはバケットに対して設定するが、各オブジェクトごとに最終更新 タイムスタンプに基づいてルールが適用される。 例)ObjectA(最終更新14ヶ月前)ObjectB(最終更新3ヶ月前)を含むバケットに 1年保持のルールを設定 → ObjectBに対しては今後9ヶ月の変更削除はできないがObjectAは可能 保持ルールを作成後に、ルールをロックすると管理者でもルールを削除する ことは不可能となる • ルールを作成した時点でルールはActiveになる • ルールのロックは即時実行不可。最短2週間後に実行をスケジュール。 オブジェクトの保持ルール(Retention Rules) Copyright © 2022 Oracle and/or its affiliates. 19
  14. • マルチパート・アップロードでは、オブジェクトの個々のパーツを並行してアップロードして、アップロードに費やす時間を短縮すること ができる。単一のアップロード操作に対して 大きすぎるオブジェクト、例えば 100MiB以上のオブジェクトをアップロードする場合 などに利用することをおすすめする。 • マルチパート・アップロードはコンソール、API 、CLIそしてSDKを介して実行する。 ⁃

    コンソールでは64MiBより大きいオブジェクトの場合マルチパート・アップロードが実行される マルチパート・アップロードの管理 Copyright © 2022 Oracle and/or its affiliates. 20 ① オブジェクト・パート の作成 ② アップロードの初期化 ③ アップロードの実行 ④ アップロードのコミット APIから実行する場合 CLIから実行する場合 ① マルチパート・ アップロードの実行 • APIを使用したマルチパート・アップロードで は、個々のパートのアップロード間で一時 停止/再開することが可能 • 個々のパートのアップロードに失敗した場 合も再試行できる • CLIを使用したマルチパート・アップロー ドでは、オブジェクト・パートの作成~ コミットまでを1ステップで完結できる • アップロードに失敗した場合、アップロー ド全体で再試行する必要がある ① 対象ファイルを分割 ・対象ファイルの分割 (最大50 GiB、最小10 MiB) ・パーツ番号の割当て(1から最大10,000) ② CreateMultipartUpload のコール ③ パーツ毎に UploadPart のコール ④ CommitMultipartUpload のコール ① 各パーツのサイズを --part-size オプショ ンにて指定し、 oci os object put コマンド を実行
  15. VCNからOCIのリージョン内のサービスにアクセスできる ゲートウェイ • 特徴 • インターネットを経由しない • OCIリージョン内にのみ到達できる • メリット

    • インターネット・ゲートウェイや NAT ゲートウェイ不要 • 外部との予期せぬ通信を防止できる • ユースケース • DBシステムのバックアップをオブジェクトストレージに取得 サービス・ゲートウェイにより、VCN内のリソースは、 オブジェクト・ストレージにセキュアにアクセス可能 サービス・ゲートウェイ経由でのプライベート・アクセス Copyright © 2022 Oracle and/or its affiliates. 21 リージョン 可用性ドメイン VCN 10.0.0.0/16 サブネットB 10.0.2.0/24 オブジェクト・ストレージ サービス・ ゲートウェイ 宛先サービス ルート ターゲット オブジェクトストレージ サービス サービス・ ゲートウェイ プライベートサブネット
  16. ネットワーク・ソース (アイデンティティ -> ネットワーク・ソース) を設定 することにより、オブジェクト・ストレージへのアクセスを、特定 のVCNまたは特定のIPアドレス帯に限定することが可能 1. ネットワーク・ソースの作成 •

    仮想クラウド・ネットワークまたはパブリック・ネットワークを選択 し、アクセス元となるIPアドレス/CIDRブロックを指定 • 「OCIサービスの許可」にチェックを入れることで、上記で指定 したネットワークに含まれていない場合でも、OCIのサービスが ユーザに代わってリソースに対するアクセスが実行可能になる 2. IAMポリシーの設定 • where句にて、リクエストの許可を1で作成したネットワーク・ ソースのみに設定 • ポリシーの設定例: ⇒ グループ’CorporateUsers’ に対して、ネットワーク・ソース ‘corpnet’ で 設定したネットワークからのみ、オブジェクト・ストレージへのアクセスを許可する ネットワーク・ソースを用いたオブジェクト・ストレージの保護 Copyright © 2022 Oracle and/or its affiliates. 22 Allow group CorporateUsers to manage object-family in tenancy where request.networkSource.name='corpnet'
  17. 日本語マニュアル – オブジェクト・ストレージ • https://docs.oracle.com/ja-jp/iaas/Content/Object/Concepts/objectstorageoverview.htm 日本語マニュアル – アーカイブ・ストレージ • https://docs.oracle.com/ja-jp/iaas/Content/Archive/Concepts/archivestorageoverview.htm

    チュートリアル – オブジェクト・ストレージを使う • https://oracle-japan.github.io/ocitutorials/beginners/object-storage/ オブジェクト・ストレージ 関連の技術情報 Copyright © 2022 Oracle and/or its affiliates. 24
  18. Oracle Cloud Infrastructure マニュアル (日本語 / 英語) • https://docs.cloud.oracle.com/iaas/api/ -

    APIリファレンス • https://docs.cloud.oracle.com/ja-jp/iaas/Content/General/Reference/aqswhitepapers.htm - テクニカ ル・ホワイト・ペーパー • https://docs.oracle.com/en-us/iaas/releasenotes/- リリースノート • https://docs.oracle.com/ja-jp/iaas/Content/knownissues.htm- 既知の問題(Known Issues) • https://docs.cloud.oracle.com/ja-jp/iaas/Content/General/Reference/graphicsfordiagrams.htm - OCIアイコン・ダイアグラム集(PPT、SVG、Visio用) ※ 日本語版は翻訳のタイムラグのため情報が古い場合があります。最新情報は英語版をご確認ください Oracle Cloud Infrastructure マニュアル・ドキュメント Copyright © 2022 Oracle and/or its affiliates. 25
  19. Oracle Cloud Infrastructure 活用資料集 • https://oracle-japan.github.io/ocidocs/ チュートリアル - Oracle Cloud

    Infrastructureを使ってみよう • https://oracle-japan.github.io/ocitutorials/ Oracle Cloud ウェビナーシリーズ • https://www.oracle.com/goto/ocws-jp Oracle 主催 セミナー、ハンズオン・ワークショップ • https://www.oracle.com/search/events/_/N-2bu/ Oracle Cloud Infrastructure – General Forum (英語) • https://cloudcustomerconnect.oracle.com/resources/9c8fa8f96f/summary Oracle Cloud Infrastructure トレーニング・技術フォーラム Copyright © 2022 Oracle and/or its affiliates. 26