OCI技術資料 : オブジェクト・ストレージ 概要

Oracle Cloud Infrastructure (OCI) の技術説明資料、オブジェクト・ストレージの概要編 (Level 100) です。

安価で耐久性の高いストレージ・サービスであるOCIオブジェクト・ストレージについて解説しています。サービスのユースケースや、機能、VCN内からのプライベート・アクセスの方法などについてカバーしています。

Transcript

1. オブジェクト・ストレージ概要 Object Storage Level 100 Oracle Cloud Infrastructure 技術資料 2022年12月
2. Safe harbor statement 以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。また、 情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことはできません。以 下の事項は、マテリアルやコード、機能を提供することを確約するものではないため、購買 決定を行う際の判断材料になさらないで下さい。 オラクル製品に関して記載されている機能の開発、リリース、時期及び価格については、弊 社の裁量により決定され、変更される可能性があります。 Copyright © 2022 Oracle and/or its affiliates. 2
3. Oracle Cloud Infrastructure ストレージ・サービス Copyright © 2022 Oracle and/or its affiliates. 3 ローカル NVMe ブロック ボリューム ファイル ストレージ オブジェクト ストレージ アーカイブ ストレージ タイプ NVMe SSDベースの 一時ストレージ NVMe SSD ベースの ブロックストレージ NFSv3 互換 ファイルシステム 耐久性の高い オブジェクトストレージ 長期アーカイブと バックアップ 耐久性 耐久性はないが、 再起動後もデータは存続 耐久性あり (1AD内に複数のコピー) 耐久性あり (1AD内に複数のコピー) 高耐久性 (AD間で複数のコピー) 高耐久性 (AD間で複数のコピー) 容量 テラバイト以上 ペタバイト以上 エクサバイト以上 無制限 無制限 ユニットサイ ズ BM ： 51.2 TB VM ： 6.4～25.6 TB 50 GB ～ 32 TB/Vol 32vol/インスタンス 最大8エクサバイト 10 TB/オブジェクト 10 TB/オブジェクト ユース ケース ビッグデータ、OLTP、高パフ ォーマンスのワークロード SAN のような機能を必要と するアプリ (Oracle Database、エンタープライ ズアプリケーション) 共有ファイルシステムを必要 とするアプリ (EBS、HPC) ログ、画像、動画 など非構造化データ 長期的なアーカイブとバックア ップ(Oracle Database バ ックアップ)
4. Copyright © 2022 Oracle and/or its affiliates. 4 オブジェクト・ストレージ概要 Object Storage Intro
5. • データを容量的な制約なしに保存可能な信頼性の高いストレージ・プラットフォーム • データをオブジェクトとして管理するため、主に非構造化データ(画像、メディア・ファイル、ログ・ファイル、バックアップなど) の格納に最適 • 標準化された RESTful API を使用 • リージョンに有効なサービス(特定のコンピュート・インスタンスに関連付けられるようなサービスではない) • 用途に応じた3つのタイプ • 標準(Standard Object Storage) Hotデータ用の標準的なストレージ層、価格：1TB ¥3,570/月 • 頻度の低いアクセス(Infrequent Access Storage) アクセス頻度の低いCoolデータ用向き、価格：1TB ¥1,400/月+ Data Retrieval費 • アーカイブストレージ(Archive Storage) 超低価格アーカイブ・ストレージ、価格：1TB ¥364/月 • サービス・ゲートウェイを介して、VCN内のリソースからのプライベート接続が可能 • そのほか、高度な機能も提供 • クロスリージョンコピー、事前認証済みリクエスト、ライフサイクル・ルール、マルチパート・アップロード オブジェクト・ストレージ・サービス Copyright © 2022 Oracle and/or its affiliates. 5
6. コンテンツ・リポジトリ • データ、画像、ログ、ビデオなどの堅牢な保管場所として アーカイブ / バックアップ • 定期バックアップや、長期保管用のアーカイブの出力先として ログ・データ • 分析、デバッグ、トラブルシューティングのためのアプリケーショ ンログの保管場所として 大規模データセット • 製薬試験、ゲノム、IoTなど大量データ処理のためのストレー ジとして ビッグデータ • ビッグデータ用のプライマリ・データ保存場所として • HDFS Connectorを利用して Apache Spark、 MapReduce 等のジョブから直接オブジェクト・ストレージ上 へのデータへアクセス オブジェクト・ストレージのユースケース Copyright © 2022 Oracle and/or its affiliates. 6 非構造化データの 保持に最適 画像、動画、ログ etc.. Webアプリケーション 静的コンテンツ リポジトリ 分析 ステージング データベース バックアップ Object Storage ビッグデータ CloudBerry等 GUIツール
7. 強固な一貫性 • 取得時に常に最新データを提供 耐久性 • 複数のストレージ・サーバー間で冗長化してデータを保持 • データは常に監視され、破損データを検出した場合には自動で修復 性能 • コンピュートとオブジェクト・ストレージは同じ高速ネットワーク上に配置 カスタム・メタデータ • 独自のメタデータを定義可能 (Key-Value形式) 暗号化 • オブジェクトは自動的に暗号化(AES-256) オブジェクト・ストレージの特徴 Copyright © 2022 Oracle and/or its affiliates. 7
8. オブジェクト • コンテンツタイプに関係なく、すべてのデータはオブジェクトとして管理される。 (例: ログ、ビデオ) • 各オブジェクトは、オブジェクトそのものとオブジェクトのメタ・データで構成される。 バケット • オブジェクトを格納するための論理コンテナ。各オブジェクトはバケットに格納される。 名前空間 • 名前空間はすべてのバケットとオブジェクトのトップレベルコンテナとして機能する論理エンティティ • 各テナントには、すべてのコンパートメントとリージョンにまたがるグローバルな、一つかつ一意の名前空間が 提供される • バケット名はテナント + リージョン内で一意である必要がある。(別のリージョンでは同じ名前を使うことが可能) オブジェクト・ストレージのリソース Copyright © 2022 Oracle and/or its affiliates. 8
9. • オブジェクト・ストレージの 名前空間文字列 と バケット名 が オブジェクト名 に付加される。 • バケット内は フラットな階層 ただし、オブジェクト名にスラッシュ(/) を含むプレフィックス文字列を付与することでディレクトリ構造をシミュレート可能 • オブジェクトの接頭辞にパスをつけると、コンソール上では仮想フォルダとして表示および管理できる • CLI を使用して、階層の指定されたレベルにあるすべてのオブジェクトの一括ダウンロードおよび一括削除を実行可能。 その上または下のレベルのオブジェクトに影響を与えることはない。 ‐ 例えば、上記では CLIを使用して、 marathon/participants のサブレベルのオブジェクトをダウンロードまたは削除せずに marathon/ レベルのすべてのオブジェクトをダウンロードまたは削除可能 オブジェクトのネーミング Copyright © 2022 Oracle and/or its affiliates. 9 オブジェクトに付与される文字列 : /n/<object_storage_namespace>/b/<bucket_name>/o/<object_name> URLの例 : https://objectstorage.us-phoenix-1.oraclecloud.com/n/MyTenant/b/MyBucket/o/test.txt /n/ansh8tvru7zp/b/event_photos/o/marathon/finish_line.jpg /n/ansh8tvru7zp/b/event_photos/o/marathon/participants/p_21.jpg
10. 標準ストレージ階層(ホット) • 高速、即時、頻繁なアクセスが必要なデータが対象 • データの取り出しは即時に実行可能 • 標準バケットをアーカイブ・ストレージにダウングレードすることはできない 頻度の低いアクセス階層（クール） • アクセス頻度の低いデータが対象 • データにアクセスする際にData Retrieval費用がかかる • アクセス頻度の低い層の最小保存要件：31日 アーカイブ・ストレージ階層 (コールド) • 殆どアクセスされず、長期間保持、保存する必要があるデータが対象 • アーカイブ・ストレージの最小保存要件：90日 • ダウンロード前にオブジェクトを「リストア処理」を実行する必要がある ‐ リストアリクエストが実行されてからのTime To First Byte (TTFB)：１時間 • アーカイブ・バケットを標準ストレージにアップグレードすることはできない オブジェクト・ストレージの階層 Copyright © 2022 Oracle and/or its affiliates. 10 バケットは標準バケット、アーカイブ・バケットの２種類のみ
11. • アップロードされたデータは”Archived”ステータスとなり、すぐにはダウンロードできない。 • ダウンロード前に事前に「リストア処理」が必要。 • リストア処理を開始してからデータのダウンロードができるようになるまで最大１時間を要する。 • リストア後、所定の時間を経て、再びアーカイブステータスとなる。 ‐ リストア処理実行時に再アーカイブまでの時間を設定 1～240時間(デフォルト24時間) ‐ 再アーカイブされるまでは、オブジェクト・ストレージ（標準ストレージ階層）の料金が課金される • データアップロード後、90日以内にデータを削除、上書き、 名前変更した場合、追加の課金が発生。 ‐ 全90日分のデータ格納に対するコストを日割り計算した金額 【補足】アーカイブ・ストレージサービスの特性 Copyright © 2022 Oracle and/or its affiliates. 11 アーカイブ・バケット 再アーカイブ リストア （最大１時間） Archived Restored クライアント
12. Copyright © 2022 Oracle and/or its affiliates. 12 オブジェクト・ストレージの機能 Object Storage Capabilities
13. 事前認証済リクエスト • ユーザーが独自の資格情報を持たずにバケットまたはオブジェクトにアクセスできる ようにする方法を提供している。 • 指定された期間内のみ有効な、一意の URLを使用してアクセスできる。 • 任意のタイミングでリンクを取り消すことができる。 パブリック・バケット • バケットをパブリックにすることにより、不特定のユーザーが、認証・承認なしに バケットへの読み取りを実行できるようになる。(バケット作成時は、プライベート・バ ケットとなり、バケットへのアクセスには認証と承認が必要) • アクセスの種類を変更しても、設定済のPre-Authenticatedリクエストの設定に は影響しない。 Pre-Authenticatedリクエストは引き続き機能する。 アクセスと認証の管理 Copyright © 2022 Oracle and/or its affiliates. 13 URLの例 : https://objectstorage.us-ashburn-1.oraclecloud.com/p/p09Nx-f4UaLCN- MMOxGQIpobmMchgHQrSQv4Lr-aSzs/n/intoraclerohit/b/Image/o/kvm
14. • 同一リージョン内の他のバケットや他リージョンのバケットに オブジェクトをコピーする機能 • ユーザーに代わって、オブジェクトを管理するための設定が 必要 (リージョンごとに個別のポリシーを設定) ポリシーの設定例： • 作成済みのターゲット・バケットを指定する必要がある • コピー設定はオブジェクト毎に個別に設定する必要がある (複数オブジェクトの一括コピーは不可) • アーカイブ・ストレージからオブジェクトをコピーすることはで きない クロス・リージョン・コピー Copyright © 2022 Oracle and/or its affiliates. 14 allow service objectstorage-us-ashburn-1 to manage object-family in tenancy
15. • オブジェクトストレージのバケットから別のバケット（同一または別リー ジョン）のバケットへのレプリケーションする機能 ‐ DR構成、高可用性構成の実現 ‐ バケット単位での設定。ソースバケットと宛先バケットを指定 • ユーザーに代わってオブジェクトを管理するための設定が必要 (リージョン毎に個別のポリシーを設定) • レプリケーションの動作 ‐ 非同期レプリケーション ‐ レプリケーション・ポリシー設定後にレプリケーション元バケットの オブジェクトを操作（アップロード、削除）すると、自動的にレプ リケーション先に反映される ‐ レプリケーション先バケットはRead Onlyとなる バケットのレプリケーション Copyright © 2022 Oracle and/or its affiliates. 15 レプリケーション Tokyoリージョン オブジェクト・ストレージ ソースバケット VCN Osakaリージョン オブジェクト・ストレージ 宛先バケット VCN
16. • 「指定した日数が経過したオブジェクトを自動的にアーカイブまたは削除する」設定を定義可能 オブジェクトのライフサイクル管理 Copyright © 2022 Oracle and/or its affiliates. 16 • ユーザーに代わってオブジェクトを管理するための設定が必要 (リージョン毎に個別のポリシーを設定) • ライフサイクルのターゲットは、”オブジェクト”または”コミットされていないマル チパート・アップロード”が選択可能 ‐ ターゲットにオブジェクトを選択した場合、接頭辞一致やパターン一致を使用したフィルタリ ングが可能 ‐ フィルタが指定されていない場合、バケット内のすべてのオブジェクトにルールが適用される • オブジェクトを削除するルールは、そのオブジェクトをアーカイブするルールより も常に優先される • 各ルールは任意のタイミングで有効化および無効化できる 設定例： gloves_27 を接頭辞として設定した場合、下記のオブジェクトは全て対象となります。 /n/ansh8tvru7zp/b/apparel/o/gloves_27_dark_green /n/ansh8tvru7zp/b/apparel/o/gloves_27_light_blue
17. 自動階層化を設定することで、データのアクセスパターンを監視して、31日間アクセスされなかった1MiB以上のオブジェク トを自動的に標準層から頻度の低いアクセス層に移行してストレージ・コストを削減 • 標準バケットにのみ設定可能（アーカイブ・バケット、オブジェクト単位で設定できない） • 頻度の低いアクセス層に移行するライフサイクル・ポリシーがある場合自動階層化を有効にできない • 頻度の低いアクセス層に変更後、アクセス頻度が高くなると標準層に自動で移動（追加費用はかからない） ⁻ 追加費用…Data Retrieval費と全31日分のデータ格納に対するコストを日割り計算した金額 Copyright © 2022 Oracle and/or its affiliates. 17 自動階層化 31日後 アクセス頻度が高くなる 標準層 頻度の低いアクセス層
18. バケット単位でバージョニング設定を行うと、新規オブジェクトがアップロード、更新、削除された際に自動的にバージョニングさ れる • 明示的に全てのバージョンを削除する等しない限り、単なる削除でそれまでのバージョンは残り続ける • 削除オブジェクトも含めて全てのオブジェクト・バージョンが課金対象 • 削除済オブジェクトを表示することも可能 オブジェクトのバージョニング Copyright © 2022 Oracle and/or its affiliates. 18 Version.2 Version.1 “削除”オブジェクトが作成 DELETE XXXオブジェクトを 削除 バージョンを含む データ量に対して ストレージコストが発生
19. オブジェクトストレージのバケットに対して保持ルールを追加することで、 イミュータブル（不変）なオブジェクトストレージとして利用 • WORM（Write Once Read Many）ストレージのように利用可能 • データ保護のガバナンス、コンプライアンス対応、法令要件への対応 • オペレーションミスや悪意あるデータ削除や更新を避けることが可能 保持ルールはバケットに対して設定するが、各オブジェクトごとに最終更新 タイムスタンプに基づいてルールが適用される。 例）ObjectA（最終更新14ヶ月前）ObjectB（最終更新3ヶ月前）を含むバケットに 1年保持のルールを設定 → ObjectBに対しては今後9ヶ月の変更削除はできないがObjectAは可能 保持ルールを作成後に、ルールをロックすると管理者でもルールを削除する ことは不可能となる • ルールを作成した時点でルールはActiveになる • ルールのロックは即時実行不可。最短2週間後に実行をスケジュール。 オブジェクトの保持ルール（Retention Rules) Copyright © 2022 Oracle and/or its affiliates. 19
20. • マルチパート・アップロードでは、オブジェクトの個々のパーツを並行してアップロードして、アップロードに費やす時間を短縮すること ができる。単一のアップロード操作に対して 大きすぎるオブジェクト、例えば 100MiB以上のオブジェクトをアップロードする場合 などに利用することをおすすめする。 • マルチパート・アップロードはコンソール、API 、CLIそしてSDKを介して実行する。 ⁃ コンソールでは64MiBより大きいオブジェクトの場合マルチパート・アップロードが実行される マルチパート・アップロードの管理 Copyright © 2022 Oracle and/or its affiliates. 20 ① オブジェクト・パート の作成 ② アップロードの初期化 ③ アップロードの実行 ④ アップロードのコミット APIから実行する場合 CLIから実行する場合 ① マルチパート・ アップロードの実行 • APIを使用したマルチパート・アップロードで は、個々のパートのアップロード間で一時 停止/再開することが可能 • 個々のパートのアップロードに失敗した場 合も再試行できる • CLIを使用したマルチパート・アップロー ドでは、オブジェクト・パートの作成～ コミットまでを１ステップで完結できる • アップロードに失敗した場合、アップロー ド全体で再試行する必要がある ① 対象ファイルを分割 ・対象ファイルの分割 (最大50 GiB、最小10 MiB) ・パーツ番号の割当て(1から最大10,000) ② CreateMultipartUpload のコール ③ パーツ毎に UploadPart のコール ④ CommitMultipartUpload のコール ① 各パーツのサイズを --part-size オプショ ンにて指定し、 oci os object put コマンド を実行
21. VCNからOCIのリージョン内のサービスにアクセスできる ゲートウェイ • 特徴 • インターネットを経由しない • OCIリージョン内にのみ到達できる • メリット • インターネット・ゲートウェイや NAT ゲートウェイ不要 • 外部との予期せぬ通信を防止できる • ユースケース • DBシステムのバックアップをオブジェクトストレージに取得 サービス・ゲートウェイにより、VCN内のリソースは、 オブジェクト・ストレージにセキュアにアクセス可能 サービス・ゲートウェイ経由でのプライベート・アクセス Copyright © 2022 Oracle and/or its affiliates. 21 リージョン 可用性ドメイン VCN 10.0.0.0/16 サブネットB 10.0.2.0/24 オブジェクト・ストレージ サービス・ ゲートウェイ 宛先サービス ルート ターゲット オブジェクトストレージ サービス サービス・ ゲートウェイ プライベートサブネット
22. ネットワーク・ソース (アイデンティティ -> ネットワーク・ソース) を設定 することにより、オブジェクト・ストレージへのアクセスを、特定 のVCNまたは特定のIPアドレス帯に限定することが可能 1. ネットワーク・ソースの作成 • 仮想クラウド・ネットワークまたはパブリック・ネットワークを選択 し、アクセス元となるIPアドレス/CIDRブロックを指定 • 「OCIサービスの許可」にチェックを入れることで、上記で指定 したネットワークに含まれていない場合でも、OCIのサービスが ユーザに代わってリソースに対するアクセスが実行可能になる 2. IAMポリシーの設定 • where句にて、リクエストの許可を１で作成したネットワーク・ ソースのみに設定 • ポリシーの設定例： ⇒ グループ’CorporateUsers’ に対して、ネットワーク・ソース ‘corpnet’ で 設定したネットワークからのみ、オブジェクト・ストレージへのアクセスを許可する ネットワーク・ソースを用いたオブジェクト・ストレージの保護 Copyright © 2022 Oracle and/or its affiliates. 22 Allow group CorporateUsers to manage object-family in tenancy where request.networkSource.name='corpnet'
23. このレッスンでは、次のことを学習しました • 高性能オブジェクト・ストレージ・プラットフォーム • リージョンに配置されるサービス(特定のコンピューティング・インスタンスに関連付けられない) • 頻繁にアクセスされる「ホット」ストレージ、アクセス頻度の低い「クール」ストレージ、および殆どアクセスがない「コールド」 ストレージのニーズに対応する三つの異なるストレージ・クラスを提供 • サービス・ゲートウェイを介した、OCIリソースからのプライベート・アクセスをサポート • そのほか、高度な機能も提供 • クロスリージョンコピー、事前認証済みリクエスト、ライフサイクル・ルール、マルチパート・アップロード まとめ Copyright © 2022 Oracle and/or its affiliates. 23
24. 日本語マニュアル – オブジェクト・ストレージ • https://docs.oracle.com/ja-jp/iaas/Content/Object/Concepts/objectstorageoverview.htm 日本語マニュアル – アーカイブ・ストレージ • https://docs.oracle.com/ja-jp/iaas/Content/Archive/Concepts/archivestorageoverview.htm チュートリアル – オブジェクト・ストレージを使う • https://oracle-japan.github.io/ocitutorials/beginners/object-storage/ オブジェクト・ストレージ 関連の技術情報 Copyright © 2022 Oracle and/or its affiliates. 24
25. Oracle Cloud Infrastructure マニュアル (日本語 / 英語) • https://docs.cloud.oracle.com/iaas/api/ - APIリファレンス • https://docs.cloud.oracle.com/ja-jp/iaas/Content/General/Reference/aqswhitepapers.htm - テクニカ ル・ホワイト・ペーパー • https://docs.oracle.com/en-us/iaas/releasenotes/- リリースノート • https://docs.oracle.com/ja-jp/iaas/Content/knownissues.htm- 既知の問題(Known Issues) • https://docs.cloud.oracle.com/ja-jp/iaas/Content/General/Reference/graphicsfordiagrams.htm - OCIアイコン・ダイアグラム集(PPT、SVG、Visio用) ※ 日本語版は翻訳のタイムラグのため情報が古い場合があります。最新情報は英語版をご確認ください Oracle Cloud Infrastructure マニュアル・ドキュメント Copyright © 2022 Oracle and/or its affiliates. 25
26. Oracle Cloud Infrastructure 活用資料集 • https://oracle-japan.github.io/ocidocs/ チュートリアル - Oracle Cloud Infrastructureを使ってみよう • https://oracle-japan.github.io/ocitutorials/ Oracle Cloud ウェビナーシリーズ • https://www.oracle.com/goto/ocws-jp Oracle 主催 セミナー、ハンズオン・ワークショップ • https://www.oracle.com/search/events/_/N-2bu/ Oracle Cloud Infrastructure – General Forum (英語) • https://cloudcustomerconnect.oracle.com/resources/9c8fa8f96f/summary Oracle Cloud Infrastructure トレーニング・技術フォーラム Copyright © 2022 Oracle and/or its affiliates. 26
27. Thank you Copyright © 2022 Oracle and/or its affiliates. 27