Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
About Amazon S3 Intelligent-Tiering
Search
Isao Shimizu
December 12, 2018
Technology
2
1.5k
About Amazon S3 Intelligent-Tiering
RecoChoku Tech Night #09 4社合同 AWS re:Invent参加レポート
https://recochoku.connpass.com/event/104410/
Isao Shimizu
December 12, 2018
Tweet
Share
More Decks by Isao Shimizu
See All by Isao Shimizu
New Relicを活用したSREの最初のステップ / NRUG OKINAWA VOL.3
isaoshimizu
3
800
「家族アルバム みてね」における運用管理・ オブザーバビリティの全貌 / Overview of Operation Management and Observability in FamilyAlbum
isaoshimizu
4
290
約10年間MIXIのインフラを 支えてきたPagerDutyの活用事例 / PagerDuty on Tour 2024
isaoshimizu
6
980
家族アルバム みてねにおけるGrafana活用術 / Grafana Meetup Japan Vol.1 LT
isaoshimizu
1
1.6k
家族アルバム みてねで直面してきた技術的負債 / MIXI KAG 2024
isaoshimizu
18
8.8k
今年1年のEKS運用振り返り/3-shake SRE Tech Talk
isaoshimizu
2
330
ポストモーテムの基礎知識と最新事例 / Fundamentals of Postmortem
isaoshimizu
11
2.7k
全世界1,800万人が利用する「家族アルバム みてね」におけるNew Relic活用法 / FutureStack Tokyo 2023
isaoshimizu
1
470
『家族アルバム みてね』で計測しているSLIの事例 / SLI as measured in FamilyAlbum
isaoshimizu
3
730
Other Decks in Technology
See All in Technology
OpenAIの蒸留機能(Model Distillation)を使用して運用中のLLMのコストを削減する取り組み
pharma_x_tech
4
550
バクラクのドキュメント解析技術と実データにおける課題 / layerx-ccc-winter-2024
shimacos
2
1.1k
Turing × atmaCup #18 - 1st Place Solution
hakubishin3
0
470
PHPからGoへのマイグレーション for DMMアフィリエイト
yabakokobayashi
1
170
大幅アップデートされたRagas v0.2をキャッチアップ
os1ma
2
520
Amazon VPC Lattice 最新アップデート紹介 - PrivateLink も似たようなアップデートあったけど違いとは
bigmuramura
0
190
KubeCon NA 2024 Recap / Running WebAssembly (Wasm) Workloads Side-by-Side with Container Workloads
z63d
1
240
あの日俺達が夢見たサーバレスアーキテクチャ/the-serverless-architecture-we-dreamed-of
tomoki10
0
430
サイボウズフロントエンドエキスパートチームについて / FrontendExpert Team
cybozuinsideout
PRO
5
38k
alecthomas/kong はいいぞ / kamakura.go#7
fujiwara3
1
300
NW-JAWS #14 re:Invent 2024(予選落ち含)で 発表された推しアップデートについて
nagisa53
0
250
KnowledgeBaseDocuments APIでベクトルインデックス管理を自動化する
iidaxs
1
260
Featured
See All Featured
Optimizing for Happiness
mojombo
376
70k
[RailsConf 2023] Rails as a piece of cake
palkan
53
5k
Visualization
eitanlees
146
15k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
8
1.2k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
29
2k
Into the Great Unknown - MozCon
thekraken
33
1.5k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
111
49k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
232
17k
VelocityConf: Rendering Performance Case Studies
addyosmani
326
24k
Mobile First: as difficult as doing things right
swwweet
222
9k
Rails Girls Zürich Keynote
gr2m
94
13k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
2
290
Transcript
About Amazon S3 Intelligent-Tiering RecoChoku Tech Night #09 4 社合同
AWS re:Invent 参加レポート December 12, 2018 Isao Shimizu
About me 清水 勲 @isaoshimizu 株式会社ミクシィ ヴァンテージスタジオ みてね事業部 開発グループ 2011
年8 月 中途入社、SNS mixi アプリ運用チーム 2014 年4 月 モンスターストライク サーバーエンジニア、SRE 2018 年2 月 家族アルバム「みてね」 SRE AWS Dev Day Tokyo 2018 LT 大会 ベストスピーカー賞, AWS Summit Tokyo, TechLION, hbstudy, Internet Week, Think Japan IBM Code Day などの登壇, Qiita, Medium, Software Design 執筆 2
380 万人が使う No.1 家族アルバムアプリ「みてね」 国内版 「みてね」 https://mitene.us/ 米国版 「FamilyAlbum 」
https://family-album.com/ 特徴 子供の写真や動画を共有、整理 家族だけで安心して使えるアルバムアプリ フォトブック、DVD の販売 2015 年4 月 サービス開始 2017 年7 月 英語版提供開始 2018 年7 月 ユーザー数 300 万人突破 3
AWS re:Invent 2018 に初参加してきました セッションよりもワークショップを優先して参加 AWS RoboMaker やAWS DeepRacer のワークショップなど
Expo (企業ブース)でいろんな人と交流できる CloudFront とS3 のEBC に参加! 具体的な技術の話、フィードバックができてよかった 世界中のエンジニアの熱量を肌で感じられた AWS CEO Andy Jassy のKeynote のライブ感がよかった 大量の新発表と、それぞれの詳細なセッションやデモ ARM インスタンスのデモが面白かった 4
少しだけ現地の写真 5
None
None
None
None
None
None
None
None
ここから本題 14
Amazon S3 Intelligent-Tiering が発表されましたね!! 15
まずは Amazon S3 まわりのおさらい 16
Amazon S3 の特徴(概要) オブジェクトストレージ 99.999999999% (9 x 11) のデータ耐久性(可用性ではない) 可用性はストレージクラスによって異なる
さまざまなストレージクラス(後述) PCI-DSS 、HIPAA/HITECH 、FedRAMP 、EU データ保護指令、 FISMA などのコンプライアンスプログラム AWS Lambda との連携 Amazon Athena との連携、S3 Select (new!) S3 バッチオペレーション 17
Amazon S3 ストレージクラス S3 Standard (標準) S3 Standard-IA (S-IA) S3
One Zone-IA (Z-IA) S3 Glacier (Amazon Glacier -> Amazon S3 Glacier へ名称変更) (new!) S3 Glacier Deep Archive (new!) S3 Intelligent-Tiering (INT) 詳しくは次のページ以降に解説 ※2018 年12 月12 日における料金、条件のため、将来変更される可能性があります 18
S3 Standard (標準) 低レイテンシーかつ高スループットなパフォーマンス 3 つ以上のAZ に保存される 99.999999999% (9 x
11) のデータ耐久性 可用性 99.99% (1 年) ストレージ料金 最初の50TB/ 月 0.025USD/GB (Tokyo ) GET/SELECT/ 他 0.00037USD/1,000 リクエスト(Tokyo ) PUT/COPY/POST 0.0047USD/1,000 リクエスト(Tokyo ) 他にも転送などにかかる料金があります 19
S3 Standard-IA (標準-IA ) IA = Infrequent Access 低レイテンシーかつ高スループットなパフォーマンス 3
つ以上のAZ に保存される 99.999999999% (9 x 11) のデータ耐久性 可用性 99.9% (1 年) ストレージ料金 0.019USD/GB (Tokyo ) S3 標準の24% 安い GET/SELECT/ 他 0.001USD/1,000 リクエスト(Tokyo ) S3 標準の約2.7 倍高い PUT/COPY/POST 0.01USD/1,000 リクエスト(Tokyo ) S3 標準の約2.1 倍高い 他にも転送などにかかる料金があります 20
S3 One Zone-IA 低レイテンシーかつ高スループットなパフォーマンス 3 つ以上のAZ に保存される 99.999999999% (9 x
11) のデータ耐久性 可用性 99.5% (1 年) ストレージ料金 0.0152USD/GB (Tokyo ) S3 標準の約39% 安い、S3 Standard-IA の20% 安い GET/SELECT/ 他 0.001USD/1000 リクエスト(Tokyo ) S3 Standard-IA と同じ PUT/COPY/POST 0.01USD/1000 リクエスト(Tokyo ) S3 Standard-IA と同じ 他にも転送などにかかる料金があります 21
S3 Glacier 低コストな設計で長期アーカイブに最適 取得時間を設定可能(数分~数時間) 3 つ以上のAZ に保存される 99.999999999% (9 x
11) のデータ耐久性 (new!) S3 Glacier に直接アップロードする S3 PUT API ストレージ料金 月額 0.005USD/GB (Tokyo ) 取り出し料金 迅速 0.033USD/GB (サイズ次第で1 ~5 分以内で取り出しできる状態に) スタンダード版 0.011USD/GB (3 ~5 時間で取り出しできる状態に) 大容量 0.00275USD/GB (5 ~12 時間で取り出しできる状態に) 他にも転送やリクエストなどにかかる料金があります 22
(new!) S3 Glacier Deep Archive 2019 年公開予定 特に金融、ヘルスケア、パブリックセクターなどの規制が厳しい業界を対象 7 ~10
年以上データセットを保管するように設計されている 3 つ以上のAZ に保存される 99.999999999% (9 x 11) のデータ耐久性 ストレージ料金 月額 0.00099USD/GB (対象リージョン不明) S3 Glacier の約80% 安い その他詳細不明 23
(new!) Amazon S3 Intelligent-Tiering 24
Amazon S3 Intelligent-Tiering 概要 データを最もコスト効率の高いストレージ・アクセス層に自動的に 移動 これによってコストを最小限に抑える パフォーマンスに影響なし、操作上のオーバーヘッドなし すべてのAWS リージョンで使用可能
低レイテンシーかつ高スループットなパフォーマンス 3 つ以上のAZ に保存される 99.999999999% (9 x 11) のデータ耐久性 可用性 99.9% (1 年) ※S3 Standard-IA と同じ 25
Amazon S3 Intelligent-Tiering 具体的な挙動 オブジェクトのアクセスパターンを監視し、30 日間連続してアクセ スされていないオブジェクトをまれなアクセス層に移動 アクセス頻度の低いアクセス層のオブジェクトにアクセスする場合 は、頻繁なアクセス層に自動的に戻される アクセスパターンが未知または予測不能で、長期間使用するデータ
で理想的 128KB 未満のオブジェクトは自動階層化に適していないため、常に 高頻度アクセス層に格納される 26
Amazon S3 アクセスパターンを知る(ストレージクラス分析) S3 のコンソールから分析 フィルタの追加 ※通常、分析結果の生成に十分な情報を収集するには、アクセスパターンの監視に約30 日かかる 料金: モニタリングされるオブジェクト
100 万個あたり 0.10USD/ 月(Tokyo ) 27
Amazon S3 ストレージクラス分析結果例 https://aws.amazon.com/jp/blogs/news/s3-storage-management-update-analytics- object-tagging-inventory-and-metrics/ より抜粋 28
Amazon S3 Intelligent-Tiering 料金 ストレージ料金 高頻度アクセス層 0.025USD/GB (Tokyo ) ※S3
Standard と同じ 低頻度アクセス層 0.019USD/GB (Tokyo ) ※S3 S-IA と同じ モニタリング・オートメーション 月 0.0025USD/1,000 オブジェクト GET/SELECT/ 他 0.00037USD/1,000 リクエスト(Tokyo ) PUT/COPY/POST 0.0047USD/1,000 リクエスト(Tokyo ) S3 Standard と同じ 他にも転送などにかかる料金があります 29
S3 Intelligent-Tiering を使うためには アップロード時に指定する(コンソール) 30
アップロード時に指定する(API ) HTTP リクエストヘッダ x-amz-storage-class に INTELLIGENT_TIERING を指定する https://docs.aws.amazon.com/AmazonS3/latest/API/RESTObjectPUT.html 31
ライフサイクルで S3 Intelligent-Tiering に移行する " インテリジェントな階層化への移行の期限" に " オブジェクトが最新バージョンでなくなってからの日数(オブジェクトが作成されてからの日数)" を指定する
ゼロを指定すればアップロード済みのすべてのオブジェクトがS3 INT へ移行する 10 を指定すれば作成(アップロード)されて10 日経ったオブジェクトがS3 INT へ移行する 32
まとめ S3 のストレージクラスの特徴について、正しく理解してコストパフ ォーマンスを最適化 S3 Intelligent-Tiering 自動的にアクセス頻度に合わせてTier を変えてくれるので便利 ストレージコストとしては今以上に増えないが、オブジェクト数 に応じたモニタリング・オートメーションの費用が発生するので
注意 128KB 以下のファイルが多いケースには適していないので注意 33
Join our team!! https://mitene.us/recruit 34