Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
About Amazon S3 Intelligent-Tiering
Search
Isao Shimizu
December 12, 2018
Technology
2
1.4k
About Amazon S3 Intelligent-Tiering
RecoChoku Tech Night #09 4社合同 AWS re:Invent参加レポート
https://recochoku.connpass.com/event/104410/
Isao Shimizu
December 12, 2018
Tweet
Share
More Decks by Isao Shimizu
See All by Isao Shimizu
「家族アルバム みてね」における運用管理・ オブザーバビリティの全貌 / Overview of Operation Management and Observability in FamilyAlbum
isaoshimizu
4
200
約10年間MIXIのインフラを 支えてきたPagerDutyの活用事例 / PagerDuty on Tour 2024
isaoshimizu
6
900
家族アルバム みてねにおけるGrafana活用術 / Grafana Meetup Japan Vol.1 LT
isaoshimizu
1
1.5k
家族アルバム みてねで直面してきた技術的負債 / MIXI KAG 2024
isaoshimizu
18
8.7k
今年1年のEKS運用振り返り/3-shake SRE Tech Talk
isaoshimizu
2
290
ポストモーテムの基礎知識と最新事例 / Fundamentals of Postmortem
isaoshimizu
11
2.5k
全世界1,800万人が利用する「家族アルバム みてね」におけるNew Relic活用法 / FutureStack Tokyo 2023
isaoshimizu
1
430
『家族アルバム みてね』で計測しているSLIの事例 / SLI as measured in FamilyAlbum
isaoshimizu
3
710
4年間の取り組みで実現したコンテナ技術を活用したスケーラブルなインフラ構築とコスト削減 / Container Summit 2023
isaoshimizu
1
200
Other Decks in Technology
See All in Technology
Applied NLP with LLMs: Beyond Black-Box Monoliths
inesmontani
PRO
0
110
Low Latency Join Method for Distributed DBMS
yugabytejapan
0
180
ゼロから実装まで!機械学習入門
natsuki0726
0
220
Castor - Le Task Runner PHP qui simplifie votre Workflow
lyrixx
1
320
Road to Single Activity Uncovered
yurihondo
0
100
Efficient zero-copy networking using io_uring
ennael
PRO
0
410
ドキュメントとの付き合い方を考える
leveragestech
2
160
これはPerl? それともRuby? クイズ〜〜〜〜〜!!!- Perl or Ruby Quiz
moznion
3
2k
入社半年(合計1年)でGoogle Cloud 認定を全冠した秘訣🤫
risatube
1
250
Graph Database と Generative AI の素敵な関係
oracle4engineer
PRO
16
2.9k
KubeVirt Networking ONIC 2024
orimanabu
4
680
tenntennはなんでnewmoにnew社したの? - YAPC::Hakodate 2024
tenntenn
PRO
0
360
Featured
See All Featured
Teambox: Starting and Learning
jrom
132
8.7k
Robots, Beer and Maslow
schacon
PRO
157
8.2k
It's Worth the Effort
3n
183
27k
Clear Off the Table
cherdarchuk
91
320k
Designing on Purpose - Digital PM Summit 2013
jponch
114
6.9k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
27
1.9k
Making the Leap to Tech Lead
cromwellryan
131
8.9k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
126
18k
RailsConf 2023
tenderlove
28
850
Six Lessons from altMBA
skipperchong
26
3.4k
Become a Pro
speakerdeck
PRO
24
4.9k
The Invisible Customer
myddelton
119
13k
Transcript
About Amazon S3 Intelligent-Tiering RecoChoku Tech Night #09 4 社合同
AWS re:Invent 参加レポート December 12, 2018 Isao Shimizu
About me 清水 勲 @isaoshimizu 株式会社ミクシィ ヴァンテージスタジオ みてね事業部 開発グループ 2011
年8 月 中途入社、SNS mixi アプリ運用チーム 2014 年4 月 モンスターストライク サーバーエンジニア、SRE 2018 年2 月 家族アルバム「みてね」 SRE AWS Dev Day Tokyo 2018 LT 大会 ベストスピーカー賞, AWS Summit Tokyo, TechLION, hbstudy, Internet Week, Think Japan IBM Code Day などの登壇, Qiita, Medium, Software Design 執筆 2
380 万人が使う No.1 家族アルバムアプリ「みてね」 国内版 「みてね」 https://mitene.us/ 米国版 「FamilyAlbum 」
https://family-album.com/ 特徴 子供の写真や動画を共有、整理 家族だけで安心して使えるアルバムアプリ フォトブック、DVD の販売 2015 年4 月 サービス開始 2017 年7 月 英語版提供開始 2018 年7 月 ユーザー数 300 万人突破 3
AWS re:Invent 2018 に初参加してきました セッションよりもワークショップを優先して参加 AWS RoboMaker やAWS DeepRacer のワークショップなど
Expo (企業ブース)でいろんな人と交流できる CloudFront とS3 のEBC に参加! 具体的な技術の話、フィードバックができてよかった 世界中のエンジニアの熱量を肌で感じられた AWS CEO Andy Jassy のKeynote のライブ感がよかった 大量の新発表と、それぞれの詳細なセッションやデモ ARM インスタンスのデモが面白かった 4
少しだけ現地の写真 5
None
None
None
None
None
None
None
None
ここから本題 14
Amazon S3 Intelligent-Tiering が発表されましたね!! 15
まずは Amazon S3 まわりのおさらい 16
Amazon S3 の特徴(概要) オブジェクトストレージ 99.999999999% (9 x 11) のデータ耐久性(可用性ではない) 可用性はストレージクラスによって異なる
さまざまなストレージクラス(後述) PCI-DSS 、HIPAA/HITECH 、FedRAMP 、EU データ保護指令、 FISMA などのコンプライアンスプログラム AWS Lambda との連携 Amazon Athena との連携、S3 Select (new!) S3 バッチオペレーション 17
Amazon S3 ストレージクラス S3 Standard (標準) S3 Standard-IA (S-IA) S3
One Zone-IA (Z-IA) S3 Glacier (Amazon Glacier -> Amazon S3 Glacier へ名称変更) (new!) S3 Glacier Deep Archive (new!) S3 Intelligent-Tiering (INT) 詳しくは次のページ以降に解説 ※2018 年12 月12 日における料金、条件のため、将来変更される可能性があります 18
S3 Standard (標準) 低レイテンシーかつ高スループットなパフォーマンス 3 つ以上のAZ に保存される 99.999999999% (9 x
11) のデータ耐久性 可用性 99.99% (1 年) ストレージ料金 最初の50TB/ 月 0.025USD/GB (Tokyo ) GET/SELECT/ 他 0.00037USD/1,000 リクエスト(Tokyo ) PUT/COPY/POST 0.0047USD/1,000 リクエスト(Tokyo ) 他にも転送などにかかる料金があります 19
S3 Standard-IA (標準-IA ) IA = Infrequent Access 低レイテンシーかつ高スループットなパフォーマンス 3
つ以上のAZ に保存される 99.999999999% (9 x 11) のデータ耐久性 可用性 99.9% (1 年) ストレージ料金 0.019USD/GB (Tokyo ) S3 標準の24% 安い GET/SELECT/ 他 0.001USD/1,000 リクエスト(Tokyo ) S3 標準の約2.7 倍高い PUT/COPY/POST 0.01USD/1,000 リクエスト(Tokyo ) S3 標準の約2.1 倍高い 他にも転送などにかかる料金があります 20
S3 One Zone-IA 低レイテンシーかつ高スループットなパフォーマンス 3 つ以上のAZ に保存される 99.999999999% (9 x
11) のデータ耐久性 可用性 99.5% (1 年) ストレージ料金 0.0152USD/GB (Tokyo ) S3 標準の約39% 安い、S3 Standard-IA の20% 安い GET/SELECT/ 他 0.001USD/1000 リクエスト(Tokyo ) S3 Standard-IA と同じ PUT/COPY/POST 0.01USD/1000 リクエスト(Tokyo ) S3 Standard-IA と同じ 他にも転送などにかかる料金があります 21
S3 Glacier 低コストな設計で長期アーカイブに最適 取得時間を設定可能(数分~数時間) 3 つ以上のAZ に保存される 99.999999999% (9 x
11) のデータ耐久性 (new!) S3 Glacier に直接アップロードする S3 PUT API ストレージ料金 月額 0.005USD/GB (Tokyo ) 取り出し料金 迅速 0.033USD/GB (サイズ次第で1 ~5 分以内で取り出しできる状態に) スタンダード版 0.011USD/GB (3 ~5 時間で取り出しできる状態に) 大容量 0.00275USD/GB (5 ~12 時間で取り出しできる状態に) 他にも転送やリクエストなどにかかる料金があります 22
(new!) S3 Glacier Deep Archive 2019 年公開予定 特に金融、ヘルスケア、パブリックセクターなどの規制が厳しい業界を対象 7 ~10
年以上データセットを保管するように設計されている 3 つ以上のAZ に保存される 99.999999999% (9 x 11) のデータ耐久性 ストレージ料金 月額 0.00099USD/GB (対象リージョン不明) S3 Glacier の約80% 安い その他詳細不明 23
(new!) Amazon S3 Intelligent-Tiering 24
Amazon S3 Intelligent-Tiering 概要 データを最もコスト効率の高いストレージ・アクセス層に自動的に 移動 これによってコストを最小限に抑える パフォーマンスに影響なし、操作上のオーバーヘッドなし すべてのAWS リージョンで使用可能
低レイテンシーかつ高スループットなパフォーマンス 3 つ以上のAZ に保存される 99.999999999% (9 x 11) のデータ耐久性 可用性 99.9% (1 年) ※S3 Standard-IA と同じ 25
Amazon S3 Intelligent-Tiering 具体的な挙動 オブジェクトのアクセスパターンを監視し、30 日間連続してアクセ スされていないオブジェクトをまれなアクセス層に移動 アクセス頻度の低いアクセス層のオブジェクトにアクセスする場合 は、頻繁なアクセス層に自動的に戻される アクセスパターンが未知または予測不能で、長期間使用するデータ
で理想的 128KB 未満のオブジェクトは自動階層化に適していないため、常に 高頻度アクセス層に格納される 26
Amazon S3 アクセスパターンを知る(ストレージクラス分析) S3 のコンソールから分析 フィルタの追加 ※通常、分析結果の生成に十分な情報を収集するには、アクセスパターンの監視に約30 日かかる 料金: モニタリングされるオブジェクト
100 万個あたり 0.10USD/ 月(Tokyo ) 27
Amazon S3 ストレージクラス分析結果例 https://aws.amazon.com/jp/blogs/news/s3-storage-management-update-analytics- object-tagging-inventory-and-metrics/ より抜粋 28
Amazon S3 Intelligent-Tiering 料金 ストレージ料金 高頻度アクセス層 0.025USD/GB (Tokyo ) ※S3
Standard と同じ 低頻度アクセス層 0.019USD/GB (Tokyo ) ※S3 S-IA と同じ モニタリング・オートメーション 月 0.0025USD/1,000 オブジェクト GET/SELECT/ 他 0.00037USD/1,000 リクエスト(Tokyo ) PUT/COPY/POST 0.0047USD/1,000 リクエスト(Tokyo ) S3 Standard と同じ 他にも転送などにかかる料金があります 29
S3 Intelligent-Tiering を使うためには アップロード時に指定する(コンソール) 30
アップロード時に指定する(API ) HTTP リクエストヘッダ x-amz-storage-class に INTELLIGENT_TIERING を指定する https://docs.aws.amazon.com/AmazonS3/latest/API/RESTObjectPUT.html 31
ライフサイクルで S3 Intelligent-Tiering に移行する " インテリジェントな階層化への移行の期限" に " オブジェクトが最新バージョンでなくなってからの日数(オブジェクトが作成されてからの日数)" を指定する
ゼロを指定すればアップロード済みのすべてのオブジェクトがS3 INT へ移行する 10 を指定すれば作成(アップロード)されて10 日経ったオブジェクトがS3 INT へ移行する 32
まとめ S3 のストレージクラスの特徴について、正しく理解してコストパフ ォーマンスを最適化 S3 Intelligent-Tiering 自動的にアクセス頻度に合わせてTier を変えてくれるので便利 ストレージコストとしては今以上に増えないが、オブジェクト数 に応じたモニタリング・オートメーションの費用が発生するので
注意 128KB 以下のファイルが多いケースには適していないので注意 33
Join our team!! https://mitene.us/recruit 34