上手く活用すればコスト削減につながる、ONTAPの Temperature Sensitive Storage Efficiency (TSSE) の紹介

by のんピ

Slide 1

Slide 1 text

上手く活用すればコスト削減につながる ONTAPの Temperature Sensitive Storage Efficiency (TSSE) の紹介  クラスメソッド株式会社のんピ  1

Slide 2

Slide 2 text

2 自己紹介 { "本名": "山本涼太 (覚えなくていいです)", "部署": "AWS事業本部コンサルティング部", "前職": "インフラエンジニア in データセンター", "興味のあること": "面白そうなブログネタ探し", "好きなAWSサービス": [ "Amazon FSx for NetApp ONTAP (FSxN)" "AWS Transit Gateway", "AWS Step Functions" "AWS CDK" ], "称号" : [ "2023 Japan AWS Ambassador", "NetApp Advanced Solution Leading Award 2023", ] }

Slide 3

Slide 3 text

3 みなさんコスト削減したいですか?

Slide 4

Slide 4 text

4 FSxNの課金要素にはストレージのサイズがある Primary Storage (SSD): プロビジョニングしたサイズ Capacity Pool Storage: 物理使用量 https://aws.amazon.com/jp/fsx/netapp-ontap/pricing/

Slide 5

Slide 5 text

5 そのため物理データ使用量の削減がコスト削減の近道

Slide 6

Slide 6 text

6 そんな時こそ Storage Efficiency

Slide 7

Slide 7 text

7 要するに Storage Efficiency (SE) を紹介するぞ

Slide 8

Slide 8 text

8 ちなみにこの登壇の内容をおおよそ網羅した内容が左の記事

Slide 9

Slide 9 text

9 Storage Efficiency (SE) とは ONTAP上でデータ削減を行う以下3つの処理を行う機能 ● 重複排除 ● 圧縮 ● データコンパクション

Slide 10

Slide 10 text

10 それぞれのイメージ

Slide 11

Slide 11 text

11 重複排除の仕組み ● 4KBのデータブロックごとに重複排除を実行 ● データブロックのフィンガープリント(FP)の比較と 1バイト単位での比較により高信頼な重複排除を実現

Slide 12

Slide 12 text

12 重複排除の実行のタイミングは2種類インライン重複排除ポストプロセス重複排除

Slide 13

Slide 13 text

13 圧縮の仕組み ● 8KB or 32KB のCompression Groups単位で圧縮 ○ Compression Groups未満のファイルは圧縮されない ● 圧縮効率を確認して最終的に圧縮を行うかを判断 ● 圧縮アルゴリズムは LZOPro or Zstandard

Slide 14

Slide 14 text

14 圧縮の実行のタイミングも2種類インライン圧縮ポストプロセス圧縮

Slide 15

Slide 15 text

15 圧縮の方式は2種類 Adaptive Compression Secondary Compression Compression Groupsサイズ 8KB 32KB 圧縮実行判断の圧縮効率閾値 - インライン : 50%以上 - ポストプロセス : 25%~50% 25%以上特徴 - 解凍単位が小さく、読み書きパフォーマンスに優れる - 特にランダムIO - 圧縮効率が高い

Slide 16

Slide 16 text

16 データコンパクションの概要 ● 使用量4KB未満の複数データブロックをまとめて格納 ○ インライン重複排除されたデータブロックは対象外 ● インライン圧縮でスキップされたCompression Groups未満のデータを圧縮

Slide 17

Slide 17 text

17 Storage Efficiencyのインライン処理の流れ

Slide 18

Slide 18 text

18 Storage Efficiencyのポストプロセス処理の流れ “圧縮” は “重複排除” の実行スケジュールと連動して実行される

Slide 19

Slide 19 text

19 Storage Efficiencyの問題点 ● インライン/ポストプロセスは同じ圧縮方式である必要性がある ○ 高アクセス頻度のデータをSecondary Compressionした場合のパフォーマンスが気になる ○ 低アクセス頻度のデータをAdaptive Compressionした場合のストレージ利用効率が気になる

Slide 20

Slide 20 text

20 そんな時に Temperature Sensitive Storage Efficiency (TSSE)

Slide 21

Slide 21 text

21 TSSEとは HotデータとColdデータで圧縮レベルを変更する仕組みデフォルトでは14⽇以上経過したブロックをCold判定パフォーマンスとストレージサイズの利用効率の両立

Slide 22

Slide 22 text

22 TSSEのその他の主な変更点 ● 圧縮がファイル単位からデータブロック単位に ● インライン重複排除をしてからインライン圧縮に ● ポストプロセス重複排除のトリガーがChange Log量に ● ポストプロセス圧縮のポストプロセス重複排除が連動しないように

Slide 23

Slide 23 text

23 TSSEの処理順序

Slide 24

Slide 24 text

24 TSSEの設定方法 ● ボリュームのStorage Efficiencyを有効化 ● ボリュームのStorage Efficiency Modeをefficienctに設定 ● ボリュームのApplication IO Sizeをautoに設定

Slide 25

Slide 25 text

25 FSxNでは SEを有効化するとデフォルトでTSSEが設定 (Inactive data compressionは無効)

Slide 26

Slide 26 text

26 もちろん重複排除や圧縮が効きにくいデータもある ● 既に重複排除や圧縮されているデータ ● 画像データ ● 動画データ ● 暗号化されているデータ要するにエントロピーが高い場合は効果が薄い

Slide 27

Slide 27 text

27 Storage Efficiencyによるデータ削減量の目安 https://aws.amazon.com/jp/fsx/netapp-ontap/faqs/

Slide 28

Slide 28 text

28 正直実際どのぐらい重複排除や圧縮でデータ削減されるのかはやってみなければ分からない ↓ 得られたデータ削減量が少ないことも

Slide 29

Slide 29 text

29 つまりはランニングコストの見積は期待しすぎない

Slide 30

Slide 30 text

30 とはいえ FSxNのみインライン/ポストプロセスのデータ削減機能があることは注目サービスデータ削減機能 EBS なし EFS なし S3 なし FSxW ポストプロセス重複排除 / ポストプロセス圧縮 FSxZ インライン圧縮

Slide 31

Slide 31 text

31 有効時のパフォーマンス影響にも注意とはされており、スループット向上も見込まれるが... https://aws.amazon.com/jp/fsx/netapp-ontap/faqs/