Tweet
Tweet

Slide 1

Slide 1 text

ノイジーネイバーにさようなら ～FSx for NetApp ONTAPのQoS機能～ 2023/9/12Storage-JAWS LT会 富士通株式会社 齋藤理沙子 © 2023 Fujitsu Limited 1

Slide 2

Slide 2 text

自己紹介 齋藤理沙子 富士通株式会社 オンプレからクラウドまで、インフラまわり色々 2023 Japan AWS Jr. Champions 2023 Japan AWS All Certifications Engineers 好きなサービス：FSx for NetApp ONTAP © 2023 Fujitsu Limited 2

Slide 3

Slide 3 text

Japan AWS Jr. Championsとは？ © 2023 Fujitsu Limited 社会人歴 1 ～ 3 年目 AWS を積極的に学び、 アクションを起こし周囲に影響を与えている APN参加企業の 若手エンジニア が選出され、インプットとアウトプットの場が 提供されるプログラム 3

Slide 4

Slide 4 text

Japan AWS Jr. Championsとは？ © 2023 Fujitsu Limited 2023 Japan AWS Jr. Championsキックオフにて 4

Slide 5

Slide 5 text

富士通の取り組み © 2023 Fujitsu Limited 富士通は2023/8/30に プレミアティアサービスパートナー認定を取得しました 富士通プレスリリース 「富士通が「AWS プレミアティアサービスパートナー」認定を取得」 https://pr.fujitsu.com/jp/news/2023/08/30.html 5

Slide 6

Slide 6 text

Japan AWS Jr. Championsとは？(参考サイト) © 2023 Fujitsu Limited AWS公式サイト AWS JAPAN APNブログ 「2023 AWS Jr. Champions クライテリアと申し込みサイトのお知らせ」 AWS JAPAN APNブログ 「2023 Japan AWS Jr. Champions の発表」 個人ブログ Qiita 「Japan AWS Jr. Championになったきっかけ」 (Jr. Championsとしてどういった活動をしているかも書いてます) 6

Slide 7

Slide 7 text

FSx © 2023 Fujitsu Limited ファイルストレージサービス 4つのシステムから選択できる(2023/9/4 時点) 出典：https://aws.amazon.com/jp/fsx/ 7

Slide 8

Slide 8 text

FSx for NetApp ONTAP ⚫AWS 環境でONTAPのデータアクセス・管理機能を利用できる ⚫ファイルシステムごとに最大数GB/秒のスループット、 数十万のIOPSを実現できる ⚫ONTAPのストレージ効率とコスト削減機能(圧縮や重複排除)が 利用できる © 2023 Fujitsu Limited 8

Slide 9

Slide 9 text

複数ワークロードで ストレージを共有するときに 起こりうる問題 © 2023 Fujitsu Limited 9

Slide 10

Slide 10 text

ノイジーネイバー問題 © 2023 Fujitsu Limited ストレージ 複数のワークロードがストレージを共有する VM VM VM VM VM 10

Slide 11

Slide 11 text

ノイジーネイバー問題 © 2023 Fujitsu Limited ストレージ あるワークロードがストレージのリソースを大量に使用する 例：ストレージへ頻繁にアクセスしI/Oリソースを独占する VM VM VM VM VM 11

Slide 12

Slide 12 text

ノイジーネイバー問題 © 2023 Fujitsu Limited ストレージ 他ワークロードのレスポンスの低下・レイテンシ増大 VM VM VM VM VM 遅いなあ ～♪ 遅いなあ 遅い… 遅い 12

Slide 13

Slide 13 text

ノイジーネイバーが発生する原因 例えば以下のタスクがノイジーネイバーになり得る ⚫バックアップジョブ ⚫ソフトウェアのパッチ適用 ⚫社員が一斉に仮想デスクトップを起動する(ブートストーム) © 2023 Fujitsu Limited 13

Slide 14

Slide 14 text

ノイジーネイバー問題への対処～QoS機能～ QoS (Quality of Service) ネットワーク上で提供するサービス品質 FSx for NetApp ONTAPにはQoS機能が組み込まれており、 QoSポリシーを使うと特定のワークロードのパフォーマンスに 上限を設定できる © 2023 Fujitsu Limited 14

Slide 15

Slide 15 text

QoS機能によるパフォーマンス制御を 試してみよう © 2023 Fujitsu Limited 15

Slide 16

Slide 16 text

検証環境作ろう！ 6つのEC2にFSx for NetApp ONTAPのボリュームをマウント © 2023 Fujitsu Limited ノイジーネイバー 16

Slide 17

Slide 17 text

ベンチマークテストとパフォーマンス制御 テスト方法 ⚫FSx for NetApp ONTAPのボリュームをマウントした各EC2から ベンチマークテストを行うコマンド(fio)を20分間実行する ⚫fioコマンドでボリュームにランダム読み取り書き込みさせる ⚫ノイジーネイバーのEC2は読み取り書き込みのスレッド数を増やす ⚫ノイジーネイバーのワークロードのIOPSを制限するポリシーを アタッチしてIOPSの変化を見る © 2023 Fujitsu Limited 17

Slide 18

Slide 18 text

ベンチマークテスト 以下コマンドでボリュームにランダム読み取り書き込みをさせる © 2023 Fujitsu Limited ノイジーネイバー(numjobsを100にする) sudo fio --filename=<マウントポイント/ファイル名> --direct=1 -- rw=randrw --bs=4k --ioengine=libaio --iodepth=256 --runtime=1200 -- numjobs=100 --time_based --group_reporting --eta-newline=1 - size=1MB --name=IOPS-test-job 非ノイジーネイバー sudo fio --filename=<マウントポイント/ファイル名> --direct=1 -- rw=randrw --bs=4k --ioengine=libaio --iodepth=256 --runtime=1200 -- numjobs=2 --time_based --group_reporting --eta-newline=1 -size=1MB --name=IOPS-test-job 18

Slide 19

Slide 19 text

FSx for NetApp ONTAPにQoSポリシーを適用する FSx for NetApp ONTAPの管理エンドポイントに接続したEC2で ノイジーネイバーのワークロードにQoSポリシーを適用する © 2023 Fujitsu Limited ポリシー作成 qos policy-group create policy1 -vserver <サーバ名> -max-throughput 2000IOPS -is-shared false ポリシーアタッチ volume modify -volume <ボリューム名> -qos-policy-group policy1 19

Slide 20

Slide 20 text

CLIで性能を見る © 2023 Fujitsu Limited FSx for NetApp ONTAPの管理エンドポイントに接続したEC2で fioコマンド実行中の各ボリュームの性能を表示することができる 20

Slide 21

Slide 21 text

QoSポリシー適用結果 © 2023 Fujitsu Limited 4:55にノイジーネイバーインスタンス(vol3～vol6)のIOPSを 2,000オペレーション/秒に制限 2.00k Vol4のIOPSメトリクス 21

Slide 22

Slide 22 text

QoSポリシー適用結果 © 2023 Fujitsu Limited 4:55以降、Vol2(ポリシーをアタッチしていない)の IOPSが向上している 3.00k Vol2のIOPSメトリクス 22

Slide 23

Slide 23 text

まとめ ⚫ノイジーネイバー：ストレージを共有する他のワークロードの パフォーマンスに影響が出るほどストレージのリソースを 大量に使っているワークロード ⚫FSx for NetApp ONTAPは高性能のファイルシステムで、 ワークロードのパフォーマンスに上限をかけるQoS機能が使える ⚫QoS機能でノイジーネイバーのリソース使用に上限を掛け、 他ワークロードのパフォーマンス低下を抑えることができる © 2023 Fujitsu Limited 23

Slide 24

Slide 24 text

参考サイト AWS「Amazon FSx」 https://aws.amazon.com/jp/fsx/ Amazon Web Servicesブログ 「Amazon FSx for NetApp ONTAP で Quality of Service を使用する」 https://aws.amazon.com/jp/blogs/news/using-quality-of-service-in- amazon-fsx-for-netapp-ontap/ Amazon Web Servicesブログ 「AWS ファイルストレージサービスの選び方」 https://aws.amazon.com/jp/blogs/news/choose-filestorageservice/ © 2023 Fujitsu Limited 24

Slide 25

Slide 25 text

© 2023 Fujitsu Limited Thank you