ノイジーネイバーにさようなら FSx for NetApp ONTAP の QoS 機能～

2023/9/12 Storage JAWS LT 会にて
https://storage-jaws.connpass.com/event/293377/

Transcript

1. ノイジーネイバーにさようなら ～FSx for NetApp ONTAPのQoS機能～ 2023/9/12Storage-JAWS LT会 富士通株式会社 齋藤理沙子 © 2023 Fujitsu Limited 1
2. 自己紹介 齋藤理沙子 富士通株式会社 オンプレからクラウドまで、インフラまわり色々 2023 Japan AWS Jr. Champions 2023 Japan AWS All Certifications Engineers 好きなサービス：FSx for NetApp ONTAP © 2023 Fujitsu Limited 2
3. Japan AWS Jr. Championsとは？ © 2023 Fujitsu Limited 社会人歴 1 ～ 3 年目 AWS を積極的に学び、 アクションを起こし周囲に影響を与えている APN参加企業の 若手エンジニア が選出され、インプットとアウトプットの場が 提供されるプログラム 3
4. Japan AWS Jr. Championsとは？ © 2023 Fujitsu Limited 2023 Japan AWS Jr. Championsキックオフにて 4
5. 富士通の取り組み © 2023 Fujitsu Limited 富士通は2023/8/30に プレミアティアサービスパートナー認定を取得しました 富士通プレスリリース 「富士通が「AWS プレミアティアサービスパートナー」認定を取得」 https://pr.fujitsu.com/jp/news/2023/08/30.html 5
6. Japan AWS Jr. Championsとは？(参考サイト) © 2023 Fujitsu Limited AWS公式サイト AWS JAPAN APNブログ 「2023 AWS Jr. Champions クライテリアと申し込みサイトのお知らせ」 AWS JAPAN APNブログ 「2023 Japan AWS Jr. Champions の発表」 個人ブログ Qiita 「Japan AWS Jr. Championになったきっかけ」 (Jr. Championsとしてどういった活動をしているかも書いてます) 6
7. FSx © 2023 Fujitsu Limited ファイルストレージサービス 4つのシステムから選択できる(2023/9/4 時点) 出典：https://aws.amazon.com/jp/fsx/ 7
8. FSx for NetApp ONTAP ⚫AWS 環境でONTAPのデータアクセス・管理機能を利用できる ⚫ファイルシステムごとに最大数GB/秒のスループット、 数十万のIOPSを実現できる ⚫ONTAPのストレージ効率とコスト削減機能(圧縮や重複排除)が 利用できる © 2023 Fujitsu Limited 8
9. 複数ワークロードで ストレージを共有するときに 起こりうる問題 © 2023 Fujitsu Limited 9
10. ノイジーネイバー問題 © 2023 Fujitsu Limited ストレージ 複数のワークロードがストレージを共有する VM VM VM VM VM 10
11. ノイジーネイバー問題 © 2023 Fujitsu Limited ストレージ あるワークロードがストレージのリソースを大量に使用する 例：ストレージへ頻繁にアクセスしI/Oリソースを独占する VM VM VM VM VM 11
12. ノイジーネイバー問題 © 2023 Fujitsu Limited ストレージ 他ワークロードのレスポンスの低下・レイテンシ増大 VM VM VM VM VM 遅いなあ ～♪ 遅いなあ 遅い… 遅い 12
13. ノイジーネイバーが発生する原因 例えば以下のタスクがノイジーネイバーになり得る ⚫バックアップジョブ ⚫ソフトウェアのパッチ適用 ⚫社員が一斉に仮想デスクトップを起動する(ブートストーム) © 2023 Fujitsu Limited 13
14. ノイジーネイバー問題への対処～QoS機能～ QoS (Quality of Service) ネットワーク上で提供するサービス品質 FSx for NetApp ONTAPにはQoS機能が組み込まれており、 QoSポリシーを使うと特定のワークロードのパフォーマンスに 上限を設定できる © 2023 Fujitsu Limited 14
15. QoS機能によるパフォーマンス制御を 試してみよう © 2023 Fujitsu Limited 15
16. 検証環境作ろう！ 6つのEC2にFSx for NetApp ONTAPのボリュームをマウント © 2023 Fujitsu Limited ノイジーネイバー 16
17. ベンチマークテストとパフォーマンス制御 テスト方法 ⚫FSx for NetApp ONTAPのボリュームをマウントした各EC2から ベンチマークテストを行うコマンド(fio)を20分間実行する ⚫fioコマンドでボリュームにランダム読み取り書き込みさせる ⚫ノイジーネイバーのEC2は読み取り書き込みのスレッド数を増やす ⚫ノイジーネイバーのワークロードのIOPSを制限するポリシーを アタッチしてIOPSの変化を見る © 2023 Fujitsu Limited 17
18. ベンチマークテスト 以下コマンドでボリュームにランダム読み取り書き込みをさせる © 2023 Fujitsu Limited ノイジーネイバー(numjobsを100にする) sudo fio --filename=<マウントポイント/ファイル名> --direct=1 -- rw=randrw --bs=4k --ioengine=libaio --iodepth=256 --runtime=1200 -- numjobs=100 --time_based --group_reporting --eta-newline=1 - size=1MB --name=IOPS-test-job 非ノイジーネイバー sudo fio --filename=<マウントポイント/ファイル名> --direct=1 -- rw=randrw --bs=4k --ioengine=libaio --iodepth=256 --runtime=1200 -- numjobs=2 --time_based --group_reporting --eta-newline=1 -size=1MB --name=IOPS-test-job 18
19. FSx for NetApp ONTAPにQoSポリシーを適用する FSx for NetApp ONTAPの管理エンドポイントに接続したEC2で ノイジーネイバーのワークロードにQoSポリシーを適用する © 2023 Fujitsu Limited ポリシー作成 qos policy-group create policy1 -vserver <サーバ名> -max-throughput 2000IOPS -is-shared false ポリシーアタッチ volume modify -volume <ボリューム名> -qos-policy-group policy1 19
20. CLIで性能を見る © 2023 Fujitsu Limited FSx for NetApp ONTAPの管理エンドポイントに接続したEC2で fioコマンド実行中の各ボリュームの性能を表示することができる 20
21. QoSポリシー適用結果 © 2023 Fujitsu Limited 4:55にノイジーネイバーインスタンス(vol3～vol6)のIOPSを 2,000オペレーション/秒に制限 2.00k Vol4のIOPSメトリクス 21
22. QoSポリシー適用結果 © 2023 Fujitsu Limited 4:55以降、Vol2(ポリシーをアタッチしていない)の IOPSが向上している 3.00k Vol2のIOPSメトリクス 22
23. まとめ ⚫ノイジーネイバー：ストレージを共有する他のワークロードの パフォーマンスに影響が出るほどストレージのリソースを 大量に使っているワークロード ⚫FSx for NetApp ONTAPは高性能のファイルシステムで、 ワークロードのパフォーマンスに上限をかけるQoS機能が使える ⚫QoS機能でノイジーネイバーのリソース使用に上限を掛け、 他ワークロードのパフォーマンス低下を抑えることができる © 2023 Fujitsu Limited 23
24. 参考サイト AWS「Amazon FSx」 https://aws.amazon.com/jp/fsx/ Amazon Web Servicesブログ 「Amazon FSx for NetApp ONTAP で Quality of Service を使用する」 https://aws.amazon.com/jp/blogs/news/using-quality-of-service-in- amazon-fsx-for-netapp-ontap/ Amazon Web Servicesブログ 「AWS ファイルストレージサービスの選び方」 https://aws.amazon.com/jp/blogs/news/choose-filestorageservice/ © 2023 Fujitsu Limited 24
25. © 2023 Fujitsu Limited Thank you