Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
低優先度処理を指定可能なリアルタイム処理向け I/O スケジューラ / A Deadline IO Scheduler Equipped with Low Priority Assignment
Search
Takamura Narimichi
March 07, 2014
Technology
0
230
低優先度処理を指定可能なリアルタイム処理向け I/O スケジューラ / A Deadline IO Scheduler Equipped with Low Priority Assignment
学部時代の卒研を学会(SIGOS)で発表したときの資料です。
Takamura Narimichi
March 07, 2014
Tweet
Share
More Decks by Takamura Narimichi
See All by Takamura Narimichi
Engineering with Business Impact
nari_ex
2
200
How We Foster Reliability in Diversity
nari_ex
14
12k
SRE Practices in Organizations
nari_ex
16
4.4k
Hardening におけるトラブルシューティング / Troubleshooting in Hardening
nari_ex
1
220
私が Engineering Manager になるまでに経験してきたこと、大切にしてきたこと / Lecture materials for Introduction to Venture Business at UEC
nari_ex
0
140
運用技術者組織の設計と運用 / Design and operation of operational engineer organization
nari_ex
11
7.2k
エンジニアリング組織の基礎知識 / Basic knowledge of engineering organization
nari_ex
10
4.2k
エンジニアリング組織アーキテクチャの調査と設計要点に対する考察 / Investigation of engineering organization architecture and consideration of design points
nari_ex
7
2.6k
MSP における SRE の実践 / The practice of SRE in MSP
nari_ex
2
2.4k
Other Decks in Technology
See All in Technology
Azureの基本的な権限管理の勉強会
yhana
0
610
Cloud Native Java with Spring Boot (CNCF Aarhus, April 2024)
thomasvitale
1
180
アクセス制御にまつわる改善 / Improving access control
itkq
0
550
地理空間データ可視化・解析・活用ソリューション Pacific Spatial Solutions (PSS)
pacificspatialsolutions
0
300
よく聞くけど使ったことないソフトウェアNo.1 KafkaとSnowflake
foursue
4
360
Delivering Millions of Messages within seconds @ Duolingo
pelelgrino
0
350
【NW X Security JAWS#3】L3-4:AWS環境のIPv6移行に向けて知っておきたいこと
shotashiratori
0
390
Google Cloud の AI を支える裏側のインフラを垣間見る!
maroon1st
0
360
今年のRubyKaigiはProfiler Year🤘
osyoyu
0
180
ChatGPT for IT Service Management (IT Pro)
dahatake
7
1.6k
Building a RAG-poweredAI chat appwith Python and VS Code
pamelafox
0
110
私が trocco を推す理由
__allllllllez__
1
260
Featured
See All Featured
The Pragmatic Product Professional
lauravandoore
25
5.8k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
17
1.4k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
60
14k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
20
1.9k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
2
3.4k
Why Our Code Smells
bkeepers
PRO
331
56k
Designing for Performance
lara
601
67k
Fontdeck: Realign not Redesign
paulrobertlloyd
76
4.9k
[RailsConf 2023] Rails as a piece of cake
palkan
23
4k
Adopting Sorbet at Scale
ufuk
68
8.6k
We Have a Design System, Now What?
morganepeng
43
6.8k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
14
1.5k
Transcript
低優先度処理を指定可能な リアルタイム処理向け I/Oスケジューラ 髙村成道,鵜川始陽,岩崎英哉 電気通信大学 2014年 3月 7日
リアルタイムサービスの普及 • リアルタイム性を必要とするWebサービスの例 • ソーシャルゲーム,チャット,SNS... • 定期的なメンテナンスが必須 ⇒ サービスを継続したままメンテナンスを行う 2
オンラインメンテナンス
オンラインメンテナンス • 問題点 • 作業負荷によるサービス品質の低下 ⇒ 本研究では I/O 負荷に着目 •
I/O 負荷を伴うオンラインメンテナンスの例 • データベースサーバ上の巨大なログファイルの削除 3
オンラインメンテナンスの例 (1) 巨大なログの削除 (緊急性がない作業) データベース プロセス メンテナンス プロセス 4
オンラインメンテナンスの例 (2) データベース プロセス メンテナンス プロセス メンテナンス処理により 本来優先すべき処理が 妨げられてしまう データベース処理の
スループットが減少 5
I/O スケジューラ • I/O 要求を適切に並び替えるソフトウェア • Linux カーネルに組み込まれている リアルタイム処理 I/O
優先度指定 CFQ スケジューラ Deadline スケジューラ 6 ⇒リアルタイム処理向きであり,かつ,優先度指定可 能な I/O スケジューラは無い ☓
目的・方針 目的 オンラインメンテナンスによるサービスの品質低下を防ぐ 方針 • 低優先度処理が指定可能なリアルタイム向けの I/O スケジューラの実装 ⇒ Deadline
スケジューラを拡張 7
物理 デバイス ファイルシステム VFS ディスク キャッシュ 汎用ブロック層 I/O スケジューラ層 デバイス
ドライバ カーネル空間 プロセス ユーザ空間 ファイル I/O の概略 デバイス ドライバ 物理 デバイス 8
汎用ブロック層 I/O スケジューラ サブキュー ディスパッチキュー デバイスドライバ 物理 デバイス I/O スケジューラの動作概要
9 要求の並び替え 処理する順に 要求を格納 処理順序の制御は 要求がサブキューに ある場合に可能
Deadline スケジューラの動作 時間 サブキュー ディスパッチ キュー メンテナンス処理の要求 データベース処理の要求 1 1
1 1 2 2 2 2 3 3 10
Deadline スケジューラの拡張 • 処理性能の維持 • 低優先度処理の追加 • 低優先度処理のスループット制限 • I/O
帯域の有効活用 11
低優先度処理のスループット制限(1) データベース プロセス メンテナンス プロセス 低優先度処理の スループットを抑え, メインの処理に多くの スループットを割り当てる 12
低優先度処理のスループット制限(2) • 通常(データベース処理)の要求はそのまま 処理する • 低優先度要求は一定時間ごとに保留する • 保留の処理はサブキューを用いる 13
低優先度処理のスループット制限(3) 時間 1 1 1 1 2 2 2 2
3 3 α α 14 サブキュー ディスパッチ キュー メンテナンス処理の要求 データベース処理の要求
I/O 帯域の有効活用(1) データベース プロセス メンテナンス プロセス 一定時間,メインの処理 が行われない場合, 低優先度処理の スループット制限を解除
15
I/O 帯域の有効活用(2) 時間 1 1 1 1 2 2 3
3 4 4 5 5 β α 16 サブキュー ディスパッチ キュー α
I/O 帯域の有効活用(3) 時間 5 17 サブキュー ディスパッチ キュー 6 6
2 2 7 α 7 β 8 9 8 9
2つのモード • 通常モード • 低優先度処理のスループット制限をして処理する • バッチモード • 低優先度処理のスループット制限をせずに処理する 18
タイマによるディスパッチ制御 • カーネルタイマを利用 • α 時間後に1つの低優先度要求をディスパッチ • β 時間後にバッチモードへ切り替え,すべての低 優先度要求をディスパッチ
19
実験環境 OS CentOS release 6.5 (Final) Linux カーネル 3.12.7 CPU
Intel Core i7-3770 @ 3.40GHz 4 コア メモリ 8 GiB 物理デバイス 1 SSD 240GB (Intel SSDSC2CT240A4) 物理デバイス 2 HDD 320 GB, 7200 rpm (Hitachi HDP72503) ベンチマーク ツール sysbench 20
評価: 低優先度処理の影響 (1) 実験内容 • データベースサーバ(MySQL)を利用 • 低優先度処理がある場合は,ない場合と比 較して何%の性能が出るかを測定 •
通常の処理: データベース処理 • 低優先度処理: Sequential Read • α = 200ms, β = 500 ms 21
0 10 20 30 40 50 60 70 80 90
100 110 HDD SSD Normal I/O TPS / Low Prio I/O TPS [%] 評価: 低優先度処理の影響 (2) 0 10 HDD SSD Deadline Our Scheduler 0 10 HDD SSD Deadline Our Scheduler 22
0 10 20 30 40 50 60 70 80 90
100 110 HDD SSD Normal I/O TPS / Low Prio I/O TPS [%] 評価: 低優先度処理の影響 (2) 0 10 HDD SSD Deadline Our Scheduler 0 10 HDD SSD Deadline Our Scheduler 23 既存のDeadline スケジューラでは, 70 % 以上の性能が低下した
0 10 20 30 40 50 60 70 80 90
100 110 HDD SSD Normal I/O TPS / Low Prio I/O TPS [%] 評価: 低優先度処理の影響 (2) 0 10 HDD SSD Deadline Our Scheduler 0 10 HDD SSD Deadline Our Scheduler 24 本機構では,1 % 未満の性能低 下に抑えることができた
評価: スループットの推移 実験内容 • 5GB のファイル読み込み • 2つの処理に対して,1秒ごとにスループット を測定し,変化を確認 •
通常の処理: Sequential Read • 低優先度処理: Sequential Read • α = 200 ms, β = 5000 ms 25
0 50 100 150 200 250 0 5 10 15
20 25 30 35 40 45 Throughput ( Mbytes/sec ) Time ( sec ) Deadline Normal I/O 評価: スループットの推移 26 Deadline での通常処理と Deadline での低優先度処理 低優先度処理が通常 の処理を妨げている
0 50 100 150 200 250 0 5 10 15
20 25 30 35 40 45 Throughput ( Mbytes/sec ) Time ( sec ) Deadline Normal I/O 評価: スループットの推移 27 本機構での通常の処理 通常の処理がすぐに完了し, その後スループットを有効 活用している 本機構での低優先度処理 β
評価: 拡張によるオーバーヘッド 実験内容 • 1 分間のファイルアクセスを実行 • スループット (Mbytes/sec) を比較
0 10 20 30 40 50 60 70 80 90 100 110 SeqRead RndRead SeqWrite RndWrite Our Scheduler / Deadline [%] 28 通常のI/O要求を処理する上で, 既存のDeadline スケジューラと 本機構との性能差はほぼない
関連研究(1) • 汎用向けの高性能スケジューラ • CFQスケジューラの高性能化 [Lunde, 2009] • 各種スケジューラの高性能化 [Seelam,
2005] • 高速デバイス向けのスケジューラ • SSD 向けのスケジューラの実装 [Dunnら, 2009] • Fusion-io 向けのスケジューラの実装 [Robin, 2013] ⇒高速化が目的でありオンラインメンテナンスに 配慮したスケジューラを実現する研究ではない 29
関連研究(2) • cgroups [Linux 準拠 (v2.6.24 以降)] • スケジューラに依存することなく,スループットの 上限を指定可能
• プロセスごとに設定が必要 ⇒本研究では,I/O スケジューラを拡張した 30
まとめ • 低優先度を指定可能なリアルタイム処理向け の I/O スケジューラの設計・実装を行った • 提案機構の評価を行い有効性を確認した • 既存のものでは性能低下が70
% 以上であるのに 対し、本機構では 1% 未満に抑えることができた 31
32
α の設定値によるスループットの変化 33 0 20 40 60 80 100 120
10 50 100 150 200 250 300 Throughput ( Mbytes/sec ) Time ( sec )
物理 デバイス ファイルシステム VFS ディスク キャッシュ 汎用ブロック層 I/O スケジューラ層 デバイス
ドライバ カーネル空間 プロセス ユーザ空間 ファイル I/O の概略 デバイス ドライバ 物理 デバイス 34
Deadline スケジューラの動作 (1) 35 セクタ番号順 I/O 要求の 発行順 末尾 先頭
処理実行 s: セクタ番号 t: 発行要求時刻 並べ替えキュー 期限付きキュー s: 41 t: 5 s: 41 t: 5 s: 98 t: 2 s: 98 t: 2 s: 23 t: 3 s: 23 t: 3
拡張後のスケジューラの動作 (1) 36 処理実行 低優先度キュー s: 77 t: 7 低優先度
要求の追加 s: 64 t: 6 並べ替えキュー 期限付きキュー s: 98 t: 2 s: 41 t: 5 s: 23 t: 3 s: 23 t: 3 s: 98 t: 2 s: 41 t: 5 s: 64 t: 6
拡張後のスケジューラの動作 (2) 37 処理実行 低優先度キュー s: 77 t: 7 s:
64 t: 6 並べ替えキュー 期限付きキュー s: 98 t: 2 s: 41 t: 5 s: 23 t: 3 s: 23 t: 3 s: 98 t: 2 s: 41 t: 5 s: 64 t: 6
拡張後のスケジューラの動作 (3) 38 処理実行 低優先度キュー s: 77 t: 7 s:
64 t: 6 並べ替えキュー 期限付きキュー s: 98 t: 2 s: 41 t: 5 s: 98 t: 2 s: 41 t: 5 s: 64 t: 6
拡張後のスケジューラの動作 (4) 39 並べ替えキュー 処理実行 期限付きキュー 低優先度キュー s: 77 t:
7
実装: カーネルタイマによる制御 時間 Sub Q Dispatch Q 1 1 1
1 2 2 3 3 4 4 5 5 β α 40 set(β) set(α) set(α) dispatch() dispatch() dispatch() dispatch() mode(normal) mode(batch)