Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ユーザー目線でのLTSI Testへの期待値
Search
Yoshitake Kobayashi
August 02, 2013
Technology
0
4
ユーザー目線でのLTSI Testへの期待値
LTSI Testing Workshop 2013
Yoshitake Kobayashi
August 02, 2013
Tweet
Share
More Decks by Yoshitake Kobayashi
See All by Yoshitake Kobayashi
InnerSource Learning Path - インナーソースで始める組織内オープンソース開発入門&実践 -
ystk
1
260
Civil Infrastructure Platform : Industrial-Grade Linux
ystk
0
32
Boosting Software Development with Generative AI
ystk
0
50
Enhancing Cyber Resilience and Sustainability in Critical Infrastructure with CIP and IEC-62443-4
ystk
0
24
Introducing CIP in 10 minutes
ystk
0
68
Civil Infrastructure Platform-Empowering Sustainable Living with Industrial Grade Linux
ystk
0
56
Enhancing Cyber Resilience with CIP
ystk
0
12
共に創る未来:ソフトウェア開発における共創・協働のアプローチと戦略
ystk
0
110
Civil Infrastructure Platform : Industrial-Grade Linux
ystk
0
630
Other Decks in Technology
See All in Technology
AWS UG Grantでグローバル20名に選出されてre:Inventに行く話と、マルチクラウドセキュリティの教科書を執筆した話 / The Story of Being Selected for the AWS UG Grant to Attending re:Invent, and Writing a Multi-Cloud Security Textbook
yuj1osm
1
130
AI時代、“平均値”ではいられない
uhyo
8
2.4k
「REALITY」3Dアバターシステムの7年分の拡張の歴史について
gree_tech
PRO
0
140
Building a cloud native business on open source
lizrice
0
170
QA業務を変える(!?)AIを併用した不具合分析の実践
ma2ri
0
120
プレイドのユニークな技術とインターンのリアル
plaidtech
PRO
1
230
CNCFの視点で捉えるPlatform Engineering - 最新動向と展望 / Platform Engineering from the CNCF Perspective
hhiroshell
0
140
「タコピーの原罪」から学ぶ間違った”支援” / the bad support of Takopii
piyonakajima
0
130
NLPコロキウム20251022_超効率化への挑戦: LLM 1bit量子化のロードマップ
yumaichikawa
1
240
Sansan Engineering Unit 紹介資料
sansan33
PRO
1
3k
ソフトウェアエンジニアの生成AI活用と、これから
lycorptech_jp
PRO
0
860
MCP ✖️ Apps SDKを触ってみた
hisuzuya
0
330
Featured
See All Featured
Principles of Awesome APIs and How to Build Them.
keavy
127
17k
Building an army of robots
kneath
305
46k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
4k
GraphQLとの向き合い方2022年版
quramy
49
14k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
21
1.2k
Embracing the Ebb and Flow
colly
88
4.9k
Building Flexible Design Systems
yeseniaperezcruz
329
39k
Intergalactic Javascript Robots from Outer Space
tanoku
272
27k
Designing for Performance
lara
610
69k
What’s in a name? Adding method to the madness
productmarketing
PRO
24
3.7k
Context Engineering - Making Every Token Count
addyosmani
8
300
Why Our Code Smells
bkeepers
PRO
340
57k
Transcript
Copyright 2013, Toshiba Corporation. ユーザー目線でのLTSI Testへの期待値 株式会社 東芝 ソフトウェア技術センター 小林
良岳
2 LTSI Testing Workshop 2013 本日の発表内容 基本的な要求 必要なテストとは?
ケーススタディを幾つか紹介 LTSIテストへの期待
3 LTSI Testing Workshop 2013 基本的な要求 安定したカーネルであること 長期運用に耐えられること
カーネルバージョン間のマイグレーションが可能
4 LTSI Testing Workshop 2013 基本的な要求 安定したカーネルであること バグが少ない
バグフィックスが継続して行われている 長期運用に耐えられること 長期稼働の実績がある カーネルバージョン間のマイグレーションが可能 バージョン間の互換性が検証されている
5 LTSI Testing Workshop 2013 必要なテストとは? 最低限テストを要する項目 機能面(APIレベル等)
性能面(各種パフォーマンス指標) 品質面(品質要求への対応) 互換性面(カーネルバージョン間) 利用しているソフトウェアの例 機能面 LTP …その他 性能面 Cyclictest, Iozone …その他いろいろ 品質面 電断時のデータ信頼性テスト 長期稼働テスト 互換性面 ・・・
6 LTSI Testing Workshop 2013 LTPの結果比較 テストスイート(LTP)、ユーザランド、ハードウェアは同じ物を利用 Debian
4.0 参考: Moving Forward: Overcoming from Compatibility issues BoFs , ELC2011 カーネル エラーの個数 テストケース 2.6.18 1 cron2 2.6.26 3 getcpu01, stime01, cron02 2.6.32 7 execve04, getcpu01, swapon03, sched_cli_serv, clock_gettime03, timer_create04
7 LTSI Testing Workshop 2013 ファイルシステムデータ信頼性評価結果 0.00 0.50 1.00 1.50
2.00 EXT3- ORDERED EXT3- JOURNAL * * * JFS XFS エラー率 [%] 45.9% エラー率 [%] 0.00 0.50 1.00 1.50 2.00 EXT3- ORDERED EXT3- JOURNAL EXT4- JOURNAL EXT4- ORDERED EXT4- WRITEBACK * XFS BTRFS 82.4% 84.7% 43.4% 41.4% 43.2% エラー率 [%] 0.00 0.50 1.00 1.50 2.00 EXT3- ORDERED EXT3- JOURNAL EXT4- JOURNAL EXT4- ORDERED * JFS XFS 13.3% kernel 2.6.18 kernel 2.6.31 kernel 2.6.33 ファイルサイズの不整合 ファイル内容の不整合 Point 1: 同一ファイルシステムでも カーネルが違うと特性が 異なる Point 2: カーネルによってデータ 信頼性が非常に低くなる Point 3: EXT4-JOURNALとBTRFS はデータ信頼性が高い カーネルバージョン 参考: Evaluation of Data Reliability on Linux File Systems, ELC2010
8 LTSI Testing Workshop 2013 Linuxカーネル加速による長期稼動試験 問題 • 長期稼動を対象としたテストには時間がかかる →
手っ取り早く長期間分のテストをしたい START GOAL 加速! しかし,加速できないものは多い • CPU最大動作周波数 • ディスクアクセススピード • ネットワーク通信速度 • ..... プログラム内部の時計不整合が 原因の不具合を短時間で検出 Linuxが管理する時計の 進み方を早める 参考: Linux Kernel Acceleration for Long-term Testing, ELC2010
9 LTSI Testing Workshop 2013 実際に加速してみた結果(スクリーンショット) xdaliclockはストップウォッチのような速度で動作 450日弱で不正な値が 出力される不具合を “6時間程度”で再現
(1000倍加速時) 参考: Linux Kernel Acceleration for Long-term Testing, ELC2010
10 LTSI Testing Workshop 2013 2.4系と2.6系の間の移行で起こった問題 性能に大きな違いが生じている context
switches up to 96% slower local communication latencies up to 80% slower file system latencies up to 76% slower local communication bandwidth less than 50% in some cases. 参考: http://www.denx.de/wiki/Know/Linux24vs26
11 LTSI Testing Workshop 2013 LTSIのテストへの要望 ユーザが参考にできるテスト結果 テスト項目の例
LTP、Iozone、lmbenchなどの一般公開されているテスト データ信頼性検査 複数のファイルシステムタイプ 互換性検証テスト マイナーバージョン間とメジャーバージョン間の2つの観点 いくつかの指標を決める必要はある API 性能(I/O, Networkなど) 品質 テスト環境への要望 ユーザランド 変更しないもの 最新のもの 複数のCPUアーキテクチャ