ユーザー目線でのLTSI Testへの期待値

LTSI Testing Workshop 2013

Transcript

1. Copyright 2013, Toshiba Corporation. ユーザー目線でのLTSI Testへの期待値 株式会社 東芝 ソフトウェア技術センター 小林 良岳
2. 2 LTSI Testing Workshop 2013 本日の発表内容  基本的な要求  必要なテストとは？  ケーススタディを幾つか紹介  LTSIテストへの期待
3. 3 LTSI Testing Workshop 2013 基本的な要求  安定したカーネルであること  長期運用に耐えられること  カーネルバージョン間のマイグレーションが可能
4. 4 LTSI Testing Workshop 2013 基本的な要求  安定したカーネルであること  バグが少ない  バグフィックスが継続して行われている  長期運用に耐えられること  長期稼働の実績がある  カーネルバージョン間のマイグレーションが可能  バージョン間の互換性が検証されている
5. 5 LTSI Testing Workshop 2013 必要なテストとは？  最低限テストを要する項目  機能面（APIレベル等）  性能面（各種パフォーマンス指標）  品質面（品質要求への対応）  互換性面（カーネルバージョン間）  利用しているソフトウェアの例  機能面  LTP  …その他  性能面  Cyclictest, Iozone  …その他いろいろ  品質面  電断時のデータ信頼性テスト  長期稼働テスト  互換性面  ・・・
6. 6 LTSI Testing Workshop 2013 LTPの結果比較  テストスイート（LTP）、ユーザランド、ハードウェアは同じ物を利用  Debian 4.0  参考： Moving Forward: Overcoming from Compatibility issues BoFs , ELC2011 カーネル エラーの個数 テストケース 2.6.18 1 cron2 2.6.26 3 getcpu01, stime01, cron02 2.6.32 7 execve04, getcpu01, swapon03, sched_cli_serv, clock_gettime03, timer_create04
7. 7 LTSI Testing Workshop 2013 ファイルシステムデータ信頼性評価結果 0.00 0.50 1.00 1.50 2.00 EXT3- ORDERED EXT3- JOURNAL * * * JFS XFS エラー率 [%] 45.9% エラー率 [%] 0.00 0.50 1.00 1.50 2.00 EXT3- ORDERED EXT3- JOURNAL EXT4- JOURNAL EXT4- ORDERED EXT4- WRITEBACK * XFS BTRFS 82.4% 84.7% 43.4% 41.4% 43.2% エラー率 [%] 0.00 0.50 1.00 1.50 2.00 EXT3- ORDERED EXT3- JOURNAL EXT4- JOURNAL EXT4- ORDERED * JFS XFS 13.3% kernel 2.6.18 kernel 2.6.31 kernel 2.6.33 ファイルサイズの不整合 ファイル内容の不整合 Point 1： 同一ファイルシステムでも カーネルが違うと特性が 異なる Point 2: カーネルによってデータ 信頼性が非常に低くなる Point 3: EXT4-JOURNALとBTRFS はデータ信頼性が高い カーネルバージョン  参考： Evaluation of Data Reliability on Linux File Systems, ELC2010
8. 8 LTSI Testing Workshop 2013 Linuxカーネル加速による長期稼動試験 問題 • 長期稼動を対象としたテストには時間がかかる → 手っ取り早く長期間分のテストをしたい START GOAL 加速！ しかし，加速できないものは多い • CPU最大動作周波数 • ディスクアクセススピード • ネットワーク通信速度 • ．．．．． プログラム内部の時計不整合が 原因の不具合を短時間で検出 Linuxが管理する時計の 進み方を早める  参考： Linux Kernel Acceleration for Long-term Testing, ELC2010
9. 9 LTSI Testing Workshop 2013 実際に加速してみた結果（スクリーンショット） xdaliclockはストップウォッチのような速度で動作 450日弱で不正な値が 出力される不具合を “6時間程度”で再現 （1000倍加速時）  参考： Linux Kernel Acceleration for Long-term Testing, ELC2010
10. 10 LTSI Testing Workshop 2013 2.4系と2.6系の間の移行で起こった問題  性能に大きな違いが生じている  context switches up to 96% slower  local communication latencies up to 80% slower  file system latencies up to 76% slower  local communication bandwidth less than 50% in some cases.  参考： http://www.denx.de/wiki/Know/Linux24vs26
11. 11 LTSI Testing Workshop 2013 LTSIのテストへの要望  ユーザが参考にできるテスト結果  テスト項目の例  LTP、Iozone、lmbenchなどの一般公開されているテスト  データ信頼性検査  複数のファイルシステムタイプ  互換性検証テスト  マイナーバージョン間とメジャーバージョン間の２つの観点  いくつかの指標を決める必要はある  API  性能（I/O, Networkなど）  品質  テスト環境への要望  ユーザランド  変更しないもの  最新のもの  複数のCPUアーキテクチャ