Save 37% off PRO during our Black Friday Sale! »

КГТУ Лекция 7: Обеспечение Качества Программного Обеспечения

5206c19df417b8876825b5561344c1a0?s=47 Exactpro
PRO
December 09, 2012

КГТУ Лекция 7: Обеспечение Качества Программного Обеспечения

Курс Лекций: Обеспечение Качества Программного Обеспечения

Лекция 7: Высоконагруженные системы и тестирование производительности

Максим Рудовский, Инновационные Трейдинговые Системы
Иосиф Иткин, Exactpro Systems

5206c19df417b8876825b5561344c1a0?s=128

Exactpro
PRO

December 09, 2012
Tweet

Transcript

  1. Максим Рудовский, Инновационные Трейдинговые Системы Иосиф Иткин, Exactpro Systems Курс

    Лекций: Обеспечение Качества Программного Обеспечения Лекция 7: Высоконагруженные системы и тестирование производительности
  2. Содержание лекции 1.Характеристики высоконагруженных систем 2.Метрики производительности 3.Танки в Лунапарке

    и другая техника 4.Основные принципы нагрузочного тестирования 5.Вопросы
  3. Характеристики высоконагруженных систем • Времена отклика (Latency) • Пропускная способность

    (Throughput) • Емкость (Capacity) • Надежность (Fault Tolerance) • Устойчивость (Resiliency) • Масштабируемость (Scalability) • Управляемость (Operability) http://www.ford.ru/SBE/Brochures/CarsBrochures/p=1204946495723
  4. Времена отклика 97 us - среднее время отклика Turquoise MTF

    300 us – Bloodhound SSC проезжает 10 см 1 ms - свет идет из Костромы в Москву 300 ms – мгновение ока 1 s – см. картинку про web 2 дня – Почта России  http://www.strangeloopnetworks.com/resources/infographics/why-luxury-websites-are-disappointing-chinese-consumers/acceptable-website-response-times/ http://en.wikipedia.org/wiki/Blink http://www.bloodhoundssc.com/project/car
  5. Пропускная способность и емкость 55k mps – рынки по торговле

    акциями 4.1m mps – OPRA данные по опционам 13m mps – пиковая нагрузка на Facebook 72m – YouTube одновременный просмотр свадьбы 1.2b – планируемое количество новогодних фото FB 100Pb – объем данных по сообщению FB в SEC
  6. Пропускная способность и емкость 55k mps – рынки по торговле

    акциями 4.1m mps – OPRA данные по опционам 13m mps – пиковая нагрузка на Facebook 72m – YouTube одновременный просмотр свадьбы 1.2b – планируемое количество новогодних фото FB 100Pb – объем данных по сообщению FB в SEC 6 Tb/s – средний объем скачивания порнографии
  7. Надежность и устойчивость Надежность – Устойчивость –

  8. Надежность и устойчивость Надежность – способность сохранять требуемые характеристики Устойчивость

    – способность восстановиться
  9. Надежность и устойчивость Надежность – способность сохранять требуемые характеристики Устойчивость

    – способность восстановиться Уроки Боевого крейсера «Галактика» (Battlestar Galactica)
  10. Надежность и устойчивость Надежность – способность сохранять требуемые характеристики Устойчивость

    – способность восстановиться http://en.battlestarwiki.org/wiki/Number_Eight
  11. Масштабируемость Горизонтальная Вертикальная Биржа – 100 серверов Google – 900к

    серверов Сбербанк – 1 Oracle (но большой)
  12. Управляемость Мониторинг Выгрузка новых версий Конфигурирование http://www.aerospace-technology.com/projects/bbj1/bbj14.html

  13. Метрики производительности • Roundtrip и внутренние задержки • Avg /

    Min / Max • Допустимое отклонение • Процентили • Загрузка оборудования
  14. Метрики производительности http://extentconf.com/ourstoryen/april2012infoen/presentationsen

  15. Генераторы нагрузки Классификация генераторов нагрузки по Яндексу: http://www.slideshare.net/astenix/ss-5835773

  16. Генераторы нагрузки Классификация генераторов нагрузки по Яндексу: http://www.slideshare.net/astenix/ss-5835773

  17. Ограничения тестирования

  18. Высокая нагрузка

  19. Принципы нагрузочного тестирования Больше всего обманывают до женитьбы, после охоты

    и во время выборов Наш вариант: Больше всего обманывают до, после и во время нагрузочного тестирования
  20. HЕ ВЕРЬ • Тестовым инструментам • Что модель нагрузки правильная

    • Средним значениям задержек • Требованиям • Оценкам разработчиков • Ничему не верь
  21. HЕ БОЙСЯ • Сломать TEST-систему и вызвать у всех раздражение

    • Понять, что все тесты, которые ты запускал, неправильные • Перезапускать один и тот же тест много раз • Игнорировать утверждение, что PROD- система быстрее и TEST-результаты можно экстраполировать • Запускать тесты круглые сутки
  22. HЕ БОЙСЯ • Сломать TEST-систему и вызвать у всех раздражение

    • Понять, что все тесты, которые ты запускал, неправильные • Перезапускать один и тот же тест много раз • Игнорировать утверждение, что PROD- система быстрее и TEST-результаты можно экстраполировать • Запускать тесты круглые сутки
  23. HЕ ПРОСИ • Дать тебе тестовые инструменты • Дать тебе

    подтверждение, что PROD-система настроена так же, как и TEST • Сказать тебе, до какого уровня доводить нагрузку • Выдать тебе сценарии нагрузки системы, которая уже в эксплуатации • Поддерживать систему, пока ты пускаешь свои тесты • Понять, что ты не виноват в возникших проблемах
  24. Принципы нагрузочного тестирования НЕ ВЕРЬ, НЕ БОЙСЯ, НЕ ПРОСИ

  25. Вопросы и замечания? http://www.highload.ru/ http://it-conf.ru/ru/sqadays_main/sqadays_10/sqa10_agenda/ http://highscalability.com/