CodeFest'10. Молчанов Д. — Разработка высоконагруженных систем

Transcript

1. HL-Строительсво. Заметки прораба. Дмитрий Молчанов, НГС
2. Вступление • Революции не будет. Доклад – собственный опыт и мысли. • О чём я говорю - только о веб-проектах, не о биллингах, процессингах или банковских приложениях. • Что есть Хайлоад. • Что есть веб проект • Что же я называю HL-проектом
3. Веб-проект. Слои. У веб-проектов есть слои… то есть базовая архитектура: • HTTP
4. Веб-проект. Слои. У веб-проектов есть слои… то есть базовая архитектура: • HTTP • APPLICATION (PHP)
5. Веб-проект. Слои. У веб-проектов есть слои… то есть базовая архитектура: • HTTP • APPLICATION (PHP) • DATABASE
6. Веб-проект.Эволюция Слои. У веб-проектов есть слои… то есть базовая архитектура: • HTTP • APPLICATION (PHP) • DATABASE
7. Веб-проект.Эволюция
8. Веб-проект.Эволюция Первый шаг к масштабированию.
9. Веб-проект.Эволюция Web перестал справляться с нагрузкой. Вот теперь уже HL.
10. Веб-проект.Эволюция Web не справляется с нагрузкой, теперь и DB перестал. Вот теперь уже совсем HL. Время думать.
11. Веб-проект.Эволюция ЧТО ДЕЛАТЬ?! © Чернышевский
12. Веб-проект.Эволюция ЧТО ДЕЛАТЬ?! • Оптимизировать
13. Веб-проект.Эволюция ЧТО ДЕЛАТЬ?! • Оптимизировать • Масштабировать
14. Масштабирование Вертикально
15. Масштабирование Вертикально
16. Масштабирование Вертикально Но не вечно, крутое оборудование стоит крутых денег.
17. Масштабирование Горизонтально
18. Масштабирование Горизонтально
19. Масштабирование Горизонтально
20. Масштабирование Горизонтально И так может продолжаться вечно…
21. HL.Цели и задачи. Целью строительства системы является система которая предоставляет возможность работать с постоянно растущей нагрузкой. Быть надежной и масштабируемой.
22. HL.Архитектура • инфраструктура (сеть/балансировка нагрузки)
23. HL.Архитектура • аппаратная платформа (группы серверов) • инфраструктура (сеть/балансировка нагрузки)
24. HL.Архитектура • программная архитектура (php/mysql/nginx/memcached) • аппаратная платформа (группы серверов) • инфраструктура (сеть/балансировка нагрузки)
25. HL.Архитектура • приложение (НГС) • программная архитектура (php/mysql/nginx/memcached) • аппаратная платформа (группы серверов) • инфраструктура (сеть/балансировка нагрузки)
26. HL.Архитектура • Варианты расширения аппаратной платформы: • Установка «независимых серверов» • Установка аппаратных ячеек платформы • Конфигурация серверов • Диски • RAID • LVM • Сеть • Буффера • rp_filter
27. HL.Архитектура • Программная платформа • Приложение • Общение с нижележащими слоями архитектуры • Прозрачное • Открытое • DNS • php-prepend
28. HL.Архитектура • Потенциально проблемные места • Диск • файловый кэш • дисковые операции • Кэш • Локальный • Политика кэширования •Сеть •Длинные пути
29. Диагностика • Базовые средства • top • iostat • vmstat • ping • Метрики • Система • LoadAvg • Swap/mem • CPU Times • Сеть • Потери • Время
30. Жизненный опыт • Просчеты в расчетах • Обстоятельства как двигатель прогресса • Кто все эти люди?! • о пользе понимания raid’ов • о вреде бездумного использования БД
31. Вопросы? Дмитрий Молчанов, НГС mdv@office.ngs.ru 8-800-2000-383