12 встреча — Многопоточность-2 (А. Свириденков)

12 встреча Smolensk Computer Science Club
Презентация Анатолия Свириденкова про многопоточность (часть 2)
ВКонтакте: http://vk.com/scsc12

Transcript

1. Многопоточность II Smolensk Computer Science Club Свириденков Анатолий
2. Закон Амдала a — доля последовательных вычислений; p — количество потоков.
3. Эффект ускорения от роста числа вычислительных узлов
4. Классификация Флина • SISD (Single Instruction Single Data) – классический процессор старой школы • SIMD (Single Instruction Multiple Data) – MMX, SSE • MISD (Multiple Instruction Single Data) – до конца не определено • MIMD (Multiple Instruction Multiple Data) – многоядерные процессоры
5. Варианты параллелизма • Скрытый параллелизм; • Сильно связанный параллелизм (многоядерность, многопроцессорность); • Слабо связанный параллелизм (кластеры).
6. Варианты взаимодействия потоков • Общие ресурсы (более распространены при сильно связанном параллелизме); • События (более распространены при слабо связанном параллелизме); • Комплексный.
7. Примеры высокоуровневых архитектур с разделяемыми ресурсами • Производитель\потребитель • Очередь заданий • Код с OpenMP • Некоторый код из TBB
8. Пример кода на OpenMP int x = 0; #pragma omp parallel for for (int i = 0; i < 1024; i++) { #pragma omp critical(x) x++; }
9. Примеры высокоуровневых архитектур основанных на событиях • TCP/IP • Пул потоков • Асинхронное программирование • Map reduce • Библиотека параллельных шаблонов (ppl)
10. Паттерн проактор в библиотеке boost::asio
11. Направление развития • Языки со «встроенной» многопоточностью • Увеличение доли скрытого параллелизма • Распараллеливание при компиляции • и т.д.
12. Потенциальные проблемы • Математическое понятие параллельного алгоритма плохо проработано и математика тут плохой помощник; • Математически эквивалентные программы, не эквивалентны при переходе к многопоточности; • Интуиция наработанная на последовательных алгоритмах вредит при переходе к параллельным; Например: при сортировке лучше распараллеливается алгоритм на основе слияния. QuickSort распараллеливается плохо.
13. Операции, которые губят параллельный алгоритм • Синхронизация • Обмен данными между потоками • Дублирование • Кеширование
14. Основные методы • Обработка пакетов данных независимо • Метод сдваивания или reduce • Scan • Метод конвеерного параллелизма • Метод коллективного решения • И т.д.
15. Метод сдваивания он же reduce (на примере суммы ряда)
16. Scan (на примере префиксной суммы ряда)
17. Балансировка вычислительной мощности • Статическая балансировка: - метод сдваивания - конвейерный параллелизм • Динамическая балансировка: - коллективное решение
18. Вопросы?
19. Полезные ссылки • Воеводин. В.В. Параллельные вычисления; • Курс на лекториуме: «Параллельное программирование». http://www.lektorium.tv/lecture/?id=12822 • Курс на лекториуме: «Эффективные параллельные алгоритмы» http://www.lektorium.tv/course/?id=22913