Mesos framework from scratch

https://www.youtube.com/watch?v=N6v1CEjDq5w
https://github.com/stereohorse/orcs-here-09-2017

Transcript

1. Mesos framework from scratch
2. [вьет] !2
3. [вьет]
5. 0_о • Зачем Mesos? • Как он работает? • Как запилить свой Mesos-фреймворк? !5
6. server server server server server server server server DC 1 DC 2 DC 3 !6
7. Хочу развернуть сервис! • Где есть свободные ресурсы? • Как задать правила? • А что если один из серверов выйдет из строя? !7
8. • Ресурсы задаются статически • И управляются вручную server server server DC 1 !8
9. server server server server server server server server DC 1 DC 2 DC 3 !9
10. — Вот зачем нужен Mesos! Абстрагирование ресурсов !10
11. server 3 server 1 server 2 server 4 !11
12. MA MA MA MA MA → Mesos agent !12
13. • Ресурсы • Атрибуты MA MA MA MA !13
14. Mesos master MA MA MA MA • Агрегация • Управление !14
15. Mesos master MA MA MA MA E Scheduler E E E !15 • Получает ресурсы • Запускает задачи
16. — Весь Mesos как на ладони! Агенты → предоставляют ресурсы Мастер → агрегирует агентов Фреймворки? → управляют задачами !16
17. Агенты → предоставляют ресурсы Мастер → агрегирует агентов Фреймворки? → управляют задачами !17
18. !18 [marathon demo]
19. !19 Apache Aurora
20. !20
21. !21
22. • Слишком узкоспециализированные • Слишком универсальные !22
23. • Native libmesos.so lib (deprecated) • HTTP v1 API !23
24. • Mesos раздаёт общие ресурсы фреймворкам • Фреймворк раздаёт свои ресурсы своим задачам !24
25. • Mesos → DRF • Фреймворк → как получится напишешь !25
26. !26 Netflix Fenzo
27. • Read Mesos stream • Save framework ID • Save offers • Launch tasks !27
28. • Read Mesos stream • Save framework ID • Save offers • Launch tasks !28
29. • Read Mesos stream • Save framework ID • Save offers • Launch tasks !29
30. • Read Mesos stream • Save framework ID • Save offers • Launch tasks !30
31. — Всем по автомату! Фреймворк → конечный автомат Каждая задача → конечный автомат !31
32. !32 Apache Zookeeper
33. • Mesos абстрагирует вычислительные ресурсы • Агенты следят, Мастер агрегирует • Фреймворки управляют задачами !33 Что нужно запомнить?
34. • Написать framework - не rocket-science! !34 Что нужно запомнить?
35. !35 stereohorse stereohorse
36. !36 (╯°□°)╯︵ ┻━┻ stereohorse stereohorse Пишите 
 Mesos-фреймворки!