System design on practice

Explained how to build simple distributed system. Discus about consistency problem, and posable solutions.

Transcript

1. © 2019 True Engineering. All rights reserved. Engineering True ……. True_мастер-класс System design на практике
2. О чём будем говорить: 1. System Design 2. Распределенные системы
3. System design
4. Распределенные системы
5. Факторы, которые влияют на архитектуру
6. 1. Масштаб проекта 2. Время 3. Экономическая эффективность 4. UX и поддержка 5. Удобство эксплуатации 6. Надёжность 7. Масштабируемость 8. Целостность данных Факторы, которые влияют на архитектуру
7. ……. Проблемы распределенных систем
8. Поводы для беспокойства Distributed systems concerns Config management Service Discovery & LB Service Security API Management Resilience & Fault Tolerance Centralized Logging Centralized Metrics Scheduling & Deployment Auto Scaling & Self Healing Distributed Tracing
9. Добавляем Kubernetes Distributed systems concerns Config management Service Discovery & LB Service Security API Management Resilience & Fault Tolerance Centralized Logging Centralized Metrics Scheduling & Deployment Auto Scaling & Self Healing Distributed Tracing
10. Делаем красиво
11. ……. Kubernetes 1. Open-source 2. Масштабируемость 3. Отказоустойчивость 4. Кроссплатформенность
12. Архитектура Kubernetes Kubernetes Minions Kubernetes Master Cloud 12
13. Сервис для розыгрыша лотереи: 1. Административная панель для управления розыгрышем 2. Рандомайзер Постановка задачи
14. ……. Код
15. Железо
16. @RestController("/") public class LotteryController { private LotteryService lotteryService; @GetMapping(“/node/data") public NumbersDto getNodeData() { return lotteryService.getNodeData(number); } @GetMapping("/node/status") public NodeStatusDto getNodeStatus() { return lotteryService.getNodeStatus(); } @PostMapping("/openRegistration") public void openRegistration() { lotteryService.openRegistration(); } @PostMapping("/closeRegistration") public void closeRegistration() { lotteryService.closeRegistration(); } } Админка
17. void openRegistration() { asyncDataHolder.getIsRegistrationInProgress().set(true); restTemplate.get(registrationServiceAddress + "/startLottery"); registeredUsersService.getAllRegisteredUsers(); } void closeRegistration() { asyncDataHolder.getIsRegistrationInProgress().set(false); restTemplate.get(registrationServiceAddress + “/stopLottery"); } NodeStatusDto getNodeStatus() { return restTemplate.get(nodeUrl + "/status"); } NumbersDto getNodeData() { return restTemplate.get(nodeUrl + "/all"); } Админка
18. @Async public void getAllRegisteredUsers() { while (asyncDataHolder.getIsRegistrationInProgress().get()) { Integer[] numbers = restTemplate.getForObject(registrationServiceAddress + "/getNumbers"); for (Integer number : numbers) { restTemplate.getForObject(pushNodeUrl + "/add/" + number); } } } Админка
19. public class RandomizerController { public static void main(arg []) { RandomizerService service = new RandomizerServiceImpl(numbers); get("/all", (req, res) -> service.getAll()); get("/status", (req, res) -> service.getStatus()); get("/add/:number", (req, res) -> service.put(req.params(“number"))); get("/winner", (req, res) -> service.winner()); } } Рандомайзер
20. public class RandomizerServiceImpl implements RandomizerService { private final Set<String> numbers; public One put(String number) { numbers.add(number); return new One(number); } public One winner() { int i = new Random().nextInt(numbers.size()); return new One(numbers.get(i)); } public Status getStatus() { return new Status(numbers.size()); } public Data getAll() { return new Data(numbers); } } Рандомайзер
21. apiVersion: apps/v1 kind: StatefulSet metadata: name: demo spec: replicas: 1 spec: containers: - name: demo-service image: mityi/sample-hz-arm:0.0.1 Рандомайзер
22. ……. DEMO #1
23. Отсутствие отказоустойчивости Проблема
24. Решение
25. Решение Sharding Application Shard 1 Shard 2 Shard 3 Overall data
26. ……. Код
27. @GetMapping("/node/{number}/data") public NumbersDto getNodeData(@PathVariable Node number) { return lotteryService.getNodeData(number); } @GetMapping("/node/{number}/status") public NodeStatusDto getNodeStatus(@PathVariable Node number) { return lotteryService.getNodeStatus(number); } switch (node) { case FIRST: url = firstNodeUrl; break; case SECOND: url = secondNodeUrl; break; } Админка
28. apiVersion: apps/v1 kind: StatefulSet metadata: name: demo spec: replicas: 2 spec: containers: - name: demo-service image: mityi/sample-hz-arm:0.0.1 Рандомайзер
29. ……. DEMO #2
30. Потеря части данных Проблема
31. Решение
32. Sharding + Replication Решение Node 1 Owner Backup Node 2 Owner Backup Node 3 Owner Backup Application Partition 1 Partition 2 Partition 3 Overall data
33. ……. Код
34. public class RandomizerServiceImpl implements RandomizerService - private final Set<String> numbers; + private final HazelcastSet<String> numbers; // public One put(String number) // public One winner() // public Status getStatus() // public Data getAll() Рандомайзер
35. ……. DEMO #3
36. Q/A vk.com/te_stream Instagram/@te_stream habr.com/ru/company/ true_engineering github.com/mityi/nsu-career-day-sample-hz-k3s github.com/Lex4hex/nsu-career-day