Migracja do chmury, prosta czy natywna?

In this presentation, I'm showing how to model business processes in AWS Cloud.

Transcript

1. Migracja do chmury prosta czy natywna? 1
3. Informacje dodatkowe • Pytania można zadawać w sekcji Q&A • Głosowo na koniec webinaru • Po webinarze na e-mail beyondtech@northmill.pl • Wszystkie pytania zostaną obsłużone również w formie pisemnej • Czas trwania: około 40 minut • Nagranie będzie na YT 3
4. Migracja do chmury prosta czy natywna? 4
5. 5 Mateusz Boś Cloud Architect https://www.linkedin.com/i n/mateuszbos/ Michał Górski Chief Architect https://www.linkedin.com /in/michal-gorski/ Cześć!
7. Wprowadzenie do problemu 7 Stan obecny • Napisany przed wzrostem firmy, obsługuje 100k faktur • Często pojawiają się błędy, ich obsługa jest trudna • Cykl fakturowania trwa około 6 godzin Cel • Skrócenie czasu przetwarzania • Łatwa obsługa błędów • Umożliwienie skalowania do 5x obecnego ruchu • Tylko zarządzane usługi - zero utrzymania!
8. Przetwarzanie faktur - proces 8
9. ECS Fargate 9
10. Rozwiązanie na ECS/Fargate 10
11. Rozwiązanie na ECS/Fargate 11
12. Lambda 12
13. Rozwiązanie na Lambdzie 13
14. Rozwiązanie na Lambdzie 14
15. 15 Rozwiązanie na Lambdzie Pułapka Brak możliwości przetwarzania 10 wiadomości Rozwiązanie Wrzucanie wiadomości na SQS
16. Rozwiązanie na Lambdzie 16
17. 17 Rozwiązanie na Lambdzie
18. Rozwiązanie na Lambdzie 18
19. Rozwiązanie na Lambdzie 19
20. Rozwiązanie na Lambdzie 20
21. Rozwiązanie na Lambdzie 21
22. Rozwiązanie na Lambdzie 22
23. 23 Obsługa błędów - DLQ Event Bridge EB Rule DLQ Lambda DLQ Lambda Subscription
24. 24 Obsługa błędów - DLQ
25. 25 Monitoring
26. Pułapki 26
27. 27 Rozwiązanie na Lambdzie Pułapka Co gdy nie wszystkie wiadomości zostaną przetworzone prawidłowo?
28. Przetwarzanie batchowe Tips & Tricks - idempotentność 28 Message 1 Message 2 Message 3 Message 4 Message 5 Lambda Error Idempotent Lambda All messages
29. Przetwarzanie batchowe Tips & Tricks - usuwanie wiadomości 29 Message 1 Message 2 Message 3 Message 4 Message 5 Lambda Delete Message Delete Message Delete Message Delete Message Delete Message
30. Przetwarzanie batchowe Tips & Tricks - usuwanie wiadomości 30 Message 1 Message 2 Message 3 Message 4 Message 5 Throw exception Lambda Delete Message Delete Message Delete Message Delete Message VisibilityTimeout: 60
31. 31 Rozwiązanie na Lambdzie Pułapka Limit 1000 jednocześnie działających Lambd. Jak regulować przepustowość?
32. 32 Regulowanie przepustowości Reserved Concurrency Minusy • Na stałe zmniejszamy dostępnych jednoczesnych wywołań na konto • Wiadomość może nigdy nie zacząć się przetwarzać i wylądować na DLQ • Metryki stają się mało czytelne CloudFormation SampleLambda: Type: AWS::Serverless::Function Properties: ReservedConcurrentExecutions: 5
33. 33 Regulowanie przepustowości MessageGroupId Wymagania • Kolejka FIFO • Generowanie MessageGroupId Wysyłanie wiadomości new SendMessageRequest { QueueUrl = "sqs-url", MessageGroupId = random.Next(0, 4).ToString(), MessageBody = "message" } CloudFormation SampleQueue: Type: AWS::SQS::Queue Properties: FifoQueue: true
34. 34 Regulowanie przepustowości MessageGroupId Group1 Group2 Group3 SQS 3 GroupIds = 3 Lambdas FIFO FIFO FIFO MessageGroupId: Group2 MessageGroupId: Group3 Message Message Message MessageGroupId: Group1 MessageGroupId: Group2 MessageGroupId: Group3
35. Rozwiązanie na Lambdzie 35 Pułapka Limity SES
36. Limity SES 36 Moving out of the Amazon SES sandbox
37. Limity SES 37 Limity Amazon SES
38. SES - Domeny i emaile 38
39. 39 Timeout przy dzieleniu pliku
40. Jak powtórzyć cały proces? 40
41. 41 Tracing - CorrelationId Przykładowy log { "timestamp": "2021-09-01T20:20:20.991Z", "log-message": "Sample log message", "log-level": "ERROR", "correlation-id": "24af2e27-86bc-4548-92cc-72186955fefc" }
42. 42 Tracing - CloudWatch Log Insights
43. Buduj z nami! https://careers.northmill.com/ 43 Q&A
45. 45 Mateusz Boś https://www.linkedin.com /in/mateuszbos/ Michał Górski https://www.linkedin.com /in/michal-gorski/ Cześć!