Przychodzi request do usługi...

W zależności od wielkości systemu, dzieje się to od kilku razy na minutę do kilku tysięcy razy na sekundę. Żądanie HTTP dociera do usługi napisanej w Java. Jego obsługę możemy podzielić na kilka etapów: magia, kontroler, serwis, repozytorium, magia. Co gorsza elementy magiczne występują często też między kontrolerem a serwisem, serwisem a repozytorium… W czasie tej prezentacji chcę pokazać, co kryje się pod warstwami magii, zwanej również abstrakcją. Zrozumienie tych mechanizmów pozwoli uniknąć błędów i problemów, które najczęściej dopadają nas w czasie największego ruchu na produkcji.

Transcript

1. @dubieladam Adam Dubiel Przychodzi request do usługi...
2. @dubieladam 10 000
3. @dubieladam 10 000 000
4. @dubieladam curl localhost:8080/▋
5. @dubieladam Moje repozytorium Mój Serwis Mój Controller curl
6. @dubieladam Moje repozytorium Magia Frameworka Mój Serwis Magia Frameworka Mój Controller magia Frameworka magia serwera HTTP magia linuxa magia sieci curl
7. @dubieladam Moje repozytorium Magia Frameworka Mój Serwis Magia Frameworka Mój Controller magia Frameworka magia serwera HTTP magia linuxa magia sieci curl
8. @dubieladam github.com/adamdubiel @dubieladam
9. @dubieladam curl localhost:8080/▋
10. @dubieladam curl -v https://api.github.com/users/dubieladam * Trying 140.82.118.5... * TCP_NODELAY set * Connected to api.github.com (140.82.118.5) port 443 (#0) * ALPN, offering h2 * ALPN, offering http/1.1 * Cipher selection: ALL:!EXPORT:!EXPORT40:!EXPORT56:!aNULL:!LOW:!RC4:@STRENGTH * successfully set certificate verify locations: * CAfile: /etc/ssl/cert.pem CApath: none * TLSv1.2 (OUT), TLS handshake, Client hello (1): * TLSv1.2 (IN), TLS handshake, Server hello (2): * TLSv1.2 (IN), TLS handshake, Certificate (11): * TLSv1.2 (IN), TLS handshake, Server key exchange (12): * TLSv1.2 (IN), TLS handshake, Server finished (14): * TLSv1.2 (OUT), TLS handshake, Client key exchange (16): * TLSv1.2 (OUT), TLS change cipher, Client hello (1): * TLSv1.2 (OUT), TLS handshake, Finished (20): * TLSv1.2 (IN), TLS change cipher, Client hello (1): * TLSv1.2 (IN), TLS handshake, Finished (20): * SSL connection using TLSv1.2 / ECDHE-RSA-AES128-GCM-SHA256 * ALPN, server accepted to use http/1.1 * Server certificate: * subject: C=US; ST=California; L=San Francisco; O=GitHub, Inc.; CN=*.github.com * start date: Jul 8 00:00:00 2019 GMT * expire date: Jul 16 12:00:00 2020 GMT * subjectAltName: host "api.github.com" matched cert's "*.github.com" * issuer: C=US; O=DigiCert Inc; OU=www.digicert.com; CN=DigiCert SHA2 High Assurance Server CA * SSL certificate verify ok. > GET /users/dubieladam HTTP/1.1 > Host: api.github.com > User-Agent: curl/7.54.0 > Accept: */* > < HTTP/1.1 404 Not Found < Date: Sat, 21 Sep 2019 15:24:43 GMT < Content-Type: application/json; charset=utf-8 < Content-Length: 112 < Server: GitHub.com < Status: 404 Not Found < X-RateLimit-Limit: 60 < X-RateLimit-Remaining: 55 < X-RateLimit-Reset: 1569082878 < X-GitHub-Media-Type: github.v3; format=json < Access-Control-Expose-Headers: ETag, Link, Location, Retry-After, X-GitHub-OTP, X-RateLimit-Limit, X-RateLimit-Remaining, X-RateLimit-Reset, X-OAuth-Scopes, X-Accepted-OAuth-Scopes, X-Poll-Interval, X-GitHub-Media-Type < Access-Control-Allow-Origin: * < Strict-Transport-Security: max-age=31536000; includeSubdomains; preload < X-Frame-Options: deny < X-Content-Type-Options: nosniff < X-XSS-Protection: 1; mode=block < Referrer-Policy: origin-when-cross-origin, strict-origin-when-cross-origin < Content-Security-Policy: default-src 'none' < X-GitHub-Request-Id: A956:354FE:F57AC9C:129E72B7:5D8640BA < { "message": "Not Found", "documentation_url": "https://developer.github.com/v3/users/#get-a-single-user" } * Connection #0 to host api.github.com left intact
11. @dubieladam curl -v https://api.github.com/users/dubieladam * Trying 140.82.118.5... * TCP_NODELAY set * Connected to api.github.com (140.82.118.5) port 443 (#0) * ALPN, offering h2 * ALPN, offering http/1.1 * Cipher selection: ALL:!EXPORT:!EXPORT40:!EXPORT56:!aNULL:!LOW:!RC4:@STRENGTH * successfully set certificate verify locations: * CAfile: /etc/ssl/cert.pem CApath: none * TLSv1.2 (OUT), TLS handshake, Client hello (1): * TLSv1.2 (IN), TLS handshake, Server hello (2): * TLSv1.2 (IN), TLS handshake, Certificate (11): * TLSv1.2 (IN), TLS handshake, Server key exchange (12): * TLSv1.2 (IN), TLS handshake, Server finished (14): * TLSv1.2 (OUT), TLS handshake, Client key exchange (16): * TLSv1.2 (OUT), TLS change cipher, Client hello (1): * TLSv1.2 (OUT), TLS handshake, Finished (20): * TLSv1.2 (IN), TLS change cipher, Client hello (1): * TLSv1.2 (IN), TLS handshake, Finished (20): * SSL connection using TLSv1.2 / ECDHE-RSA-AES128-GCM-SHA256 * ALPN, server accepted to use http/1.1 * Server certificate: * subject: C=US; ST=California; L=San Francisco; O=GitHub, Inc.; CN=*.github.com * start date: Jul 8 00:00:00 2019 GMT * expire date: Jul 16 12:00:00 2020 GMT * subjectAltName: host "api.github.com" matched cert's "*.github.com" * issuer: C=US; O=DigiCert Inc; OU=www.digicert.com; CN=DigiCert SHA2 High Assurance Server CA * SSL certificate verify ok. > GET /users/dubieladam HTTP/1.1 > Host: api.github.com > User-Agent: curl/7.54.0 > Accept: */* > < HTTP/1.1 404 Not Found < Date: Sat, 21 Sep 2019 15:24:43 GMT < Content-Type: application/json; charset=utf-8 < Content-Length: 112 < Server: GitHub.com < Status: 404 Not Found < X-RateLimit-Limit: 60 < X-RateLimit-Remaining: 55 < X-RateLimit-Reset: 1569082878 < X-GitHub-Media-Type: github.v3; format=json < Access-Control-Expose-Headers: ETag, Link, Location, Retry-After, X-GitHub-OTP, X-RateLimit-Limit, X-RateLimit-Remaining, X-RateLimit-Reset, X-OAuth-Scopes, X-Accepted-OAuth-Scopes, X-Poll-Interval, X-GitHub-Media-Type < Access-Control-Allow-Origin: * < Strict-Transport-Security: max-age=31536000; includeSubdomains; preload < X-Frame-Options: deny < X-Content-Type-Options: nosniff < X-XSS-Protection: 1; mode=block < Referrer-Policy: origin-when-cross-origin, strict-origin-when-cross-origin < Content-Security-Policy: default-src 'none' < X-GitHub-Request-Id: A956:354FE:F57AC9C:129E72B7:5D8640BA < { "message": "Not Found", "documentation_url": "https://developer.github.com/v3/users/#get-a-single-user" } * Connection #0 to host api.github.com left intact
12. @dubieladam curl -v https://api.github.com/users/dubieladam * Trying 140.82.118.5... * TCP_NODELAY set * Connected to api.github.com (140.82.118.5) port 443 (#0) * ALPN, offering h2 * ALPN, offering http/1.1 * Cipher selection: ALL:!EXPORT:!EXPORT40:!EXPORT56:!aNULL:!LOW:!RC4:@STRENGTH * successfully set certificate verify locations: * CAfile: /etc/ssl/cert.pem CApath: none * TLSv1.2 (OUT), TLS handshake, Client hello (1): * TLSv1.2 (IN), TLS handshake, Server hello (2): * TLSv1.2 (IN), TLS handshake, Certificate (11): * TLSv1.2 (IN), TLS handshake, Server key exchange (12): * TLSv1.2 (IN), TLS handshake, Server finished (14): * TLSv1.2 (OUT), TLS handshake, Client key exchange (16): * TLSv1.2 (OUT), TLS change cipher, Client hello (1): * TLSv1.2 (OUT), TLS handshake, Finished (20): * TLSv1.2 (IN), TLS change cipher, Client hello (1): * TLSv1.2 (IN), TLS handshake, Finished (20): * SSL connection using TLSv1.2 / ECDHE-RSA-AES128-GCM-SHA256 * ALPN, server accepted to use http/1.1 * Server certificate: * subject: C=US; ST=California; L=San Francisco; O=GitHub, Inc.; CN=*.github.com * start date: Jul 8 00:00:00 2019 GMT * expire date: Jul 16 12:00:00 2020 GMT * subjectAltName: host "api.github.com" matched cert's "*.github.com" * issuer: C=US; O=DigiCert Inc; OU=www.digicert.com; CN=DigiCert SHA2 High Assurance Server CA * SSL certificate verify ok. > GET /users/dubieladam HTTP/1.1 > Host: api.github.com > User-Agent: curl/7.54.0 > Accept: */* > < HTTP/1.1 404 Not Found < Date: Sat, 21 Sep 2019 15:24:43 GMT < Content-Type: application/json; charset=utf-8 < Content-Length: 112 < Server: GitHub.com < Status: 404 Not Found < X-RateLimit-Limit: 60 < X-RateLimit-Remaining: 55 < X-RateLimit-Reset: 1569082878 < X-GitHub-Media-Type: github.v3; format=json < Access-Control-Expose-Headers: ETag, Link, Location, Retry-After, X-GitHub-OTP, X-RateLimit-Limit, X-RateLimit-Remaining, X-RateLimit-Reset, X-OAuth-Scopes, X-Accepted-OAuth-Scopes, X-Poll-Interval, X-GitHub-Media-Type < Access-Control-Allow-Origin: * < Strict-Transport-Security: max-age=31536000; includeSubdomains; preload < X-Frame-Options: deny < X-Content-Type-Options: nosniff < X-XSS-Protection: 1; mode=block < Referrer-Policy: origin-when-cross-origin, strict-origin-when-cross-origin < Content-Security-Policy: default-src 'none' < X-GitHub-Request-Id: A956:354FE:F57AC9C:129E72B7:5D8640BA < { "message": "Not Found", "documentation_url": "https://developer.github.com/v3/users/#get-a-single-user" } * Connection #0 to host api.github.com left intact
13. @dubieladam Moje repozytorium Magia Frameworka Mój Serwis Magia Frameworka Mój Controller magia Frameworka magia serwera HTTP magia linuxa magia sieci curl
14. @dubieladam curl -v https://api.github.com/users/dubieladam * Trying 140.82.118.5... * TCP_NODELAY set * Connected to api.github.com (140.82.118.5) port 443 (#0) * ALPN, offering h2 * ALPN, offering http/1.1 * Cipher selection: ALL:!EXPORT:!EXPORT40:!EXPORT56:!aNULL:!LOW:!RC4:@STRENGTH * successfully set certificate verify locations: * CAfile: /etc/ssl/cert.pem CApath: none * TLSv1.2 (OUT), TLS handshake, Client hello (1): * TLSv1.2 (IN), TLS handshake, Server hello (2): * TLSv1.2 (IN), TLS handshake, Certificate (11): * TLSv1.2 (IN), TLS handshake, Server key exchange (12): * TLSv1.2 (IN), TLS handshake, Server finished (14): * TLSv1.2 (OUT), TLS handshake, Client key exchange (16): * TLSv1.2 (OUT), TLS change cipher, Client hello (1): * TLSv1.2 (OUT), TLS handshake, Finished (20): * TLSv1.2 (IN), TLS change cipher, Client hello (1): * TLSv1.2 (IN), TLS handshake, Finished (20): * SSL connection using TLSv1.2 / ECDHE-RSA-AES128-GCM-SHA256 * ALPN, server accepted to use http/1.1 * Server certificate: * subject: C=US; ST=California; L=San Francisco; O=GitHub, Inc.; CN=*.github.com * start date: Jul 8 00:00:00 2019 GMT * expire date: Jul 16 12:00:00 2020 GMT * subjectAltName: host "api.github.com" matched cert's "*.github.com" * issuer: C=US; O=DigiCert Inc; OU=www.digicert.com; CN=DigiCert SHA2 High Assurance Server CA * SSL certificate verify ok. > GET /users/dubieladam HTTP/1.1 > Host: api.github.com > User-Agent: curl/7.54.0 > Accept: */* > < HTTP/1.1 404 Not Found < Date: Sat, 21 Sep 2019 15:24:43 GMT < Content-Type: application/json; charset=utf-8 < Content-Length: 112 < Server: GitHub.com < Status: 404 Not Found < X-RateLimit-Limit: 60 < X-RateLimit-Remaining: 55 < X-RateLimit-Reset: 1569082878 < X-GitHub-Media-Type: github.v3; format=json < Access-Control-Expose-Headers: ETag, Link, Location, Retry-After, X-GitHub-OTP, X-RateLimit-Limit, X-RateLimit-Remaining, X-RateLimit-Reset, X-OAuth-Scopes, X-Accepted-OAuth-Scopes, X-Poll-Interval, X-GitHub-Media-Type < Access-Control-Allow-Origin: * < Strict-Transport-Security: max-age=31536000; includeSubdomains; preload < X-Frame-Options: deny < X-Content-Type-Options: nosniff < X-XSS-Protection: 1; mode=block < Referrer-Policy: origin-when-cross-origin, strict-origin-when-cross-origin < Content-Security-Policy: default-src 'none' < X-GitHub-Request-Id: A956:354FE:F57AC9C:129E72B7:5D8640BA < { "message": "Not Found", "documentation_url": "https://developer.github.com/v3/users/#get-a-single-user" } * Connection #0 to host api.github.com left intact
15. @dubieladam Connected to api.github.com (140.82.118.5) port 443 (#0)
16. @dubieladam Do wysłania żądania HTTP potrzebna jest współpraca wielu warstw Physical Data Link Network Transport Session Presentation Application
17. @dubieladam Do wysłania żądania HTTP potrzebna jest współpraca wielu warstw Physical Data Link Network Transport Session Presentation Application TCP / UDP HTTP
18. @dubieladam curl Połączenie TCP
19. @dubieladam curl curl curl curl
20. @dubieladam curl curl curl curl curl curl curl curl
21. @dubieladam curl curl curl curl curl curl curl curl curl curl curl curl curl curl curl curl Ile połączeń może obsłużyć jeden serwer?
22. @dubieladam Problem c10k jak obsłużyć 10 tysięcy równoległych połączeń
23. @dubieladam Pierwszym ograniczeniem jest maksymalna liczba połączeń możliwych do zestawienia
24. @dubieladam Pierwszym ograniczeniem jest maksymalna liczba połączeń możliwych do zestawienia java.io.IOException: Too many open files
25. @dubieladam Połączenie reprezentowane jest przez "plik" (file descriptor) # ulimit -a core file size (blocks, -c) 0 data seg size (kbytes, -d) unlimited scheduling priority (-e) 0 file size (blocks, -f) unlimited pending signals (-i) 7873 max locked memory (kbytes, -l) 16384 max memory size (kbytes, -m) unlimited open files (-n) 1024 pipe size (512 bytes, -p) 8 POSIX message queues (bytes, -q) 819200 real-time priority (-r) 0 stack size (kbytes, -s) 8192 cpu time (seconds, -t) unlimited max user processes (-u) 7873
26. @dubieladam curl
27. @dubieladam curl
28. @dubieladam Połączenia wykorzystywane są zarówno przez serwer jak i klienta HTTP, bazy danych..
29. @dubieladam % wykorzystanych połączeń można raportować lub monitorować z poziomu JVM UnixOperatingSystemMXBean UnixOperatingSystemMXBean b = (UnixOperatingSystemMXBean) ManagementFactory.getOperatingSystemMXBean(); double fdUtilization = b.getOpenFileDescriptorCount() / (double) b.getMaxFileDescriptorCount();
30. @dubieladam % wykorzystanych połączeń można raportować lub monitorować z poziomu systemu operacyjnego lsof -a -p <pid> | wc -l lsof -a -d ^txt,^mem,^cwd,^rtd,^DEL -p <pid> | wc -l wyklucza fd otwierane przez kernel w imieniu procesu (nie wliczają się do limitu)
31. @dubieladam Pierwszym ograniczeniem jest maksymalna liczba połączeń możliwych do zestawienia Drugim ograniczeniem jest maksymalna liczba połączeń możliwych do obsłużenia
32. @dubieladam Na obsługę połączeń gotowe muszą być dwa komponenty: system operacyjny i aplikacja
33. @dubieladam W modelu blokującym system i aplikacja działają razem: na czytanie/pisanie danych z połączenia alokowany jest wątek
34. @dubieladam accept
35. @dubieladam accept blocking read / write 01001011
36. @dubieladam accept blocking read / write blocking read / write blocking read / write blocking read / write liczba wątków O(N) 01001011 01001011
37. @dubieladam Gotowe na obsługę połączeń muszą być dwa komponenty: system operacyjny i aplikacja
38. @dubieladam Nieblokujące metody IO systemu operacyjnego minimalizują konieczność alokowania wątków do czekania
39. @dubieladam accept
40. @dubieladam accept select / poll
41. @dubieladam accept select / poll
42. @dubieladam accept select / poll 01001011 01001011
43. @dubieladam accept select / poll złożoność O(N) 01001011 01001011
44. @dubieladam epoll nie sprawdza wszysktich fd, zwraca tylko informację które się zmieniły lub są gotowe
45. @dubieladam accept
46. @dubieladam accept epoll
47. @dubieladam accept epoll
48. @dubieladam accept epoll 01001011 01001011
49. @dubieladam accept epoll 01001011 01001011
50. @dubieladam Głównym celem jest przepustowość i skalowalność, nie latency
51. @dubieladam Na obsługę połączeń gotowe muszą być dwa komponenty: system operacyjny i aplikacja
52. @dubieladam accept blocking read / write blocking read / write blocking read / write blocking read / write 01001011 01001011 blocking read / write blocking read / write blocking read / write blocking read / write W modelu blokującym system i aplikacja działają razem: na czytanie/pisanie danych z połączenia alokowany jest wątek
53. @dubieladam epoll epoll epoll epoll
54. @dubieladam blocking read / write blocking read / write blocking read / write blocking read / write IO thread IO thread IO thread IO thread
55. @dubieladam blocking read / write blocking read / write blocking read / write blocking read / write IO thread IO thread IO thread IO thread worker thread worker thread worker thread worker thread worker thread worker thread
56. @dubieladam blocking read / write blocking read / write blocking read / write blocking read / write IO thread IO thread IO thread IO thread worker thread worker thread worker thread worker thread worker thread 01001011 worker thread 01011
57. @dubieladam epoll read / write blocking read / write blocking read / write blocking read / write IO thread IO thread IO thread IO thread worker thread worker thread worker thread worker thread worker thread worker thread
58. @dubieladam epoll read / write epoll epoll epoll read / write IO thread IO thread IO thread IO thread worker thread worker thread worker thread worker thread worker thread worker thread
59. @dubieladam epoll epoll epoll epoll IO thread IO thread IO thread IO thread worker thread worker thread worker thread worker thread worker thread worker thread
60. @dubieladam epo ll IO IO IO IO worker thread worker thread worker thread worker thread worker thread worker thread
61. @dubieladam Przyjąć połączenia jest łatwiej niż przetworzyć transakcje
62. @dubieladam Moje repozytorium Magia Frameworka Mój Serwis Magia Frameworka Mój Controller magia Frameworka magia serwera HTTP magia linuxa magia sieci curl
63. @dubieladam curl -v https://api.github.com/users/dubieladam * Trying 140.82.118.5... * TCP_NODELAY set * Connected to api.github.com (140.82.118.5) port 443 (#0) * ALPN, offering h2 * ALPN, offering http/1.1 * Cipher selection: ALL:!EXPORT:!EXPORT40:!EXPORT56:!aNULL:!LOW:!RC4:@STRENGTH * successfully set certificate verify locations: * CAfile: /etc/ssl/cert.pem CApath: none * TLSv1.2 (OUT), TLS handshake, Client hello (1): * TLSv1.2 (IN), TLS handshake, Server hello (2): * TLSv1.2 (IN), TLS handshake, Certificate (11): * TLSv1.2 (IN), TLS handshake, Server key exchange (12): * TLSv1.2 (IN), TLS handshake, Server finished (14): * TLSv1.2 (OUT), TLS handshake, Client key exchange (16): * TLSv1.2 (OUT), TLS change cipher, Client hello (1): * TLSv1.2 (OUT), TLS handshake, Finished (20): * TLSv1.2 (IN), TLS change cipher, Client hello (1): * TLSv1.2 (IN), TLS handshake, Finished (20): * SSL connection using TLSv1.2 / ECDHE-RSA-AES128-GCM-SHA256 * ALPN, server accepted to use http/1.1 * Server certificate: * subject: C=US; ST=California; L=San Francisco; O=GitHub, Inc.; CN=*.github.com * start date: Jul 8 00:00:00 2019 GMT * expire date: Jul 16 12:00:00 2020 GMT * subjectAltName: host "api.github.com" matched cert's "*.github.com" * issuer: C=US; O=DigiCert Inc; OU=www.digicert.com; CN=DigiCert SHA2 High Assurance Server CA * SSL certificate verify ok. > GET /users/dubieladam HTTP/1.1 > Host: api.github.com > User-Agent: curl/7.54.0 > Accept: */* > < HTTP/1.1 404 Not Found < Date: Sat, 21 Sep 2019 15:24:43 GMT < Content-Type: application/json; charset=utf-8 < Content-Length: 112 < Server: GitHub.com < Status: 404 Not Found < X-RateLimit-Limit: 60 < X-RateLimit-Remaining: 55 < X-RateLimit-Reset: 1569082878 < X-GitHub-Media-Type: github.v3; format=json < Access-Control-Expose-Headers: ETag, Link, Location, Retry-After, X-GitHub-OTP, X-RateLimit-Limit, X-RateLimit-Remaining, X-RateLimit-Reset, X-OAuth-Scopes, X-Accepted-OAuth-Scopes, X-Poll-Interval, X-GitHub-Media-Type < Access-Control-Allow-Origin: * < Strict-Transport-Security: max-age=31536000; includeSubdomains; preload < X-Frame-Options: deny < X-Content-Type-Options: nosniff < X-XSS-Protection: 1; mode=block < Referrer-Policy: origin-when-cross-origin, strict-origin-when-cross-origin < Content-Security-Policy: default-src 'none' < X-GitHub-Request-Id: A956:354FE:F57AC9C:129E72B7:5D8640BA < { "message": "Not Found", "documentation_url": "https://developer.github.com/v3/users/#get-a-single-user" } * Connection #0 to host api.github.com left intact
64. @dubieladam curl
65. @dubieladam Wątki odpowiedzialne za obsługę transakcji większość czasu blokują i czekają na inne zasoby Moje repozytorium Mój Serwis Mój Controller
66. @dubieladam IO worker thread IO
67. @dubieladam Wątki odpowiedzialne za obsługę transakcji większość czasu blokują i czekają na inne zasoby Moje repozytorium Mój Serwis Mój Controller
68. @dubieladam Model blokujących wątków jest prosty i intuicyjny, ale wymaga zabezpieczania się przed kaskadującymi błędami
69. @dubieladam IO IO worker thread worker thread worker thread worker thread
70. @dubieladam IO IO worker thread worker thread worker thread worker thread ☠ ⏳
71. @dubieladam ☠ ☠ ☠
72. @dubieladam Pierwszą linią obrony przed kaskadującymi błędami są timeouty
73. @dubieladam IO IO worker thread worker thread worker thread worker thread
74. @dubieladam ☠ IO IO worker thread worker thread worker thread worker thread
75. @dubieladam Drugą linią obrony przed kaskadującymi błędami jest izolacja wątków
76. @dubieladam https://en.wikipedia.org/wiki/Bulkhead_(partition)
77. @dubieladam IO IO w/t w/t w/t w/t custom thread pool 1 custom thread pool 1 custom thread pool 2 custom thread pool 2
78. @dubieladam IO IO w/t w/t w/t w/t custom thread pool 1 custom thread pool 1 custom thread pool 2 custom thread pool 2
79. @dubieladam ☠ IO IO w/t w/t w/t w/t custom thread pool 1 custom thread pool 1 custom thread pool 2 custom thread pool 2 wątek nie jest blokowany! (chyba, że sami zablokujemy)
80. @dubieladam Asynchroniczne przetwarzanie możliwe jest dzięki zmianom w Servlet 3.0 (AsyncContext) custom thread pool 1 worker thread AsyncContext ctx = request.startAsync(); pool.submit(() -> { // do stuff ctx.getResponse() .getOutputStream().println(...); ctx.complete(); })
81. @dubieladam Pisanie / odczyt ze strumienia wciąż pozostaje blokujące custom thread pool 1 worker thread AsyncContext ctx = request.startAsync(); pool.submit(() -> { // do stuff ctx.getResponse() .getOutputStream().println(...); ctx.complete(); }) pisanie / czytanie to wciąż operacje blokujące..
82. @dubieladam Nieblokujące czytanie / pisanie możliwe jest dzięki zmianom w Servlet 3.1 (Read & WriteListener) custom thread pool 1 worker thread AsyncContext ctx = request.startAsync(); pool.submit(() -> { // do stuff ctx.getResponse() .getOutputStream() .setWriteListener(() -> ...) ctx.complete(); })
83. @dubieladam Trzecią linią obrony przed kaskadującymi błędami są circuit breakers
84. @dubieladam Circuit breaker może dodawać izolację wątkową, lub być prostym semaforem IO IO w/t w/t w/t w/t semafor IO IO w/t w/t w/t w/t cb/t cb/t cb/t
85. @dubieladam Semafor może zamknąć obwód, ale nie daje ochrony przed wydłużonym czekaniem IO IO w/t w/t w/t w/t ☠ 500 semafor
86. @dubieladam Semafor może zamknąć obwód, ale nie daje ochrony przed wydłużonym czekaniem IO IO w/t w/t w/t w/t ☠ semafor ⏳
87. @dubieladam Przy dodatkowej izolacji należy uważać, czy jest ona potrzebna i jak skonfigurowana jest pula wątków w/t w/t w/t w/t cb/t cb/t cb/t c/t c/t c/t c/t
88. @dubieladam Przy dodatkowej izolacji należy uważać, czy timeouty ze sobą współgrają IO IO w/t w/t w/t w/t cb/t cb/t cb/t ⌛ ⏳
89. @dubieladam Timeout na circuit breaker nie oznacza, że zwalnia się wątek pod spodem worker thread circuit breaker thread
90. @dubieladam Timeout na circuit breaker nie oznacza, że zwalnia się wątek pod spodem worker thread ☠ circuit breaker thread
91. @dubieladam Timeout na circuit breaker nie oznacza, że zwalnia się wątek pod spodem worker thread ☠ ⏳ circuit breaker thread
92. @dubieladam Timeout na circuit breaker nie oznacza, że zwalnia się wątek pod spodem worker thread ☠ ⏳ ⌛ circuit breaker thread t T t < T
93. @dubieladam curl -v https://api.github.com/users/dubieladam * Trying 140.82.118.5... * TCP_NODELAY set * Connected to api.github.com (140.82.118.5) port 443 (#0) * ALPN, offering h2 * ALPN, offering http/1.1 * Cipher selection: ALL:!EXPORT:!EXPORT40:!EXPORT56:!aNULL:!LOW:!RC4:@STRENGTH * successfully set certificate verify locations: * CAfile: /etc/ssl/cert.pem CApath: none * TLSv1.2 (OUT), TLS handshake, Client hello (1): * TLSv1.2 (IN), TLS handshake, Server hello (2): * TLSv1.2 (IN), TLS handshake, Certificate (11): * TLSv1.2 (IN), TLS handshake, Server key exchange (12): * TLSv1.2 (IN), TLS handshake, Server finished (14): * TLSv1.2 (OUT), TLS handshake, Client key exchange (16): * TLSv1.2 (OUT), TLS change cipher, Client hello (1): * TLSv1.2 (OUT), TLS handshake, Finished (20): * TLSv1.2 (IN), TLS change cipher, Client hello (1): * TLSv1.2 (IN), TLS handshake, Finished (20): * SSL connection using TLSv1.2 / ECDHE-RSA-AES128-GCM-SHA256 * ALPN, server accepted to use http/1.1 * Server certificate: * subject: C=US; ST=California; L=San Francisco; O=GitHub, Inc.; CN=*.github.com * start date: Jul 8 00:00:00 2019 GMT * expire date: Jul 16 12:00:00 2020 GMT * subjectAltName: host "api.github.com" matched cert's "*.github.com" * issuer: C=US; O=DigiCert Inc; OU=www.digicert.com; CN=DigiCert SHA2 High Assurance Server CA * SSL certificate verify ok. > GET /users/dubieladam HTTP/1.1 > Host: api.github.com > User-Agent: curl/7.54.0 > Accept: */* > < HTTP/1.1 404 Not Found < Date: Sat, 21 Sep 2019 15:24:43 GMT < Content-Type: application/json; charset=utf-8 < Content-Length: 112 < Server: GitHub.com < Status: 404 Not Found < X-RateLimit-Limit: 60 < X-RateLimit-Remaining: 55 < X-RateLimit-Reset: 1569082878 < X-GitHub-Media-Type: github.v3; format=json < Access-Control-Expose-Headers: ETag, Link, Location, Retry-After, X-GitHub-OTP, X-RateLimit-Limit, X-RateLimit-Remaining, X-RateLimit-Reset, X-OAuth-Scopes, X-Accepted-OAuth-Scopes, X-Poll-Interval, X-GitHub-Media-Type < Access-Control-Allow-Origin: * < Strict-Transport-Security: max-age=31536000; includeSubdomains; preload < X-Frame-Options: deny < X-Content-Type-Options: nosniff < X-XSS-Protection: 1; mode=block < Referrer-Policy: origin-when-cross-origin, strict-origin-when-cross-origin < Content-Security-Policy: default-src 'none' < X-GitHub-Request-Id: A956:354FE:F57AC9C:129E72B7:5D8640BA < { "message": "Not Found", "documentation_url": "https://developer.github.com/v3/users/#get-a-single-user" } * Connection #0 to host api.github.com left intact
94. @dubieladam Moje repozytorium Magia Frameworka Mój Serwis Magia Frameworka Mój Controller magia Frameworka magia serwera HTTP magia linuxa magia sieci curl
95. @dubieladam Głównym celem jest przepustowość i skalowalność, nie latency Model blokujących wątków jest prosty i intuicyjny, ale wymaga zabezpieczania się przed kaskadującymi błędami Linie obrony: timeout izolacja circuit breaker