Масштабируемый сервис в облаке с нуля

Нельзя просто так взять, и начать раздавать бинарники! На этом обожглись, например, GitHub и Google, а они умеют писать код. В чем же дело? А в том, что бинарники — большие, и инструменты сборки качают их как не в себя. Это как DDoS атака, только все время, причем так и задумано. А теперь прикрутите сверху метадату, дорогие вызовы REST API, управление квотами, сбор статистики, генерацию индексов и раздачу всего этого по всей планете… и получается как-то непросто.

Знакомьтесь, это Bintray, через который разработчики по всему миру раздают свои опенсорсные бинарники, и похоже, с ним у нас всё получилось. А всё потому, что Java не тормозит. Мы вам расскажем как мы смогли создать распределенную по дата-центрам дублированную, масштабируемую систему на Java, которая в состоянии справиться с массивной параллельной нагрузкой (aka «да вы что все, охренели, одновременно всё скачивать?!»).

Ещё мы объясним, зачем нам 5 разных нереляционных баз данных и как чудесные Java решения типа Grizzly и Jersey могут служить прекрасной альтернативой традиционным веб-серверам.

Transcript

10. Some Numbers ___________ liftoff + 8 months
11. Some Numbers ___________ liftoff + 8 months Users 6K
12. Some Numbers ___________ liftoff + 8 months Users 6K Packages 70K
13. Some Numbers ___________ liftoff + 8 months Users 6K Packages 70K Requests 1.5B/Month
16. Requirements ___________
17. Requirements –Download binaries ___________
18. Requirements –Download binaries –Web application ___________
19. Requirements –Download binaries –Web application –REST API ___________
20. Requirements –Download binaries –Web application –REST API –Backend services ___________
28. Non-Func. Requirements _________________
29. Non-Func. Requirements Requirement RPS Availability _________________
30. Non-Func. Requirements Requirement RPS Availability Download 10K Always _________________
31. Non-Func. Requirements Requirement RPS Availability Download 10K Always Interaction 100 Almost always _________________
32. Non-Func. Requirements Requirement RPS Availability Download 10K Always Interaction 100 Almost always Services 1 Most of the time _________________
45. File A: 46b34 File B: a64ff7 /repo-z/package-y/file-x /repo-m/package-n/file-k /repo-w/package-t/file-f
46. File A: 46b34 File B: a64ff7
64. Requirements ___________
65. Requirements –Rapid Application Development ___________
66. Requirements –Rapid Application Development –Flexible schema ___________
67. Requirements –Rapid Application Development –Flexible schema –Java Back ground ___________
68. Requirements –Rapid Application Development –Flexible schema –Java Back ground –Stateless ___________
70. Why don’t you just use...? Framework Why not? ________________
71. Why don’t you just use...? Framework Why not? Angular.js Ember.js, ж.js Maturity ________________ -
72. Why don’t you just use...? Framework Why not? Angular.js Ember.js, ж.js Maturity Wicket State ________________ -
73. Why don’t you just use...? Framework Why not? Angular.js Ember.js, ж.js Maturity Wicket State JSF No comment ________________ -
74. Why don’t you just use...? Framework Why not? Angular.js Ember.js, ж.js Maturity Wicket State JSF No comment Non-java Not java bg ________________ -
90. Grails means Gorm!
101. Executive summary Framework Why not? ________________
102. Executive summary Framework Why not? Lucene/compass Only embedded, resource guzzler ________________
103. Executive summary Framework Why not? Lucene/compass Only embedded, resource guzzler solr Bad grail s integration ________________
104. Executive summary Framework Why not? Lucene/compass Only embedded, resource guzzler solr Bad grail s integration sphynx No incremental index ________________
131. SaaS for Download Server Component SaaS _________________
132. SaaS for Download Server Component SaaS blob storage SoftLayer datastore _________________
133. SaaS for Download Server Component SaaS blob storage SoftLayer datastore mapping Cloudant _________________
134. SaaS for Web and services Component SaaS _________________
135. SaaS for Web and services Component SaaS Model Mongohq _________________
136. SaaS for Web and services Component SaaS Model Mongohq Grail s N/A _________________
137. SaaS for Web and services Component SaaS Model Mongohq Grail s N/A ElasticSearch N/A _________________
138. SaaS for Web and services Component SaaS Model Mongohq Grail s N/A ElasticSearch N/A Redis N/A _________________
144. Virtualization __________
145. Virtualization __________ Pros
146. Virtualization __________ Pros – Cheap
147. Virtualization __________ Pros – Cheap – elasticity
148. Virtualization __________ Pros – Cheap – elasticity – Volatility
149. Virtualization __________ Pros – Cheap – elasticity – Volatility cons
150. Virtualization __________ Pros – Cheap – elasticity – Volatility cons – Overhead
152. Virtualization __________ Pros – Cheap – elasticity – Volatility cons – Overhead – Tenant, not owner
187. 1. Vagrant boots centos on virtualbox
188. 1. Vagrant boots centos on virtualbox 2. Chef install s all db and service rpms from private YUM repo
189. 1. Vagrant boots centos on virtualbox 2. Chef install s all db and service rpms from private YUM repo 3. Profit!
219. Conclusions time ______________
220. Conclusions time –Define Criticality ______________
221. Conclusions time –Define Criticality –Embrace the change ______________
222. Conclusions time –Define Criticality –Embrace the change –Plan for scale, but be real ______________
223. Conclusions time –Define Criticality –Embrace the change –Plan for scale, but be real –Backup everything! ______________