Oplæg om IT-arkitektur, AEA, 29. september 2016

Mit oplæg om IT-arkitektur, AEA, 29. september 2016.

Transcript

1. Oplæg om IT-arkitektur En snak om dengang og nu, skalering og distribuerede systemer, Kasper Tidemann, september 2016
2. Kasper Tidemann. Det er mit navn.
3. Det er mit selskab, hvorfra min verden går.
4. Jeg er softwareudvikler. 00010101100101010010 01110001010010100010 11010101000001010011 00001001100101001001 00010101110101010110 10100101000010111100
5. Jeg arbejder blandt andet for facebook.
6. Jeg er medejer af Alefarm Brewing.
7. Jeg har fornøjelsen af at være ekstern lektor i distribuerede systemer.
8. For tiden arbejder jeg tæt sammen med Danske Spil om deres skift til en ny udbyder af talspil.
9. Hvorfor er I her? Jeg ved jo ikke så meget om jer…
10. Hvorfor står jeg her? Jeg vil gerne tale om skalering og distribuerede systemer.
11. Leslie Lamport er de distribuerede systemers grand old man.
12. En tidlig definition af kausalitetsbegrebet. Leslie Lamport fremsætter i juli 1978 idéen om begivenheder, der er indtruffet før hinanden. a → b
13. Byzantine Generals’ Problem er en teori om generaler, angreb og forrædere. Det er for så vidt en god metafor, selvom den er noget krigerisk.
14. En herlig illustration. v v v x
15. majority(v1 , .., vn-1 ) En majoritetsalgoritme er et generelt begreb, der dækker over at afgøre hvilken værdi, der er korrekt.
16. Ofte implementeres majority-algoritmer med udgangspunkt i antallet af ens forekomster. Forekomster Valg af den forekomst af en værdi, der optræder flest af. Sandsynlighed Valg af den værdi, der forekommer mest sandsynlig. Tillid Valg af den værdi, der optræder hos flest, der er tillid til. Type Valg af den værdi, som passer med den type, der er valgt.
17. Arkitektur er et spørgsmål om at løse et problem, der ikke kan løses med kun en server. Sådan kunne man definere det.
18. Jeg vil gerne tale om skalering. Det er noget, som er på alles læber i den her tid, i de her år.
19. Den korte version. Scalability, a computer's or network's ability to function as the number of users increases.
20. Det er for så vidt et generelt begreb, der fx også dækker virksomheder, trafik og meget mere. Tænk fx på ringbanen, som er skalering af den offentlige transport.
21. Et citat fra 1965 af Fernando J. Corbató og Victor A. Vyssotsky. Such systems must run continuously and reliably 7 days a week, 24 hours a day and must be capable of meeting wide service demands. Because the system must ultimately be comprehensive and able to adapt to unknown future requirements, its framework must be general, and capable of evolving over time.
22. Tænk på Billetnet eller ticketmaster, som jo købte dem.
23. I kender det også fra SKAT og deres hjemmeside.
24. Den gode, gamle mainframe.
25. Vi kender jo den her, en load balancer og en række servere i baggrunden. Server 1 Server 2 Server 3 Server 4 Load balancer
26. Couch? Cluster of unreliable commodity hardware.
27. Vi kan ikke gå videre uden at vende Amazon.
28. Det er på grund af julen - hvor hyggeligt!
29. Ovenstående er jo ikke dødsfjender, bevares, men de repræsenterer forskellige tilgange. vs.
30. Hvis NoSQL er det nye sort, hvorfor bruger alle det så ikke? Et relevant spørgsmål.
31. ACID. NoSQL giver ingen garantier og består ikke syretesten.
32. ACID er et stærkt koncept fra den gamle skole inden for databaser. Atomicity Enten virker hele molevitten eller også bliver det droppet. Consistency Sørger for at data er korrekte, fx at en ny række har en primærnøgle. Isolation Sætter lighedstegn mellem samtidig og seriel kørsel af transaktioner. Durability Hvis nu serveren eksploderer, så skal transaktioner kunne overleve - typisk ved at være gemt på disken.
33. Det tager tid for alle servere at blive enige om en værdi, og det kan man ikke vente på. I et meget tilgængeligt system er consistency begrænset - det kan ikke garanteres.
34. Hvis der nu er 8 servere, der mener at en værdi er 1, og 2 servere, der mener at værdien er 2… I et meget tilgængeligt system konvergerer alle værdier mod den samme værdi.
35. Det er en udfordring af lave queries i en distribueret NoSQL-database. Og databaserne har ofte forskellige engines til at lave queries.
36. En beskrivelse af Apache Hive. The Apache Hive data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL.
37. En beskrivelse af Apache Spark. Apache Spark is a fast and general engine for large-scale data processing.
38. Sådan kan noget, der er gemt i Riak, se ud.
39. Her laver jeg en søgning via Riak Search.
40. Det er en udfordring at opbevare kopier af store mængder data. Replication er fint, men ikke hvis det er mange tusind terrabyte, der kopieres 1-til-1.
41. Apache Hadoop er meget populært i big data-kredse.
42. Antal noder, som data skal være spejlet på. n_val = 3
43. n_val = 3 kræver 5 servere for at skabe et beslutningsdygtigt flertal, der kan overleve nedbrud. 2/3.
44. Hvad er det nu lige block chain er? Et eksempel på en distribueret arkitektur.
45. I skal sgu lige have en af mange røverhistorier. En lille historie fra San Francisco.
46. twitter sparede 32% på deres serverbudget. +
47. Netflix og Amazon var bedste venner lige indtil Netflix fik regningen.
48. Apropos distribueret schedulering, så er der jo også en årsag til at vi virtualiserer.
49. Dem har I uden tvivl hørt om før. Jeg vil lige nævne microservices.
50. Det er altså vigtigt at huske på. At adskille kode med et netværkslag gør ikke koden mindre kompleks.
51. I kender jo også CAP-teoremet. At skabe en god arkitektur handler om consistency, consensus, availability og fault-tolerance.
52. Der findes ingen silver bullet her. At skabe en god arkitektur, når man arbejder med mange servere og læssevis af data, det er en afvejning.
53. Blot for at understrege det faktum. Der findes ingen teknologi, der er perfekt til alt - det er en illusion.
54. Tilmeld jer hvis I vil vide mere om mine aktiviteter, investeringer og så videre. newsletter.tdmn.co
55. Skriv gerne til mig på kt@tdmn.co. Tak for i dag!