Estruturas de dados que suportam 300 mil jogadores simultâneos

Transcript

1. ESTRUTURAS DE DADOS QUE SUPORTAM 300 MIL JOGADORES SIMULTÂNEOS
2. Olá! Meu nome é Juan Lopes Eu trabalho na ZWIFT @juanplopes 2
3. Objetivo desta apresentação Apresentar estruturas de dados avançadas que podem ajudar a resolver problemas interessantes. Catalogar as estruturas de dados usadas na Zwift, evidenciando como estruturas customizadas podem ser benéficas. Apresentar o processo decisório que pode levar um time a escolher implementar uma estrutura de dados customizada. 3 1. CONTEXTO Que tipo de problemas são resolvidos na Zwift? 2. ESTUDO DE CASO Por que resolvemos alguns problemas usando estruturas customizadas?
4. Veja o código em: github.com/juanplopes/javabahia-2021
5. 1. CONTEXTO 5
6. O que é Zwift? 6
7. Zwift é um jogo 7
8. Zwift é um eSport 8
9. ZWIFT É UM MMO
10. SINGLE-SHARD MMO (DIGO… QUASE) This is WATOPIA by the way 10
11. WHATNOT SSL OFFLOADER RDS HTTPS OTHER SERVICE CLUSTERS instance-1 instance-2 instance-n KAFKA REDIS ACTIVEMQ UDP RELAY CLUSTER instance-1 instance-2 instance-n TCP RELAY CLUSTER instance-1 instance-2 instance-n UDP 3022 TCP 3023 API RELAY CLUSTER instance-1 instance-2 instance-n UDP 3021 × N Game Server 11 Palestra sobre a arquitetura do Zwift https://www.youtube.com/watch?v=SmQrHlqDw7U&t=3630s
12. 12 Game Server (Relay) Relay Server Player state Player states de jogadores próximos UDP 3022
13. z x z x y 13 Player Culling
14. 5Hz 2.5Hz 1Hz 0.5Hz 0.2Hz Culling dos 100 vizinhos mais próximos, com diversas frequências de atualização, dependendo da distância. 14 Player Culling
15. Escalabilidade UDP udp-relay-1 udp-relay-2 udp-relay-3 udp-relay-4 15
16. Escalabilidade UDP udp-relay-1 udp-relay-2 udp-relay-3 udp-relay-4 16
17. Escalabilidade UDP udp-relay-1 udp-relay-2 udp-relay-3 udp-relay-4 17
18. Escalabilidade UDP 18 BLOOM FILTER NÃO 100% DE CERTEZA SIM 99% DE CERTEZA
19. Escalabilidade UDP Atribui focos de maneira a produzir um diagrama de Voronoi listrado que balanceia jogadores entre servidores. 2. STRIPES Similar ao Stripes, mas em 2D. Divide os jogadores em linhas e depois em células com o mesmo número de jogadores. 3. BRICKWALL Divide recursivamente o espaço (e o conjunto de jogadores) até que cada célula possa ser atribuído a um único servidor. 4. KD-TREE Atribui focos de Voronoi aleatoriamente e verifica se a solução é viável (se não há jogadores demais no mesmo servidor). 1. VORONOI 19
20. Escalabilidade UDP 20
21. 2. ESTUDO DE CASO 21
22. “ Estruturas de dados genéricas são construídas para atender a maioria dos casos com um desempenho razoável. Para tanto, é quase sempre necessário fazer escolhas que não necessariamente refletem a realidade de quem vai usar. 22
23. Como encontrar os K vizinhos mais próximos de cada jogador? 23 O Problema
24. 24 O Problema ▷ Índice reconstruido a cada 3 segundos ▷ Até 300 mil jogadores no índice ▷ Consulta sobre os 100 vizinhos mais próximos de cada jogador. 300 mil × 100 = 30 milhões de vizinhos gerados a cada 3 segundos.
25. V3 Usar biblioteca com RTree. V1 Algoritmo ingênuo com Java Streams. V2 Otimização de V1 com QuickSelect. Soluções V5 Construir KDTree customizada. V4 Usar biblioteca com KDTree. 25
26. “ Ideia ingênua: ordenar todos os pontos por distância e pegar os K mais próximos. 26 V1. Naive
27. V1. Naive 27 [O(n²log n)] t(1000) 160ms t(2000) 730ms 4.66x t(3000) 1.73s 11.02x
28. V1. Naive 28 [O(n² log n)] Ordenação tomando 95% do tempo.
29. “ Otimização: usar QuickSelect [O(n)] em vez de ordenação [O(n log n)]. 29 V2. QuickSelect
30. V2. QuickSelect 30 [O(n²)] Cada partição em O(n). Partições diminuem exponencialmente. Complexidade total: O(n).
31. V2. QuickSelect 31 [O(n²)]
32. V2. QuickSelect 32 [O(n²)] t(5000) 0.74s t(10000) 2.33s 2.77x t(15000) 5.81s 7.84x
33. “ Ideia: usar uma biblioteca que implemente RTree para fazer consultas em O(log n). 33 V3. RTree
34. V3. RTree library 34 [O(n logn)]
35. V3. RTree library 35 [O(n logn)]
36. “ Ideia: usar uma biblioteca que implemente KDTree para fazer consultas em O(log n). 36 V4. KDTree
37. KD-Tree
38. KD-Tree
39. KD-Tree
40. KD-Tree
41. KD-Tree
42. KD-Tree NOVO MÍNIMO
43. KD-Tree SÓ É PRECISO VERIFICAR RETÂNGULOS QUE TENHAM INTERSEÇÃO COM ESTE CÍRCULO
44. V4. KDTree library 44 [O(n logn)]
45. “ Ideia: implementar uma KDTree especializada para o problema. 45 V5. Custom KDTree
46. V5. Custom KDTree 46 [O(n logn)] Complexidade Computacional A primeira análise a se fazer sobre a aplicabilidade de uma estrutura a um problema é a complexidade esperada da solução. Eficiência de Cache Estruturas bem modeladas colocam dados correlatos em posições próximas na memória, otimizando a eficiência de cache da solução. Otimização de Espaço Um aspecto geralmente menos importante que os outros, mas ainda relevante. Entretanto, otimizar espaço às vezes pode ser a diferença entre caber no cache L1 ou ter que rodar direto da RAM. GC Pressure Em sistemas de alta frequência, é importante evitar alocações desnecessárias. O custo de GC às vezes pode ser bastante significativo. E as pausas às vezes catastróficas. Preocupações importantes sobre estruturas de dados.
47. V5. Custom KDTree 47 [O(n logn)]
48. V5. Custom KDTree 48 [O(n logn)] 3 4 5 6 1 2 0 Representando árvore binária completa em array (Representação em largura) Vantagem: nós de uma mesma camada ficam próximos no array. Filhos de N: N*2, N*2+1. Representação comum em binary heaps.
49. V5. Custom KDTree 49 [O(n logn)] 0 2 4 6 1 5 3 Representando árvore binária completa em array (Representação em-ordem) Vantagem: nós estruturalmente próximos tendem a ficar próximos no array.
50. V5. Custom KDTree 50 [O(n logn)] SUPONHA QUE A MEDIANA ESTÁ AQUI O(n) QUICKSELECT
51. 51 V5. Custom KDTree Uma estrutura genérica normalmente não poderia assumir as mesmas premissas. Otimizações possíveis por assumir: ◦ KDTree com K=2 ◦ Estrutura imutável ◦ Queries reaproveitáveis [O(n logn)]
52. Muito obrigado! Perguntas? @juanplopes github.com/juanplopes/javabahia-2021 52