Mapeando 1 milhão de recursos em uma Cloud

Como conseguimos mapear 1 milhão de recursos da Cloud da Globo.com espalhados em dezenas de sistemas num ambiente Everything as a Service

Transcript

1. Mapeando 1 M de recursos em uma Cloud
2. Timeline Infra Globo.com
3. Agenda 1. Problemas da globo.com 2. O que é o GloboMap? 3. Arquitetura 1. Topologia 2. APIS e contratos 3. Dados Técnicos 4. Hands On
4. Timeline Infra Globo.com 2013 2009 2008 Testes com IaaS e PaaS Inicio da Infra as a Service 2017 2014 Ambiente EaaS Cloud em Produção Deploy de recursos de Rede Evolução
5. Problema Os relacionamentos entre as entidades de TI da Globo.com não são sistematicamente conhecidos, o que impossibilita utilizá-los de maneira efetiva e agregar valor a empresa e para os clientes. Icon made by Freepik from www.flaticon.com
6. Exemplos
7. Exemplos Linhas ACL não usadas
8. Exemplos Linhas ACL não usadas Icon made by Freepik from www.flaticon.com 10.0.0.1 10.2.0.1 10.1.0.1
9. Exemplos Linhas ACL não usadas Icon made by Freepik from www.flaticon.com 10.0.0.1 10.2.0.1 10.1.0.1
10. Exemplos Linhas ACL não usadas Icon made by Freepik from www.flaticon.com 10.0.0.1 10.2.0.1 10.1.0.1
11. Servidor Virtual Banco de Dados API Servidor Físico Icon made by Freepik from www.flaticon.com Análise de Impacto Exemplos
12. Servidor Virtual Banco de Dados API Servidor Físico Icon made by Freepik from www.flaticon.com Análise de Impacto Exemplos
13. Servidor Virtual Banco de Dados API Servidor Físico Icon made by Freepik from www.flaticon.com Análise de Impacto Exemplos
14. Servidor Virtual Banco de Dados API Servidor Físico Icon made by Freepik from www.flaticon.com Análise de Impacto Exemplos
15. Servidor Virtual Banco de Dados API Servidor Físico Icon made by Freepik from www.flaticon.com Análise de Impacto Exemplos
16. Análise de Impacto Servidor 2 Aplicação Servidor 1 API Banco de Dados Icon made by Freepik from www.flaticon.com Exemplos
17. Casos de Uso Análise de Impacto Aplicação API Banco de Dados Icon made by Freepik from www.flaticon.com
18. Solução Mapeamento do ambiente de TI aumenta a eficácia da Globo.com na identificação e prevenção de problemas, análise de impacto, redução de custos, tomada de decisões, etc
21. GloboMap
22. Premissas Redução de tempo de resposta.
 Serviços e acessos. Pró atividade e agilidade. Passagem de conhecimento atualizado. Sem necessidade de especialistas GloboMap
23. Plataforma que mapeia de forma automática e integrada as relações entre entidades de TI da Globo.com e as disponibiliza através de APIs e Interfaces. GloboMap - o que é GloboMap servidor_fisico_1 poolx.globo.com vip.globo.com vip.globo.com servidor_fisico_1 servidor_fisico_2 servidor_fisico_3 servidor_fisico_4 servidor_fisico_1 servidor_fisico_2 servidor_fisico_3 servidor_fisico_4 servidor_fisico_1 10.0.0.0/24 10.2.0.0/24 vip.globoi.com
24. Entidade de TI Qualquer elemento de TI a ser mapeado relevante para a globo.com • Componente físico (ex: Servidor, Rack) • Virtual (ex: VM, PaaS) • Lógico(ex: Object Storare, Balaceamento L7) • Permissão e Conectividade (ACL, LDAP) • Governança (Processo, Serviço de Negócio) • … GloboMap - o que é servidor_fisico
25. GloboMap - o que é Camadas de Visualização Agrupamento de Entidades de TI e seus relacionamentos em visões que façam sentido para a globo.com • Uma Entidade de TI pode participar de uma ou mais Camadas. • As relações entre as Entidades de TI pertencem a uma única Camada servidor_fisico
26. GloboMap - o que é Camadas de Visualização Agrupamento de Entidades de TI e seus relacionamentos em visões que façam sentido para a globo.com • Uma Entidade de TI pode participar de uma ou mais Camadas. • As relações entre as Entidades de TI pertencem a uma única Camada servidor_fisico servidor_fisico servidor_fisico
27. Arquitetura
28. Arquitetura Visão Geral GloboMap API GloboMap Loader Generic Client GloboMap UI Icon made by Freepik from www.flaticon.com External Driver
29. Escrita Arquitetura Generic Client GloboMap UI GloboMap API GloboMap Loader Icon made by Freepik from www.flaticon.com External Driver
30. External Driver Arquitetura - Escrita Icon made by Freepik from www.flaticon.com External Driver
31. External Driver Arquitetura - Escrita API/Serviço Icon made by Freepik from www.flaticon.com External Driver
32. External Driver Arquitetura - Escrita API/Serviço GloboMap Loader Icon made by Freepik from www.flaticon.com External Driver
33. Loader External Driver Arquitetura - Escrita GloboMap Loader Icon made by Freepik from www.flaticon.com
34. Loader Loader API External Driver Arquitetura - Escrita GloboMap Loader Icon made by Freepik from www.flaticon.com
35. Loader Job Manager Loader Queue Loader API External Driver Arquitetura - Escrita GloboMap Loader Icon made by Freepik from www.flaticon.com
36. Loader Job Manager Loader Queue Loader API External Driver Core Loader Arquitetura - Escrita GloboMap Loader Icon made by Freepik from www.flaticon.com
37. Loader Job Manager Loader Queue Loader Driver Loader API External Driver Core Loader Arquitetura - Escrita GloboMap Loader Icon made by Freepik from www.flaticon.com
38. Loader Job Manager Loader Queue Loader Driver Loader API External Driver GloboMap API Core Loader Arquitetura - Escrita GloboMap Loader Icon made by Freepik from www.flaticon.com
39. Loader Job Manager Loader Queue Loader Driver Loader API External Driver GloboMap API Core Loader Arquitetura - Escrita GloboMap Loader Icon made by Freepik from www.flaticon.com
40. ACS Queues Auth Cache Napi Queue ACS Driver Core Loader Arquitetura - Escrita Loader GloboMap Loader Job Manager Loader API GloboMap API Loader Queue Auth System Icon made by Freepik from www.flaticon.com External Driver Loader Driver Napi Driver
41. GloboMap API GloboMap API Arquitetura - Escrita Icon made by Freepik from www.flaticon.com
42. GloboMap API Graph Database Auth Cache Auth System GloboMap API Arquitetura - Escrita Icon made by Freepik from www.flaticon.com
43. Leitura Arquitetura External Driver Generic Client GloboMap UI GloboMap API GloboMap Loader Icon made by Freepik from www.flaticon.com
44. Leitura Arquitetura External Driver Generic Client GloboMap UI GloboMap API GloboMap Loader Icon made by Freepik from www.flaticon.com
45. GloboMap UI GloboMap UI Arquitetura
46. Auth Cache User Data OAuth2 System GloboMap API GloboMap UI GloboMap UI Arquitetura
47. Leitura Arquitetura External Driver Generic Client GloboMap UI GloboMap API GloboMap Loader Icon made by Freepik from www.flaticon.com
48. Generic Client Arquitetura Generic Client GloboMap API
49. E como funciona o contrato das APIS? Arquitetura • GloboMap API • Loader API
50. Contrato do GloboMap API • Document: • Registro de um recurso físico ou lógico. • Edge: • Edge é um registro que descreve a ligação entre 2 documentos. Arquitetura
51. Contrato do GloboMap API • Document: • Registro de um recurso físico ou lógico. • Edge: • Edge é um registro que descreve a ligação entre 2 documentos. { "id": "123", "name": "abc", "provider": "xxx", "timestamp": 0, "properties": { "key": "value" } } Document Arquitetura
52. Contrato do GloboMap API • Document: • Registro de um recurso físico ou lógico. • Edge: • Edge é um registro que descreve a ligação entre 2 documentos. { "id": "123", "name": "abc", "provider": "xxx", "timestamp": 0, "properties": { "key": "value" } } Document { "id": "123", "name": "abc", "provider": "xxx", "timestamp": 0, "from": "coll1/xxx_1", "to": "coll2/xxx_1", "properties": { "key": "value" } } Edge Arquitetura
53. Contrato do Loader API Arquitetura
54. Contrato do Loader API { "action": "CREATE", "collection": "name", "type": "collections", "element": {<document>} } CREATE Arquitetura
55. Contrato do Loader API { "action": "CREATE", "collection": "name", "type": "collections", "element": {<document>} } CREATE { "action": “UPDATE", "collection": "name", "type": "collections", "key": "provider_id", "element": {<document>} } UPDATE Arquitetura
56. Contrato do Loader API { "action": "CREATE", "collection": "name", "type": "collections", "element": {<document>} } CREATE { "action": “UPDATE", "collection": "name", "type": "collections", "key": "provider_id", "element": {<document>} } UPDATE { “action": “PATCH", "collection": "name", "type": "collections", "key": "provider_id", "element": {<document>} } PATCH Arquitetura
57. Contrato do Loader API { "action": "CREATE", "collection": "name", "type": "collections", "element": {<document>} } CREATE { "action": “UPDATE", "collection": "name", "type": "collections", "key": "provider_id", "element": {<document>} } UPDATE { “action": “PATCH", "collection": "name", "type": "collections", "key": "provider_id", "element": {<document>} } PATCH { "action": “DELETE”, "collection": "name", "type": "collections", "key": “provider_id" } DELETE Arquitetura
58. Contrato do Loader API { "action": "CREATE", "collection": "name", "type": "collections", "element": {<document>} } CREATE { "action": “UPDATE", "collection": "name", "type": "collections", "key": "provider_id", "element": {<document>} } UPDATE { “action": “PATCH", "collection": "name", "type": "collections", "key": "provider_id", "element": {<document>} } PATCH { "action": “DELETE”, "collection": "name", "type": "collections", "key": “provider_id" } DELETE { "action": "CREATE", "collection": "talk", "type": "collections", "element": { "id": "1", "name": "Mapping 1 million data", "provider": "globocom", "timestamp": 1501543772, "properties": { "description": "Mapping 1 million data" } } } CREATE Arquitetura
59. Dados Técnicos Arquitetura
60. Dados Técnicos Arquitetura ‣ Python3.6 + Flask ‣ Docker container (Tsuru PaaS) ‣ Reverse Proxy GloboMap API ‣ Virtual IP ‣ VMs ‣ 4 CPU ‣ 6 GB ‣ RedHat 7 Loader Queue ‣ Virtual IP ‣ VMs ‣ 4 CPU ‣ 16 GB ‣ RedHat 7 Graph Database ‣ Python3.6 ‣ Docker container (Tsuru PaaS) ‣ 4 processos - Loader Driver ‣ 1 processos - Outros Drivers GloboMap Loader ‣ Python3.6 + Flask ‣ Docker container (Tsuru PaaS) ‣ Reverse Proxy Loader API
61. Hands On
62. GloboMap API - https://github.com/globocom/ globomap-api GloboMap UI - https://github.com/globocom/ globomap-ui Core Loader - https://github.com/globocom/ globomap-core-loader Hands on - https://github.com/edersonbrilhante/ globomap-hands-on globomap@corp.globo.com Sobre o projeto
63. https://github.com/edersonbrilhante https://www.linkedin.com/in/edersonbrilhante contato@edersonbrilhante.com.br Sobre o palestrante
64. #TEMOSVAGAS talentos.globo.com #OPENSOUCE opensource.globo.com