Comment recréer AWS dans votre Data Center par Aurélien Maury et Pablo Lopez

Présentation faite à la XebiCon 2017

Transcript

1. Comment recréer AWS dans votre Data Center
2. Aurélien Maury CTO @ Wescale
3. Pablo Lopez CTO @ Xebia
4. Comment recréer AWS dans votre Data Center
5. IPTables & Docker Exposer des services locaux
6. IPTables & Docker Sommaire • IPTables by the book • Docker Networking by the book • INPUT vs PREROUTING • MASQUERADE or not MASQUERADE ? • Stratégies d’exposition des services
9. Public
10. De quoi me parles-tu ?
12. À une condition ! … parce qu’on est comme ça !
13. Stratégie dans les grandes lignes • Container == Fonction • Mainstream containers • API Gateway • Monitoring • Logging
14. Création d’AWS on-premise [ ] 0% Veille techno Faire ses devoirs ▼ Docker Swarm ou Kubernetes ▼ Projet encore jeune ▼ Développement soutenu par un début de communauté
15. Création d’AWS on-premise [ ] 0% Veille techno Faire ses devoirs
16. Création d’AWS on-premise [ ] 0% Veille techno Faire ses devoirs ▼ Orchestration Docker ▼ Développement soutenu par Hashicorp ▼ Simple à mettre en place
17. Création d’AWS on-premise [=- ] 5% Containers & fonctions Stack choisie
18. Création d’AWS on-premise [==- ] 10% API Gateway … dynamique sinon rien ▼ Reverse proxy dynamique ▼ Configuration par Service Discovery ▼ Hype as Hell
19. Création d’AWS on-premise [==- ] 10% Le SideKick … sans lui pas de Function as a Service ▼ Temporisation des requêtes, gestion du timeout. ▼ Programme custom pour traiter le cycle de vie des conteneurs. ▼ En Go : parce que très concis et robuste pour le code orienté réseau.
20. Création d’AWS on-premise [==- ] 10% Automatisation … indispensable ▼ Soutenu par RedHat ▼ Courbe d’apprentissage rapide ▼ What else ?
21. Création d’AWS on-premise [==- ] 10% Assemblage … ça prend forme
23. IPTables & Docker Sommaire • IPTables by the book • Docker Networking by the book • INPUT vs PREROUTING • MASQUERADE or not MASQUERADE ? • Stratégies d’exposition des services
25. Création d’AWS on-premise [==- ] 10% Nomad pour de vrai Haute disponibilité ▼ Minimum 3 masters ▼ Noeuds Workers
26. Création d’AWS on-premise [==- ] 10% Service discovery … le liant ▼ De la petite famille Hashicorp ▼ Enregistrement des services déployés sur Nomad ▼ Key/Value de configuration
27. Création d’AWS on-premise [==- ] 10% Masters
28. Création d’AWS on-premise [==- ] 10% Workers
29. Création d’AWS on-premise [==- ] 10% Frontaux
30. Création d’AWS on-premise [==- ] 10% Assemblage
31. Création d’AWS on-premise [==- ] 10% Assemblage
32. Création d’AWS on-premise [==- ] 10% Assemblage
33. Création d’AWS on-premise [==- ] 10% Assemblage
34. Création d’AWS on-premise [==- ] 10% Assemblage
35. Création d’AWS on-premise [==- ] 10% Assemblage
36. Création d’AWS on-premise [==- ] 10% Assemblage
37. Création d’AWS on-premise [==- ] 10% Assemblage
38. Création d’AWS on-premise [==- ] 10% Obectifs atteints … on a pas mal bien bossé
39. IPTables & Docker Sommaire • IPTables by the book • Docker Networking by the book • INPUT vs PREROUTING • MASQUERADE or not MASQUERADE ? • Stratégies d’exposition des services
41. Création d’AWS on-premise [===- ] 15% Centralisation des logs ▼ ELK, en mieux ▼ Transport via syslog, RabbitMQ, Kafka, … ▼ Simple à mettre en place, robuste à scaler
42. Création d’AWS on-premise [===- ] 15% Centralisation des logs
43. Création d’AWS on-premise [====- ] 20% Metriques Prometheus ▼ Pull system ▼ Scalable par sharding ▼ Transport via HTTP
44. Création d’AWS on-premise [====- ] 20% Métriques Grafana ▼ Association naturelle avec Prometheus ▼ Richesse des visualisations ▼ Dashboards existants partagés
45. Création d’AWS on-premise [====- ] 20% Côté dev … s’adapter ▼ Diriger des logs claires, annotées, vers le connecteur Graylog ▼ Implémenter la mise en avant des métriques métier pour le pull-system de Prometheus
46. IPTables & Docker Sommaire • IPTables by the book • Docker Networking by the book • INPUT vs PREROUTING • MASQUERADE or not MASQUERADE ? • Stratégies d’exposition des services
48. Création d’AWS on-premise [=====- ] 25% CI/CD just because
49. Création d’AWS on-premise [=====- ] 25% Libérez les développeurs … et tout le monde est plus heureux.
50. IPTables & Docker Sommaire • IPTables by the book • Docker Networking by the book • INPUT vs PREROUTING • MASQUERADE or not MASQUERADE ? • Stratégies d’exposition des services
52. Création d’AWS on-premise [=======- ] 35% Persistence et messaging … vous n’êtes pas vos API HTTP !
56. Une application simple sur AWS !
57. Serverless Estimation des serveurs de cette ébauche : ▼ 3 Masters Nomad + Consul ▼ 1 Prometheus + Grafana ▼ 3 Workers Nomad (à scaler à volonté) ▼ 2 Frontaux (minimum, fonction de la charge) ▼ 1 Graylog ▼ 1 CI/CD POC de luxe : 11 serveurs … qu’ils disaient !
58. Création d’AWS on-premise [=======- ] 35% Plus besoin d’Ops … qu’ils disaient !
59. Projet Chinook https://github.com/WeScale/chinook
60. Conclusion #1
62. Conclusion #2
63. Conclusion #3
64. The one and only take away
65. Questions