- Product Manager à ForgeRock - Précédemment, Architecte chez Sun et “Community Manager” pour le projet OpenDS - Plus de 15 ans d'expérience avec LDAP - Architecte de Sun Directory Server 5.2 / 6 - http://ludopoitou.wordpress.com Thursday, March 22, 12
Norvège - Editeur de logiciels d’Infrastructure et Sécurité, open source - OpenAM (ex-OpenSSO), OpenDJ (OpenDS), OpenICF, OpenIDM, OpenIG ... - ForgeRock France SAS - Novembre 2010 - Centre de Recherche & Développement à Grenoble - UK, USA, Brésil, Allemagne, Suède, Nouvelle Zélande... Thursday, March 22, 12
Source en July 2006 - CDDL - Code source : https://opends.dev.java.net/ - Sponsorisé par Sun Microsystems - Ecrit en Java par des experts LDAP Thursday, March 22, 12
server en Java qui implémente le protocol LDAPv3 et ses services - Il inclut sa propre base de données, - basé sur Berkeley DB Java Edition - Pas accessible directement - Possède toutes les fonctions de sécurité, de contrôle d'accès, de gestion de mots de passes pour stocker de façon sécurisée les identités des utilisateurs et machines Thursday, March 22, 12
orienté objet de données - Pages blanches et carnet d'adresses mél - Principalement le coffre fort des Identités - Pour l'Authentication et les Authorizations - Pour les Profiles et Personnalisations - La brique de base de tout SI dans les entreprises - Utilisé par l'infrastructure Web et Mail - Le fondement des produits de gestion d'Identité - Gestion d'Accès, Fédération, Provisionnage Thursday, March 22, 12
jeu complet de Services d'Annuaire - L'annuaire base de données, des services de Proxy d'annuaire, des fonctions d'annuaire virtuel - Conformes aux standards et extensions LDAPv3 - Capacité de croissance horizontale et verticale - Remplacer Sun Directory Server Enterprise Edition Thursday, March 22, 12
Configuration, Gestion, Surveillance... - Capacité d'extension - De nombreuses interfaces ont été définies - Avec des implémentations par défault - Performance - C'est le coeur de cette présentation ! Thursday, March 22, 12
en Février 2012 - Un serveur d'annuaire 100% conforme à LDAPv3 - Nombreuses extensions LDAP standards et expérimentales - Réplication Multi Maitre, avec 3 niveaux de cohérence des données - Fonctions étendues de Sécurité - S'installe en 6 clics et moins de 3 minutes - Gestion par outils graphiques et textes - Documentation complète Thursday, March 22, 12
le secteur financier, les portails - Pour stocker les identités des clients, téléphones et services - De 15 à 120 millions d'entrées, hautement disponibles - Pour le service de Nommage, ou les PME - OpenSolaris, Solaris, Linux..., couplé avec SAMBA, Intégré avec Kerberos - Pages blanches... Thursday, March 22, 12
les capacités de montée en charge priment - Jusqu'à plusieurs dizaines de millions d'entrées - Plusieurs milliers de connections - Quel débit d'opérations? - Quel temps de réponse moyen ? Maximum ? Photo par Roger Smith http://www.flickr.com/photos/rogersmith/ Thursday, March 22, 12
2 Aspects - Le code - Le run-time : l'optimisation de la JVM et du Garbage Collector - Une relation très forte entre la conception du code et la gestion mémoire Thursday, March 22, 12
tests reproductibles - Maitrise du système et de l'environnement - Avec 100 000 entrées LDAP lues par seconde, le goulet peut être le réseau - Utilisation de 10GB ethernet Thursday, March 22, 12
un GC avec - une faible consommation CPU, - des temps de pauses infimes et - efficace en occupation mémoire - Malheureusement, vous ne pouvez en choisir que 2 ! Photo par Craig Gorcott http://www.flickr.com/photos/craigweb/ Thursday, March 22, 12
gros est l’espace mémoire, le mieux! - Valable pour les 2 espaces (Young Gen, Old Gen) - Un grand espace = des GCs moins fréquents, moins d’utilisation CPU, des objets qui sont vraiment détruits - Un petit espace = des GCs plus rapide (pas toujours) - Quelques fois, la taille maximale dépend de la mémoire physique et/ou de l’espace d’adressage de la JVM - Il faut trouver l'équilibre entre les tailles des générations Thursday, March 22, 12
taille de la “Young Generation” - Détermine la fréquence des GCs mineurs - Détermine combien d’objets vont être récoltés - Ainsi que le “Tenuring Threshold” et la taille des “Survivor Spaces” - Old Generation - Doit contenir les données permanentes de l’application - Réduire la fréquence des GCs majeurs le plus possible Thursday, March 22, 12
maximiser le nombre d’objets collectés dans la “Young generation” - L’empreinte mémoire de l’application ne doit pas dépasser la la taille de la mémoire physique - Ceci est valable quelque soit le GC Thursday, March 22, 12
Taille mémoire max. (young + old generation) - -Xms<size> : Taille mémoire initiale (young + old generation) - -Xmn<size> : Taille mémoire pour la “Young generation” - Pour contrôler les performances, il est préférable de mettre -Xms and -Xmx à la même valeur - Quand -Xms != -Xmx, l’accroissement ou diminution de la mémoire nécessite un GC complet. Thursday, March 22, 12
de l’Eden influence - La fréquence des GCs mineurs - Les objets qui seront réclamés à l’age 0 - Les objets alloué dans l’Eden ont un age 0 - L’age est incrémenté chaque GC mineur - Augmenter la taille de l’Eden n’impact pas toujours la durée des GCs mineurs : celle ci est proportionnelle au nombre d’objets copiés (objets vivants) Thursday, March 22, 12
Taille initiale de la “Young generation” - -XX:MaxNewSize=<size> : Taille maximale de la “Young generation” - -XX:NewRatio=<ratio> : Ratio entre “young generation” et “old generation” - Pour contrôler les performances, préférer -Xmn qui combine -XX:NewSize et -XX:MaxNewSize Thursday, March 22, 12
d’occupation de l’espace “Survivor” - Laisser de l’espace pour gérer les pics - -XX:InitialTenuringThreshold=<threshold> - -XX:MaxTenuringThreshold=<threshold> - -XX:+AlwaysTenure - Ne rien garder dans les “Survivor” - -XX:+NeverTenure - Une très mauvaise idée Thursday, March 22, 12
le plus d’objets dans les espaces “Survivor” pour qu’ils soient collectés dans la “Young generation” - Moins de promotion vers la “Old generation” - Moins de GCs de la “Old generation” - Mais éviter les nombreuses copies entre espaces “Survivor” - Augmente le cout des GCs mineurs - Un équilibre difficile à trouver - Généralement, il vaut mieux copier que promouvoir Thursday, March 22, 12
de la JVM HotSpot dans JDK 7 - Le replacement à long terme du GC “Concurrent Mark-Sweep” (CMS) - Objectif : plus de “Stop the World” GC ! - Version expérimentale de G1 dans Java SE 6 depuis la version mineur 14 - Utilisable avec Java 7u2 Thursday, March 22, 12
CMS - Un GC pour les Serveurs - Parallèle, Concurrent - S’appuie sur des Générations - Auto Compactant - Facile d’utilisation - Prédictif (mais pas temps réel) - Les étapes principales sont: remembered set (RS) maintenance, concurrent marking, and evacuation pauses. Thursday, March 22, 12
-XX:+UseG1GC (-XX:+UnlockExperimentalVMOptions) - Temps de pause (pas garanti, sinon utiliser Java Temps Réel) - -XX:MaxGCPauseMillis=50 (objectif de 50 millisecondes) - -XX:GCPauseIntervalMillis=1000 (objectif de 1000 msecs) - Taille des régions: -XX:G1HeapRegionSize=4M (de 1 a 32M) Thursday, March 22, 12
CMS + Occupency - NewGenSize = ¼ de la taille mémoire (jusqu’à 2GB) - MaxTenuringThreshold = 1 - Temps de pause maximum GC mineur ~ 100ms - Mais Full GC en écriture ! > 10 seconds ☹ Thursday, March 22, 12
GC Complet, meilleur contrôle des temps de pause - Collaboration entre les équipes Sun HotSpot et OpenDS - OpenDS est utilisé comme application de référence - + de 20 améliorations integrées dans G1 suite aux tests - Améliorations par 10 des performances de G1 avec de grandes zones mémoires Thursday, March 22, 12
- VisualVM: http://visualvm.dev.java.net/ - VisualGC: - http://java.sun.com/performance/jvmstat/ - VisualGC est aussi un module extension de VisualVM - Peut surveiller plusieurs VM dans le même outil - A posteriori - GC Logging, PrintGCStats Photo par Rennett Stowe http://www.flickr.com/photos/tomsaint/ Thursday, March 22, 12
- Activer le journal du GC en production sans crainte - Très utile pour analyser, diagnostiquer un problème - Coût en performance extrêmement faible - Peut-être quelques gros fichiers à gérer - Il y a toujours des clients qui ont peur d’activer les logs - Un (gros) client de Sun a dit : “If someone doesn't enable GC logging in production, I shoot them!” Thursday, March 22, 12
-XX:+PrintGCTimeStamps - Ajouter -XX:+PrintGCDateStamps si besoin - -XX:+PrintGCDetails - Donne plus de détails que -verbosegc - Mais aussi: - -Xloggc:<fichier> - Permet de séparer les sorties du GC de celles de l’application Thursday, March 22, 12
du GC - Un script disponible - http://java.sun.com/developer/technicalArticles/ Programming/turbo/PrintGCStats.zip - Usage - PrintGCStats -v cpus=<num> <gc log file> - Ou <num> est le nombre de CPU de la machine qui a produit les logs. - Peut ne pas marcher avec certains paramètres du log du GC Thursday, March 22, 12
en Java, open source - Simple à installer et utiliser - Conçu pour de hautes performances et haute disponibilité - OpenDJ pour une version supportée (et améliorée) - Le paramètrage de la JVM et du GC est un Art - L'ingénierie des performances, un métier ! - Comprendre la JVM et les GCs est indispensable - Qui a dit que Java est lent ! Thursday, March 22, 12
@LudoMP - Blog: http://ludopoitou.wordpress.com - https://plus.google.com/116489828651245331071 (gplus.to/ludomp) Concevoir un serveur ultra-performant en Java : l'expérience du projet OpenDJ Thursday, March 22, 12
oracle4engineer
ishikawa_pro
_kensh
loglass2019
mhidaka
koba789
tjoko
skanehira
nagisa53
nasuvitz
sakiengineer
shinaps
dougneiner
reverentgeek
danielanewman
nonsquared
jonyablonski
denniskardys
destraynor
swwweet
sonatard
stephaniewalter
mraible
maggiecrowley
![(cc) 2012 ForgeRock - Ludovic Poitou - [email protected] - Twitter:](https://files.speakerdeck.com/presentations/4f705dbc98186f002202cf4a/slide_57.jpg){kind=link}