Un pas vers le HPC as a service - Jean-Marc Laymajoux

Un pas vers le HPC as a service.
Présentation de Jean-Marc Laymajoux (EDF R&D SINETICS) lors des Rencontres SaaS, Cloud & innovation organisées par SysFera le 23 mai à Clamart.

1. Un pas vers le HPC as a service Sysfera-DS - VISHNU Rencontres SaaS, Cloud & innovation 23 mai 2012 - Clamart
2. Sommaire • Contexte, la démarche conduite • Utilisateurs et ressources • Cas d'utilisation & fonctionnalités attendues • La solution attendue puis choisie • État d’avancement du projet • Perspectives • Conclusions
3. Contexte initial EDF R&D • L’accès aux ressources HPC se fait directement via le réseau. • Cette accès n’est pas homogène et est parfois « complexe » pour les utilisateurs finaux de code de calcul
4. La démarche conduite à EDF R&D • Elle a été conduite dans le cadre du projet OSIS autour de la thématique de l’accès aux ressources de calcul. • Réalisation d’une maquette de « portail HPC » qui a permit de préciser les attentes • Enquête interne d’identification des cas d’usages des ressources HPC suite aux REX du « portail HPC » • Identification des utilisateurs de ressources HPC et des types de ressources HPC • Un audit sur les produits pouvant répondre à nos attentes. • Choix d’un intergiciel construit autour de DIET
5. Les utilisateurs et les ressources • Les « utilisateurs » cibles: – Les ingénieurs d'études (lancement simplifié d'application HPC) – Développeurs d'applications HPC – Les plate formes : Salome, MarketLab, OpenTURNS – Décideurs (utilisation des ressources) • Les ressources HPC gérées: – Aujourd'hui : ressources Internes : clusters beoWulf (x86_64), BlueGene P, TGVD – Demain: ressources externes : machines en partenariat (CCRT, INRIA…) en accès permanent ou pas via des connexions directes ou indirectes
6. Cas d'utilisation des ressources HPC • Usage direct en ligne de commande (transfert des Jeux de données, exécution, surveillance & rapatriement des résultats) • Visualisation à distance, • Pilotage à distance d'un code depuis une plate-forme (Salome, MarketLab, OpenTURNS) en mode interactif, batch ou sous réservation, • Études paramétriques, • Gestion de l'utilisation des ressources, • Wrapping Web d'applications, • Partage et publication des résultats entre utilisateurs, • Gestion de l'accès aux applications • Diffusion de nouvelles versions d'applications à des utilisateurs beta. • Déploiement dynamique d'environnements applicatifs sur les moyens de calcul
7. La solution attendue • L ’attente première: – Faciliter et homogénéiser l'accès aux ressources HPC • Cible : une solution... – Sécurisée, Fiable, Robuste et Scalable – Open Source pour faciliter l'échange avec nos partenaires – Industrielle transférable a l’exploitant Informatique d’EDF – Coexistant avec l'usage actuel – Évolutive => possibilité à terme de l’enrichir de fonctions avancées
8. La solution Choisie • A partir du middleware DIET, construire un bus d’accès aux ressources HPC • Travailler avec une start up issu de l’INRIA pour construire ce produit open source via un contrat de co-développement • Nom interne EDF VISHNU qui est une partie de SYSFERA-DS
9. VISHNU : VIrtual Shared HPC iNfrastrUcture Accès Simplifié & Homogène Aux multiples Ressources hétérogènes du HPC
10. VISHNU:Fonctionnalités (as a service) standards et avancées • Standard (existant) – Accès : Authentification, SSO, droits d'accès fichiers, → UMS – Tâches : lancement, arrêt, consultation de jobs, → TMS – Fichiers : Transferts synchrones & asynchrones → FMS – Information : surveillance de l'accès, de l'infrastructure et de VISHNU → IMS • Avancées (A construire) – Réservation de ressources – Jobs par milliers (études parametriques) – Déploiement d'application & d'environnement – Gestion des priorités entre utilisateurs – Multi-scheduling – Carte de job universel
11. VISHNU: avancement à EDF R&D • SysFera-DS installé sur – 4 serveurs HPSLAB (database, Vishnu_server, Jboss, Cluster de test) – 2 serveurs de production (pour Salome notamment) – Les frontales Clamart 2 (Torque/Maui), BG/P (LoadLeveler), et IVANOE (SLURM) – Une ferme de compilation et de tests automatisés (Jenkins) • Sysfera-DS a été stressé par l’équipe projet R&D • Sysfera-DS est ouvert: – à des utilisateurs pilotes – Utilisable par une IHM web (démonstration) – Va être déployé en mode béta test avec la plate forme Salome (cible fin mai 2012) – En cours d’utilisation par un code de calcul pilote • Sysfera-DS préparation du passage à l’exploitant horizon 2013 – Travail sur le support autour de SYSFERA DS
12. VISHNU: développements en cours et potentiels à EDF R&D • Développement en recette coté EDF R&D: – Authentification via un annuaire LDAP – Plug in au scheduler LSF • Développement potentiels – Réservations de ressources – Plug in shell pour gérer des ressources sans scheduler (exemple: ferme de serveur) • A moyen long terme: implémenter les fonctions avancées • Cible possible: VISHNU pourrait devenir à terme une première brique pour construire un « cloud scientifique interne ».
13. Conclusions • Pour EDF R&D : – Un pas vers la virtualisation de l'accès à nos moyens de calcul HPC. • Une brique dans l’architecture d’un futur cloud interne? – SysFera-DS semble robuste. Ses fonctionnalités avancées sont prometteuses et sont prévues dès 2012. – L'utilisation en ligne de commande est possible et en 2012 via des plate formes ou un site web. – Pour tous nos utilisateurs, à peu de frais, l'accès aux moyens de calcul HPC via l'interface VISHNU donne de nouveaux services standardisés