Internship @ LSIIT

Transcript

1. 1.

   Stage @ LSIIT → ICPS Léo Unbekandt - 2012 -

   ENSIIE
2. 2.

   Comment et pourquoi ?

3. 3.

   Contexte - calcul scientifique Cluster physique

4. 4.

   Contexte - virtualisation Calcul parallèle Virtualisation

5. 5.

   Contexte - cloud ✩ IaaS Infrastructure as a Service

6. 6.

   Mon travail Créer un lien entre : ◦ Répartitions des

   jobs
7. 7.

   Mon travail Créer un lien entre : ◦ Répartitions des

   jobs ◦ Gestion dynamique des machines virtuelles
8. 8.

   Mon travail Créer un lien entre : ◦ Répartitions des

   jobs ◦ Gestion dynamique des machines virtuelles ◦ Envoi des tâches
9. 9.

   La répartition des tâches → Comment ?

10. 10.

    La répartition des tâches Des stratégies : ✔ OneVM4All J1

    J2 J3
11. 11.

    La répartition des tâches Des stratégies : ✔ OneVM4All ✔

    OneVMperJob J1 J2 J3 J2 J3 J1
12. 12.

    La répartition des tâches Des stratégies : ✔ OneVM4All ✔

    OneVMperJob J1 J2 J3 J2 J3 J1
13. 13.

    Envoi des tâches Simple Linux Utility for Resource Management SLURM

    Node 1 Node 2 Node 3 Node 4
14. 14.

    Gestion des instances

15. 15.

    Gestion des instances Compatibilité ?

16. 16.

    Notre solution Perl SLURM Net::Amazon::EC2 Slurm API

17. 17.

    Schlouder J'ai des calculs à faire ! Mes calculs ?

    Schlouder - Stratégie - Script ... - VMs - États des jobs SLURM - Nouvelle VM - Éteindre VM - État VMs - Nouvelle tâche - État Nœud - État Job
18. 18.

    Schlouder .----------------------------------------------------------------------------------------------------------------. | i-3B2606F6 - icps-vm-6 (19:09:49) + 58 |

    +------+-------+-------------+------------+----------------------------+------------+----------------------------+ | ID | State | Name | Submission | Duration (real / in batch) | Start Date | End Date (real / in batch) | +------+-------+-------------+------------+----------------------------+------------+----------------------------+ | 3180 | F | all_466.mgf | 19:09:49 | (70 / 70) | 19:10:47 | (19:11:57 / 19:11:57) | | 3186 | F | all_467.mgf | 19:09:49 | (69 / 70) | 19:11:57 | (19:13:06 / 19:13:07) | | 3192 | F | all_468.mgf | 19:09:49 | (70 / 70) | 19:13:06 | (19:14:16 / 19:14:16) | | 3198 | F | all_469.mgf | 19:09:50 | (71 / 70) | 19:14:16 | (19:15:27 / 19:15:26) | | 3204 | F | all_46.mgf | 19:09:50 | (71 / 70) | 19:15:27 | (19:16:38 / 19:16:37) | | 3210 | F | all_470.mgf | 19:09:50 | (70 / 70) | 19:16:38 | (19:17:48 / 19:17:48) | | 3216 | F | all_471.mgf | 19:09:50 | (71 / 70) | 19:17:48 | (19:18:59 / 19:18:58) | | 3222 | F | all_472.mgf | 19:09:50 | (70 / 70) | 19:18:59 | (19:20:09 / 19:20:09) | | .... | . | ........... | ........ | ......... | ........ | ..................... | '------+-------+-------------+------------+----------------------------+------------+----------------------------'
19. 19.

    Expérience acquise

20. 20.

    Remerciements → Stéphane GENAUD → Julien GOSSA → Étienne MICHON

    → Vincent KHERBACHE ✽ Toute l'équipe ICPS