Microsoft Azureで実現する、 大学計算機センターで最新GPUを提供し続けるハイブリッドHPCクラウドとは

最先端の研究ではGPU活用が不可欠ですが、従来のオンプレミス型計算環境ではGPUの進化への追従が困難でした。奈良先端大では、常に最新世代のGPUを利用可能な計算クラスタをAzureクラウド上に構築。HPCクラスタの自動配備・管理サービスを用い、計算需要の変動に合わせて柔軟にスケールする他、専用線により学内・クラウド間のセキュアな通信を実現しました。本講演ではデモを交え新システムについて概説します。

Transcript

1. Microsoft AzureͰ࣮ݱ͢Δɺ
   

   େֶܭࢉػηϯλʔͰ࠷৽GPUΛఏڙ͠ଓ͚Δ
   ϋΠϒϦουHPCΫϥ΢υͱ͸
   ಸྑઌ୺Պֶٕज़େֶӃେֶ
   ৘ใՊֶྖҬ૯߹৘ใج൫ηϯλʔ ݉೚
   ॿڭ
   ߴڮܛஐ LFJDIJ!JTOBJTUKQ
   

   View Slide

2. 
   2"
   NTBYJFT!NJDSPTPGUDPN
   ˞8FCFYͷ2"ػೳͰ͸͝ճ౴Ͱ͖·ͤΜͷͰྃ͝ঝ͍ͩ͘͞ɽ
   ຊηογϣϯʹؔ͢Δ࣭ٙ͸ϝʔϧʹ͓ͯड͚͠·͢
   

   View Slide

3. ‣ࠃཱͷಠཱେֶӃେֶ
   ‣ίϯύΫτ ڭһ໿ਓֶੜ໿ ਓ
   
   ‣ཧܥͷΈ ৘ใՊֶɾόΠΦαΠΤϯεɾ෺࣭૑੒Պֶ
   
   
   ಸྑઌ୺Պֶٕज़େֶӃେֶ (NAIST)
   㻾
   ن໛ʹରͯ͠५୔ͳܭࢉࢿݯΛఏڙ
   

   View Slide

4. 
   ૯߹৘ใج൫ηϯλʔჭଫཏγεςϜ
   

   View Slide

5. 
   ΦϯϓϨϛεΫϥελ খن໛ܭࢉαʔό
   
   

   View Slide

6. 
   ΦϯϓϨϛεΫϥελͷ՝୊
   ࠷৽ͷιϑτ΢ΣΞΛࣗ෼Ͱ
   

   Ϗϧυ͢Δͷ͕େมʜ
   NVIDIAͷ৽ੈ୅GPU͕ൃද͞Ε͚ͨͲɼ
   

   NAISTͰ͸͍ͭ࢖͑ΔΑ͏ʹͳΔͷ
   ఏڙ͞Ε͍ͯΔιϑτ΢ΣΞ͕ݹ͍͚Ͳ
   

   ͍ͭΞοϓσʔτͯ͘͠ΕΔͷ
   

   View Slide

7. /7*%*"͸ʙ೥ຖʹ৽͍͠ϚΠΫϩΞʔΩςΫνϟΛൃද
   ‣1BTDBM೥݄
   ‣7PMUB೥݄
   ‣ 5VSJOH೥݄
   
   ‣"NQFSF೥݄
   Ұํɼຊֶͷܭࢉ༻Ϋϥελ͸೥ؒͷϦʔεܖ໿
   ‣ʙ೥લ ʙੈ୅લ
   ͷ(16Λ࢖Θͳ͚Ε͹ͳΒͳ͍
   ‣ܭࢉՊֶɾػցֶश෼໺ͷݚڀʹ͓͍ͯڝ૪ྗΛҡ࣋͢ΔͨΊʹ͸
   

   ࠷৽ੈ୅ͷ(16ͷ׆༻͕ෆՄܽ
   
   GPUͷੈ୅ਐԽ͸଎͍
   ػցֶशʹॏཁͳࠞ߹ਫ਼౓ԋࢉ΍
   

   ૄߦྻԋࢉͷੑೳ͸ಛʹٸ଎ʹਐԽ
   

   View Slide

8. ར༻ऀ͸SPPUݖݶΛ࣋ͨͳ͍ͨΊɼґଘؔ܎ΛखಈϏϧυ͢Δඞཁ
   ‣ྫ5FOTPS'MPXΛಈ͔͢৔߹ɼԼهͷιϑτ΢ΣΞΛΠϯε
   τʔϧ্ͨ͠Ͱ؀ڥม਺౳Λਖ਼͘͠ઃఆ͢Δ
   1ZUIPOʙ
   $6%"
   DV%//
   5FOTPS'MPX
   /$$- 0QFO.1* ෼ࢄֶशΛߦ͏৔߹
   
   
   ιϑτ΢ΣΞ؀ڥߏஙͷखؒ
   ར༻ऀ͸ඞͣ͠΋؀ڥߏஙʹਫ਼௨͍ͯ͠ͳ͍ͨΊɼ
   

   ࣮ࡍͷܭࢉʹऔΓֻ͔Δ·Ͱʹଟ͘ͷखؒΛཁ͍ͯ͠Δ
   

   View Slide

9. 
   NAIST Azure HPCΫϥελͷ֓ཁ
   NCv3-series VM
   "[VSFถࠃ౦Ϧʔδϣϯ
   "[VSF౦ژϦʔδϣϯ
   /"*45
   ϩάΠϯ
   

   ϊʔυ
   SINET5
   

   ExpressRoute
   VNet Global
   

   Peering
   VNet
   

   Gateway
   ʜ
   ܭࢉϊʔυ܈
   LDAP/Kerberos
   ฒྻ෼ࢄϑΝΠϧγεςϜ
   Slurmαʔό
   CycleCloudαʔό
   NFSαʔό
   

   View Slide

10. "[VSFถࠃ౦෦Ϧʔδϣϯʹߏங
    ‣ࢼࢉͷ݁ՌɼωοτϫʔΫͷඅ༻ΛؚΊͯ΋ถࠃ౦Ϧʔδϣϯʹ
    

    ߏங͢Δํ͕౦೔ຊϦʔδϣϯʹߏங͢ΔΑΓ΋҆Ձ
    ‣/$TWͷ৔߹ɼ࣌ ถࠃ౦
    WT࣌ ౦೔ຊ
    
    ֶ಺Ϋϥελ͔Βಠཱͨ͠ߏ੒
    ‣τϥϑΟοΫΛઅ໿͢ΔͨΊɼֶ಺ͷฒྻ෼ࢄϑΝΠϧγεςϜ͸
    ௚઀Ϛ΢ϯτ͠ͳ͍
    ‣ར༻ํ๏ɾγεςϜߏ੒Λγϯϓϧʹ͢ΔͨΊɼֶ಺Ϋϥελͱ͸
    ಠཱͨ͠εέδϡʔϥΛಋೖ 4MVSN
    
    
    શମߏ੒
    

    View Slide

11. "[VSF%BUB4DJFODF7.
    ‣ϓϩάϥϛϯάݴޠ1ZUIPO +VMJB FUD
    ‣ϑϨʔϜϫʔΫ5FOTPS'MPX 1Z5PSDI FUD
    ‣Πϯϑϥ$6%"υϥΠόFUD
    /"*45ಠࣗΧελϚΠζ
    ‣."5-"# $BNQVT8JEF-JDFOTFͰར༻
    
    ‣4JOHVMBSJUZ ίϯςφԾ૝Խج൫
    
    
    ܭࢉϊʔυͷιϑτ΢ΣΞ؀ڥ
    

    View Slide

12. ‣ϧʔτϨε SPPUݖݶ͕ෆཁ
    ͔ͭσʔϞϯϨε σʔϞϯ͕ෆཁ
    
    ‣ σϑΥϧτͰ͸
    Ϧιʔεִ཭ɾ੍ݶ͸࠷খݶ
    ‣*O
    f
    i
    OJ#BOEɼ(16ɼ.1*౳ɼ)1$ʹඞਢͷػೳΛඪ४αϙʔτ
    
    Singularity)1$޲͚ίϯςφϥϯλΠϜ
    singularity build
    %PDLFSΠϝʔδ
    Ϩγϐ
    singularity run
    αϯυϘοΫε
    4JOHVMBSJUZ
    

    Πϝʔδ
    

    View Slide

13. 
    ΞΧ΢ϯςΟϯάػߏ
    ຊΫϥελ͸ແ੍ݶ͔ͭແྉͰఏڙ͍ͯ͠Δ͕ɼӡ༻վળͷͨΊʹ
    

    ୭͕ͲΕ͚ͩܭࢉࢿݯΛར༻͍ͯ͠Δ͔೺Ѳ͍ͨ͠
    ‣ εέδϡʔϥͷػೳʹΑΓ
    

    શδϣϒͷ࣮ߦཤྺΛอଘ
    ‣ ୭͕ͲͷΑ͏ͳδϣϒΛ
    

    ࣮ߦ͔ͨ͠ऩू
    ‣ 7.ʹରͯ͠ಈతʹϦιʔε
    

    λάΛ෇༩͠ɼ#JMMJOHػೳ
    ʹΑΓඅ༻Λूܭ
    ‣ ୭͕Կԁ෼ͷܭࢉࢿݯΛ
    

    ࢖༻͔ͨ͠ऩू
    εέδϡʔϥϨϕϧ 7.Ϩϕϧ
    εέδϡʔϥϨϕϧͱ7.Ϩϕϧͷछͷ
    

    ૬ิతͳΞΧ΢ϯςΟϯάػߏΛ࣮૷
    

    View Slide

14. ‣4MVSNඪ४ͷΞΧ΢ϯςΟϯάػೳΛ࢖༻ $ZDMF$MPVE͕ରԠ
    
    ‣ΫΦʔλΛద༻͢ΔͨΊʹ͸ΞΧ΢ϯςΟϯάػೳͷ༗ޮԽ͕ඞཁ
    ‣TSFQPSUίϚϯυʹΑΓΫϥελશମͷࢿݯར༻཰΋֬ೝՄೳ
    
    εέδϡʔϥϨϕϧͰͷΞΧ΢ϯςΟϯά
    ϔουϊʔυ
    slurmctld
    ܭࢉϊʔυ܈
    slurmd
    δϣϒຊମ
    slurmdbd
    sacct
    ϩάΠϯϊʔυ
    sreport
    mysqld
    δϣϒ։࢝
    ࢿݯ࢖༻ྔ
    อଘ
    ໰߹ͤ
    

    View Slide

15. ‣δϣϒ࣮ߦ࣌ʹ7.ʹରͯ͠δϣϒΛ౤ೖͨ͠ϢʔβΛࣝผՄೳͳ
    

    ϦιʔελάΛಈతʹ෇༩
    ‣#JMMJOHը໘ͰϦιʔελάຖʹར༻ྉΛूܭ
    
    7.ϨϕϧͰͷΞΧ΢ϯςΟϯά
    ϔουϊʔυ
    slurmctld
    6TFS"
    ܭࢉϊʔυ܈
    ϓϩϩʔά4DSJQU
    TMVSNE
    δϣϒຊମ
    Τϐϩʔά4DSJQU
    λά෇༩
    δϣϒ࣮ߦ λάআڈ
    Ϧιʔελά
    δϣϒ։࢝
    

    View Slide

16. 
    σϞ
    https://youtu.be/LZBI6wjEJM4
    

    View Slide