Microsoft Azureで実現する、 大学計算機センターで最新GPUを提供し続けるハイブリッドHPCクラウドとは

最先端の研究ではGPU活用が不可欠ですが、従来のオンプレミス型計算環境ではGPUの進化への追従が困難でした。奈良先端大では、常に最新世代のGPUを利用可能な計算クラスタをAzureクラウド上に構築。HPCクラスタの自動配備・管理サービスを用い、計算需要の変動に合わせて柔軟にスケールする他、専用線により学内・クラウド間のセキュアな通信を実現しました。本講演ではデモを交え新システムについて概説します。

Transcript

1. Microsoft AzureͰ࣮ݱ͢Δɺ 
 େֶܭࢉػηϯλʔͰ࠷৽GPUΛఏڙ͠ଓ͚Δ ϋΠϒϦουHPCΫϥ΢υͱ͸ ಸྑઌ୺Պֶٕज़େֶӃେֶ
   ৘ใՊֶྖҬ૯߹৘ใج൫ηϯλʔ ݉೚
   ॿڭ
   ߴڮ
   ܛஐ LFJDIJ!JTOBJTUKQ
2.  2" NTBYJFT!NJDSPTPGUDPN ˞8FCFYͷ2"ػೳͰ͸͝ճ౴Ͱ͖·ͤΜͷͰྃ͝ঝ͍ͩ͘͞ɽ ຊηογϣϯʹؔ͢Δ࣭ٙ͸ϝʔϧʹ͓ͯड͚͠·͢
3. ‣ࠃཱͷಠཱେֶӃେֶ
   ‣ίϯύΫτ
   ڭһ
   ໿ਓ
   
   ֶੜ
   ໿ ਓ
   ‣ཧܥͷΈ
   ৘ใՊֶɾόΠΦαΠΤϯεɾ෺࣭૑੒Պֶ  ಸྑઌ୺Պֶٕज़େֶӃେֶ (NAIST) 㻾 ن໛ʹରͯ͠५୔ͳܭࢉࢿݯΛఏڙ
4.  ૯߹৘ใج൫ηϯλʔ
   ჭଫཏγεςϜ
5.  ΦϯϓϨϛεΫϥελ
   খن໛ܭࢉαʔό
6.  ΦϯϓϨϛεΫϥελͷ՝୊ ࠷৽ͷιϑτ΢ΣΞΛࣗ෼Ͱ 
 Ϗϧυ͢Δͷ͕େมʜ NVIDIAͷ৽ੈ୅GPU͕ൃද͞Ε͚ͨͲɼ 
 NAISTͰ͸͍ͭ࢖͑ΔΑ͏ʹͳΔͷ ఏڙ͞Ε͍ͯΔιϑτ΢ΣΞ͕ݹ͍͚Ͳ 
 ͍ͭΞοϓσʔτͯ͘͠ΕΔͷ
7. /7*%*"͸ʙ೥ຖʹ৽͍͠ϚΠΫϩΞʔΩςΫνϟΛൃද
   ‣1BTDBM
   ೥݄
   ‣7PMUB
   ೥݄
   ‣ 5VSJOH
   ೥݄
   ‣"NQFSF
   ೥݄
   Ұํɼຊֶͷܭࢉ༻Ϋϥελ͸೥ؒͷϦʔεܖ໿
   ‣ʙ೥લ
   ʙੈ୅લ
   ͷ(16Λ࢖Θͳ͚Ε͹ͳΒͳ͍
   ‣ܭࢉՊֶɾػցֶश෼໺ͷݚڀʹ͓͍ͯڝ૪ྗΛҡ࣋͢ΔͨΊʹ͸ 
 ࠷৽ੈ୅ͷ(16ͷ׆༻͕ෆՄܽ  GPUͷੈ୅ਐԽ͸଎͍ ػցֶशʹॏཁͳࠞ߹ਫ਼౓ԋࢉ΍ 
 ૄߦྻԋࢉͷੑೳ͸ಛʹٸ଎ʹਐԽ
8. ར༻ऀ͸SPPUݖݶΛ࣋ͨͳ͍ͨΊɼґଘؔ܎ΛखಈϏϧυ͢Δඞཁ
   ‣ྫ
   5FOTPS'MPX
   Λಈ͔͢৔߹ɼԼهͷιϑτ΢ΣΞΛΠϯε τʔϧ্ͨ͠Ͱ؀ڥม਺౳Λਖ਼͘͠ઃఆ͢Δ
    1ZUIPO
   ʙ
    $6%"
   
    DV%//
   
    5FOTPS'MPX
   
    /$$-
   0QFO
   .1*
   ෼ࢄֶशΛߦ͏৔߹  ιϑτ΢ΣΞ؀ڥߏஙͷखؒ ར༻ऀ͸ඞͣ͠΋؀ڥߏஙʹਫ਼௨͍ͯ͠ͳ͍ͨΊɼ 
 ࣮ࡍͷܭࢉʹऔΓֻ͔Δ·Ͱʹଟ͘ͷखؒΛཁ͍ͯ͠Δ
9.  NAIST Azure HPCΫϥελͷ֓ཁ NCv3-series VM "[VSFถࠃ౦Ϧʔδϣϯ "[VSF౦ژϦʔδϣϯ /"*45 ϩάΠϯ 
 ϊʔυ SINET5 
 ExpressRoute VNet Global 
 Peering VNet 
 Gateway ʜ ܭࢉϊʔυ܈ LDAP/Kerberos ฒྻ෼ࢄϑΝΠϧγεςϜ Slurmαʔό CycleCloudαʔό NFSαʔό
10. "[VSFถࠃ౦෦Ϧʔδϣϯʹߏங
    ‣ࢼࢉͷ݁ՌɼωοτϫʔΫͷඅ༻ΛؚΊͯ΋ถࠃ౦Ϧʔδϣϯʹ 
 ߏங͢Δํ͕౦೔ຊϦʔδϣϯʹߏங͢ΔΑΓ΋҆Ձ
    ‣/$T
    Wͷ৔߹ɼ࣌
    ถࠃ౦
    WT
    ࣌
    ౦೔ຊ
    ֶ಺Ϋϥελ͔Βಠཱͨ͠ߏ੒
    ‣τϥϑΟοΫΛઅ໿͢ΔͨΊɼֶ಺ͷฒྻ෼ࢄϑΝΠϧγεςϜ͸ ௚઀Ϛ΢ϯτ͠ͳ͍
    ‣ར༻ํ๏ɾγεςϜߏ੒Λγϯϓϧʹ͢ΔͨΊɼֶ಺Ϋϥελͱ͸ ಠཱͨ͠εέδϡʔϥΛಋೖ
    4MVSN  શମߏ੒
11. "[VSF
    %BUB
    4DJFODF
    7.
    ‣ϓϩάϥϛϯάݴޠ
    1ZUIPO
    +VMJB
    FUD
    ‣ϑϨʔϜϫʔΫ
    5FOTPS'MPX
    1Z5PSDI
    FUD
    ‣Πϯϑϥ
    $6%"υϥΠό
    FUD
    /"*45ಠࣗΧελϚΠζ
    ‣."5-"#
    $BNQVT8JEF
    -JDFOTFͰར༻
    ‣4JOHVMBSJUZ
    ίϯςφԾ૝Խج൫  ܭࢉϊʔυͷιϑτ΢ΣΞ؀ڥ
12. ‣ϧʔτϨε
    SPPUݖݶ͕ෆཁ
    ͔ͭσʔϞϯϨε
    σʔϞϯ͕ෆཁ
    ‣ σϑΥϧτͰ͸
    Ϧιʔεִ཭ɾ੍ݶ͸࠷খݶ
    ‣*O f i OJ#BOEɼ(16ɼ.1*౳ɼ)1$ʹඞਢͷػೳΛඪ४αϙʔτ  Singularity
    )1$޲͚ίϯςφϥϯλΠϜ singularity build %PDLFSΠϝʔδ Ϩγϐ singularity run αϯυϘοΫε 4JOHVMBSJUZ 
 Πϝʔδ
13.  ΞΧ΢ϯςΟϯάػߏ ຊΫϥελ͸ແ੍ݶ͔ͭແྉͰఏڙ͍ͯ͠Δ͕ɼӡ༻վળͷͨΊʹ 
 ୭͕ͲΕ͚ͩܭࢉࢿݯΛར༻͍ͯ͠Δ͔೺Ѳ͍ͨ͠ ‣ εέδϡʔϥͷػೳʹΑΓ 
 શδϣϒͷ࣮ߦཤྺΛอଘ
    ‣ ୭͕ͲͷΑ͏ͳδϣϒΛ 
 ࣮ߦ͔ͨ͠ऩू ‣ 7.ʹରͯ͠ಈతʹϦιʔε 
 λάΛ෇༩͠ɼ#JMMJOHػೳ ʹΑΓඅ༻Λूܭ
    ‣ ୭͕Կԁ෼ͷܭࢉࢿݯΛ 
 ࢖༻͔ͨ͠ऩू εέδϡʔϥϨϕϧ 7.Ϩϕϧ εέδϡʔϥϨϕϧͱ7.Ϩϕϧͷछͷ 
 ૬ิతͳΞΧ΢ϯςΟϯάػߏΛ࣮૷
14. ‣4MVSNඪ४ͷΞΧ΢ϯςΟϯάػೳΛ࢖༻
    $ZDMF
    $MPVE
    ͕ରԠ
    ‣ΫΦʔλΛద༻͢ΔͨΊʹ͸ΞΧ΢ϯςΟϯάػೳͷ༗ޮԽ͕ඞཁ
    ‣TSFQPSUίϚϯυʹΑΓΫϥελશମͷࢿݯར༻཰΋֬ೝՄೳ  εέδϡʔϥϨϕϧͰͷΞΧ΢ϯςΟϯά ϔουϊʔυ slurmctld ܭࢉϊʔυ܈ slurmd δϣϒຊମ slurmdbd sacct ϩάΠϯϊʔυ sreport mysqld δϣϒ։࢝ ࢿݯ࢖༻ྔ อଘ ໰߹ͤ
15. ‣δϣϒ࣮ߦ࣌ʹ7.ʹରͯ͠δϣϒΛ౤ೖͨ͠ϢʔβΛࣝผՄೳͳ 
 ϦιʔελάΛಈతʹ෇༩
    ‣#JMMJOHը໘ͰϦιʔελάຖʹར༻ྉΛूܭ  7.ϨϕϧͰͷΞΧ΢ϯςΟϯά ϔουϊʔυ slurmctld 6TFS
    " ܭࢉϊʔυ܈ ϓϩϩʔά4DSJQU TMVSNE δϣϒຊମ Τϐϩʔά4DSJQU 
    λά෇༩ 
    δϣϒ࣮ߦ 
    λάআڈ Ϧιʔελά 
    δϣϒ։࢝
16.  σϞ https://youtu.be/LZBI6wjEJM4