Slide 1

Slide 1 text

坪内 佑樹(@yuuk1t)   さくらインターネット研究所 AIスーパーコンピュータにおける LLM学習処理性能の計測と可観測性 2025年度 情報処理学会中国 支 部主催講演会

Slide 2

Slide 2 text

坪内 佑樹 2013 2019 2020 2025 ݱࡏ Monitoring SaaS SRE さくら インターネット 研究所 はてな 京都 大 学 大 学院 情報学研究科 博 士 後期課程 博 士 (情報学) 取得 AIOps AI Supercomputer eBPF 大 阪 大 学 大 学院 情報科学 研究科 (中途退学)

Slide 3

Slide 3 text

専 門 性 ΞϓϦέʔγϣϯ 43&ʢ4JUF3FMJBCJMJUZ&OHJOFFSJOHʣ ܭࢉػɾωοτϫʔΫ ج൫ തֶ࢜Ґ࿦จ

Slide 4

Slide 4 text

本発表の趣旨 w "*ֶशϫʔΫϩʔυʢΞϓϦέʔγϣϯʣΛى఺ʹܭࢉػͱωοτϫʔΫ ΞʔΩςΫνϟߏ੒͕࠷దԽ͞ΕΔΑ͏ʹͳ͖ͬͯͨɻ w ٕज़ऀ͕ॎஅతʹ֤૚ͷཁૉٕज़Λཧղͯ͠ɺ࠷దͳઃܭΛಋ͘ඞཁੑ͕ ͋Δɻ w ݚڀऀͷ؍఺Ͱ͸ɺ࠷దͳΠϯϑϥઃܭ΍ɺॲཧੑೳ޲্ɺޮ཰తͳো֐ ؅ཧʹ޲͚ͯɺςϨϝτϦʔٕज़Λ࣠ʹߩݙ͢Δɻ w ೥ؒͷऔΓ૊ΈΛ঺հ͢Δɻ

Slide 5

Slide 5 text

アジェンダ ਂ૚ֶशͱܭࢉػΞʔΩςΫνϟ ͘͞Β0/& ֶशδϣϒͷཤྺσʔλͷ܏޲෼ੳ --.෼ࢄֶशͷϕϯνϚʔΩϯά ΦϒβʔόϏϦςΟʢՄ؍ଌੑʣ "*εύίϯͷো֐؅ཧʹؔ͢Δݚڀಈ޲ ·ͱΊ

Slide 6

Slide 6 text

ਂ૚ֶशͱܭࢉػΞʔΩςΫνϟ ͘͞Β0/& ֶशδϣϒͷཤྺσʔλͷ܏޲෼ੳ --.෼ࢄֶशͷϕϯνϚʔΩϯά ΦϒβʔόϏϦςΟʢՄ؍ଌੑʣ "*εύίϯͷো֐؅ཧʹؔ͢Δݚڀಈ޲ ·ͱΊ アジェンダ "*εύίϯͷཁૉٕज़ͷ ֓ཁΛ঺հ͢Δɻ w ਂ૚ֶशͷܭࢉෛՙ w ਂ૚ֶशͱ(16 w ෳ਺(16ʹΑΔ෼ࢄਂ૚ֶश w Ϋϥελߏ੒ w ωοτϫʔΫ w ετϨʔδ

Slide 7

Slide 7 text

ਂ૚ֶशͱܭࢉػΞʔΩςΫνϟ ͘͞Β0/& ֶशδϣϒͷཤྺσʔλͷ܏޲෼ੳ --.෼ࢄֶशͷϕϯνϚʔΩϯά ΦϒβʔόϏϦςΟʢՄ؍ଌੑʣ "*εύίϯͷো֐؅ཧʹؔ͢Δݚڀಈ޲ ·ͱΊ アジェンダ ͘͞ΒΠϯλʔωοτͷ Ϛωʔδυ)1$αʔϏε w 501ͷ݁Ռ w γεςϜߏ੒

Slide 8

Slide 8 text

ਂ૚ֶशͱܭࢉػΞʔΩςΫνϟ ͘͞Β0/& ֶशδϣϒͷཤྺσʔλͷ܏޲෼ੳ --.෼ࢄֶशͷϕϯνϚʔΩϯά ΦϒβʔόϏϦςΟʢՄ؍ଌੑʣ "*εύίϯͷো֐؅ཧʹؔ͢Δݚڀಈ޲ ·ͱΊ アジェンダ ͘͞Β0/&Ͱ࣮ߦ͞Εͨ δϣϒͷ܏޲෼ੳ

Slide 9

Slide 9 text

ਂ૚ֶशͱܭࢉػΞʔΩςΫνϟ ͘͞Β0/& ֶशδϣϒͷཤྺσʔλͷ܏޲෼ੳ --.෼ࢄֶशͷϕϯνϚʔΩϯά ΦϒβʔόϏϦςΟʢՄ؍ଌੑʣ "*εύίϯͷো֐؅ཧʹؔ͢Δݚڀಈ޲ ·ͱΊ アジェンダ ͘͞Β0/&ʹ͓͚Δ (15ͷϕϯνϚʔΫ w /7*%*"&04ͱͷൺֱ w ɺϊʔυͱͷൺֱ w ֶशͷ໨ඪੑೳࢦඪ

Slide 10

Slide 10 text

ਂ૚ֶशͱܭࢉػΞʔΩςΫνϟ ͘͞Β0/& ֶशδϣϒͷཤྺσʔλͷ܏޲෼ੳ --.෼ࢄֶशͷϕϯνϚʔΩϯά ΦϒβʔόϏϦςΟʢՄ؍ଌੑʣ "*εύίϯͷো֐؅ཧʹؔ͢Δݚڀಈ޲ ·ͱΊ アジェンダ ͘͞Β0/&ʹ͓͚Δ Մ؍ଌੑ޲্ͷऔΓ૊Έ w μογϡϘʔυ։ൃ w ςϨϝτϦʔγεςϜߏ੒ w F#1'ʹΑΔθϩܭ૷

Slide 11

Slide 11 text

ਂ૚ֶशͱܭࢉػΞʔΩςΫνϟ ͘͞Β0/& ֶशδϣϒͷཤྺσʔλͷ܏޲෼ੳ --.෼ࢄֶशͷϕϯνϚʔΩϯά ΦϒβʔόϏϦςΟʢՄ؍ଌੑʣ "*εύίϯͷো֐؅ཧʹؔ͢Δݚڀಈ޲ ·ͱΊ アジェンダ "*εύίϯ޲͚ͷ ো֐ݪҼ΍ੑೳ༧ଌͷݚڀಈ޲ w ػցֶशϕʔεΞϓϩʔν w ϧʔϧϕʔεͷߏ଄తΞϓ ϩʔν w ϑΝγϦςΟɾ༧ଌ

Slide 12

Slide 12 text

1. 深層学習と計算機アーキテクチャ 

Slide 13

Slide 13 text

深層学習のワークロード

Slide 14

Slide 14 text

深層学習モデルの「学習」と「推論」 ֶश ਪ࿦ ΞϓϦέʔγϣϯ "1* σʔληοτ ֶशδϣϒ Ϟσϧͷத਎ʢॏΈͳͲʣΛ࡞Δ޻ఔ ϞσϧΛ࢖ͬͯ౴͑Λฦ͢޻ఔ (16 (16 (16 (16 (16 (16 ϞσϧαʔϏϯά νϟοτ΍ΤʔδΣϯτͳͲ ֶशࡁΈϞσϧ ॏΈύϥϝʔλͳͲ σϓϩΠ ຊߨԋͷର৅ 14

Slide 15

Slide 15 text

深層学習の処理の流れ 反復構造をもつ ॱ఻ൖ ޡࠩ ٯ఻ൖ ॏΈߋ৽ ޡࠩࢉग़ ޯ഑ ֶशσʔλ ॱ఻ൖ ʜ ֶशσʔλ ΦϓςΟϚΠβ ޡࠩΛখ͘͢͞Δ ύϥϝʔλࢉग़ ΠςϨʔγϣϯ̍ ΠςϨʔγϣϯ̎ ΠςϨʔγϣϯ਺͸਺ສ͔Β਺ඦສʹ ΋ٴͿͨΊɺ࣮ߦΛߴ଎Խ͍ͨ͠ 15 (16Λ࢖͏

Slide 16

Slide 16 text

Transformerにおける 行 列積和演算 -BZFS/PSN -BZFS/PSN %SPQPVU -JOFBS -JOFBS -JOFBS 4FMG "UUFOUJPO 9 : %SPQPVU (F-6 ॱ఻ൖ ٯ఻ൖ "UUFOUJPO .-1 5SBOTGPSNFS-BZFS Yl ଛࣦ ೖྗຒΊࠐΈʢτʔΫϯͳͲʣ O(Bsh2) O(Bs2h + Bsh2) O(Bsh2) ɿγʔέϯε௕ s ɿӅΕ૚ͷ࣍ݩ਺ h ɿόοναΠζ B <>/BSBZBOBO %FFQBL FUBM& ff i DJFOUMBSHFTDBMFMBOHVBHFNPEFMUSBJOJOHPOHQVDMVTUFST VTJOHNFHBUSPO-. 4$ ܭࢉྔ͸<>Λ جʹΦʔμʔ දهʹม׵ O(Bsh2) ɿॏΈύϥϝʔλ਺ͷ ࢧ഑߲ lh2

Slide 17

Slide 17 text

LLMの重みパラメータ数と層数 Ϟσϧ ॳग़ ॏΈύϥϝʔλ਺ ૚਺ (15  #  -MBNB  #  -MBNB  #  %FFQ4FFL7  #  2XFO  #  2XFO  #  2XFO$PEFS  #  --.KQ  #  l

Slide 18

Slide 18 text

深層学習とGPU

Slide 19

Slide 19 text

AIモデル開発とGPU “I love the smell of GPUs melting” ˞IUUQTYDPNTBNBTUBUVT    ΑΓҾ༻ʢଠࣈ෦෼͸վมʣ CZ4BN"MUNBO ˞ 'SBOL)FMNT l)PX"*8PSLMPBET4IBQF)BSEXBSF"SDIJUFDUVSFz l5IF)PU$IJQJTB3BDLz "*-JUFSBMMZ%FNBOETXF5IJOL0VUTJEFUIF#PY )PU$IJQTΑΓసࡌ (16Ϋϥελن໛͸ ೥Ͱ͔ΒL (16·Ͱ૿େ 19

Slide 20

Slide 20 text

Transformerの計算とGPUの適合性 5SBOTGPSNFSͷܭࢉಛੑ • 大 規模な 行 列積和演算 • 並列性が 高 い (トークンの計算の独 立 性) • メモリアクセスが頻繁 • 超並列処理 • 数千コアによる同時演算実 行 • 専 用 Tensor Core • 高 いメモリ帯域幅(HBM) (16ΞʔΩςΫνϟ

Slide 21

Slide 21 text

TransformerがGPU上で計算されるイメージ (16 5SBOTGPSNFS /BOP#BOBOB1SP

Slide 22

Slide 22 text

/BOP#BOBOB1SP

Slide 23

Slide 23 text

分散深層学習

Slide 24

Slide 24 text

分散深層学習 - データ並列(DP) モデルをGPUごとに複製し、データを分割して並列処理 ॱ఻ൖ ٯ఻ൖ ύϥϝʔλ ߋ৽ ॱ఻ൖ ٯ఻ൖ ύϥϝʔλ ߋ৽ ॱ఻ൖ ٯ఻ൖ ύϥϝʔλ ߋ৽  ʢ૯࿨ʣ (16 (16 (16 ֤(16͔ΒಘΒΕͨޯ഑Λू໿ԋࢉ͠ɺ ֤(16্ͷϝϞϦ΁݁ՌΛڞ༗ ूஂ௨৴ 24

Slide 25

Slide 25 text

集団通信   AllReduce ෳ਺ͷ3BOLʢ(16ͳͲʣ͕ࢀՃͯ͠ɺ͋ΔنଇʹैͬͯσʔλΛަ׵ɾू ໿͢Δ௨৴ύλʔϯͷ૯শ <>/7*%*"$PSQPSBUJPO l'BTU.VMUJ(16DPMMFDUJWFTXJUI/$$-z IUUQTEPDTOWJEJBDPN EFFQMFBSOJOHODDMVTFSHVJEFEPDTVTBHFDPMMFDUJWFTIUNM <>ΑΓసࡌ "MM3FEVDF͸ɺ֤(16্Ͱ૯࿨Λܭࢉ͢Δɻશһ͕ಉ͡ू໿݁ՌΛಘΔɻ యܕతʹ͸ɺσʔλ ฒྻͷޯ഑ฏۉʹ࢖ ༻͞ΕΔɻ

Slide 26

Slide 26 text

集団通信   AllGather <>/7*%*"$PSQPSBUJPO l'BTU.VMUJ(16DPMMFDUJWFTXJUI/$$-z IUUQTEPDTOWJEJBDPN EFFQMFBSOJOHODDMVTFSHVJEFEPDTVTBHFDPMMFDUJWFTIUNM <>ΑΓసࡌ ֤(16͕࣋ͭҟͳΔσʔλΛɺશ(16͕ू໿ͯ͠શһ͕ಉ͡ʮ׬શͳ σʔλʯΛ࣋ͭঢ়ଶ ޙड़͢ΔϞσϧฒྻ΍;F30ʹ͓͍ͯɺ෼ࢄ഑ஔ͞ΕͨύϥϝʔλΛܭࢉ௚લʹ ू໿͢Δࡍʹ࢖༻ εΩοϓ

Slide 27

Slide 27 text

集団通信   ReduceScatter <>/7*%*"$PSQPSBUJPO l'BTU.VMUJ(16DPMMFDUJWFTXJUI/$$-z IUUQTEPDTOWJEJBDPN EFFQMFBSOJOHODDMVTFSHVJEFEPDTVTBHFDPMMFDUJWFTIUNM <>ΑΓసࡌ ֤(16ͷσʔλΛ߹ܭ 3FEVDF ͭͭ͠ɺ݁ՌΛ෼ׂ֤ͯ͠(16ʹ഑෼͢Δɻ εΩοϓ

Slide 28

Slide 28 text

モデルのパラメータ数増 大 メモリの壁(Memory Wall) (IPMBNJ "NJS FUBM "JBOE.FNPSZ8BMMz *&&&.JDSP 'JH B ΑΓసࡌ Ϟσϧύϥϝʔλ਺͕ ೥Ͱഒ "*ΞΫηϥϨʔλʢ(16 516ʣͷϝϞϦྔ͸೥Ͱഒ 28

Slide 29

Slide 29 text

GPUメモリ上の代表的なデータ ύϥϝʔλʢXFJHIUTʣ ΦϓςΟϚΠβঢ়ଶ (1673".ۭؒ Ϟσϧঢ়ଶʢֶशεςοϓΛԣஅʣ Ұ࣌σʔλʢΠςϨʔγϣϯ಺ͷΈʣ ϛχόον தؒ׆ੑԽʢBDUJWBUJPOTʣ ॏΈߦྻͳͲ '1ϚελॏΈɺޯ഑ͷ ཤྺɾ෼෍౷ܭྔͳͲ ಛ௃ྔɾϥϕϧͳͲ ॱ఻ൖͷ૚͝ͱͷܭࢉ݁Ռ ޯ഑ʢHSBEJFOUTʣ ٯ఻ൖͰܭࢉ͞ΕΔ݁Ռ େن໛Ϟσϧ͸ ̍(16ϝϞϦ ʹ৐Γ੾Βͳ͍ 29

Slide 30

Slide 30 text

分散深層学習 - モデル並列 モデルを分割する ςϯιϧฒྻʢ51ʣ ॱ ߋ৽ ( 1 6  ٯ ύΠϓϥΠϯฒྻʢ11ʣ ॱ ॱ ॱ ٯ ٯ ٯ ߋ৽ ( 1 6  Ϟσϧͷ૚Λ࿈ଓͨ͠εςʔδʹ෼ׂ ૚ ૚ ݸʑͷ૚಺ͷςϯιϧʢߦྻʣΛ෼ׂ ߋ৽ ߋ৽ ॱ ॱ ٯ ٯ ूஂ௨৴ ूஂ௨৴ (16 (16 30 ௨৴ͷස౓͸௿͍ ௨৴ͷස౓͸ߴ͍ 11

Slide 31

Slide 31 text

パイプライン並列 ー Naive Model Parallel <>/BSBZBOBO %FFQBL FUBM1JQF%SFBN(FOFSBMJ[FEQJQFMJOFQBSBMMFMJTNGPS%//USBJOJOH  04%* <>'JHVSFΑΓసࡌ ಉ࣌ʹύΠϓϥΠϯ಺ʹଘࡏͰ͖Δೖྗ͕ݸ͚ͩͳͷͰɺ΄ͱΜͲͷεςʔ δ͕଴ͨ͞Εɺ(16ར༻཰͕ඇৗʹ௿͍ɻ ύΠϓϥΠϯ εςʔδ਺ɿ 5SBOTGPSNFSͷ૚਺ ͕ͳΒ͹ MBZFSTTUBHF ٯ఻ൖ͕Ϛεଓ͘ͷ͸ߦྻੵ࿨ԋࢉͷίετΛදݱ͍ͯ͠Δ

Slide 32

Slide 32 text

パイプライン並列 ー GPipe <>/BSBZBOBO %FFQBL FUBM1JQF%SFBN(FOFSBMJ[FEQJQFMJOFQBSBMMFMJTNGPS%//USBJOJOH  04%* ೖྗσʔλʢϛχόονʣΛ͞ΒʹϚΠΫϩόονʹ෼ׂͯ͠ྲྀ͢ <>ΑΓ'JHVSFΑΓసࡌ ݸશͯͷόονͷॱ఻ൖΛྲྀ͖͠Γɺ ݸͷٯ఻ൖΛྲྀ͠੾Δ m( = 4) m

Slide 33

Slide 33 text

パイプライン並列 ー 1F1B <>/BSBZBOBO %FFQBL FUBM1JQF%SFBN(FOFSBMJ[FEQJQFMJOFQBSBMMFMJTNGPS%//USBJOJOH  04%* ʮॱ఻ൖϚΠΫϩόονʯͱʮٯ఻ൖϚΠΫϩόονʯΛަޓʹ࣮ߦ͢Δ <>ΑΓ'JHVSFΑΓసࡌ

Slide 34

Slide 34 text

テンソル並列(TP)+シーケンス並列(SP) <>,PSUIJLBOUJ 7JKBZ"OBOEFUBM3FEVDJOH"DUJWBUJPO3FDPNQVUBUJPOJO-BSHF5SBOTGPSNFS .PEFMTBS9JW <>'JHVSFΑΓసࡌ ςϯιϧฒྻ͸ɺ"UUFOUJPOϒϩοΫͱ.-1ϒϩοΫͷߦྻΛ(16ؒͰ෼ׂ "MM3FEVDF 3FEVDF4DBUUFS "MM(BUIFS "MM(BUIFS3FEVDF4DBUUFS"MMUP"MM

Slide 35

Slide 35 text

3次元並列(ハイブリッド並列) <>%VBO +JBOHGFJ FUBM& ff i DJFOU5SBJOJOHPG-BSHF-BOHVBHF.PEFMTPO%JTUSJCVUFE*OGSBTUSVDUVSFT "4VSWFZBS9JW <>'JHΛղ૾౓ ͱΞεϖΫτൺΛ มߋͯ͠࡞੒ σʔλฒྻʢ%1ʣ ύΠϓϥΠϯฒྻʢ11ʣ ςϯιϧฒྻʢ51ʣͷ̏ͭ Λಉ࣌ʹ૊Έ߹Θͤͯɺ(16܈Λ࣍ݩͷ֨ࢠͱͯ͠ѻ͏ɻ

Slide 36

Slide 36 text

AIスパコンのインフラ

Slide 37

Slide 37 text

AIスパコンの基本構成 37 (16 /PEF (16 /PEF (16 /PEF (16 /PEF *OUFSDPOOFDU/FUXPSL 4UPSBHF/FUXPSL 4UPSBHF #BDLFOE/FUXPSLͱ΋ݺ͹ΕΔ 3%."εΠονͱ/*$ʹجͮ͘ (16ؒ௨৴༻ωοτϫʔΫ ετϨʔδ༻ωοτϫʔΫ ΠϯλʔίωΫτωοτϫʔΫͱ ڞ༗ʹͳΔέʔε΋͋Δ ฒྻ෼ࢄετϨʔδ ֶशσʔλ΍νΣοΫϙΠϯτ͕ อଘ͞ΕΔ

Slide 38

Slide 38 text

ノード内通信とノード間通信 • 同 一 サーバ内の複数のGPU間の通信 • 高 速なバス通信技術(例:NVLink) • 数百GB/s級 • 異なるサーバ間のGPU通信 • RDMAによる 高 速ネットワーク技術 • 数百Gbps級

Slide 39

Slide 39 text

ノード内通信 ー GPU間の直接通信へ <>6OBU %JEFN FUBM5IF-BOETDBQFPG(16$FOUSJD$PNNVOJDBUJPO BS9JW  <>'JHΑΓసࡌ ঃʑʹ$16ͷ໾ׂ͕ݮ͍͖ͬͯɺ(16ؒͰ׬݁͢ΔΑ͏ʹͳΔ )PTU/BUJWF )PTU$POUSPMMFE %FWJDF/BUJWF )PTUGBMMCBDL

Slide 40

Slide 40 text

ノード内通信 ー GPU間の直接通信へ /7-JOL͸/7*%*"(16ؒͷߴଳҬ෯ͱ௿஗Ԇͷ௚઀ΞΫηεΛ༰қʹ͢Δ ಠࣗͷΠϯλʔίωΫτٕज़Ͱ͋Δɻ <>6OBU %JEFN FUBM5IF-BOETDBQFPG(16$FOUSJD$PNNVOJDBUJPO BS9JW  <>5BCMFΛվมͯ͠࡞੒ ૒ํ޲ू໿ଳҬ෯

Slide 41

Slide 41 text

ノード間通信がボトルネックへ <>4BQJP "NFEFP FUBM4DBMJOHEJTUSJCVUFENBDIJOFMFBSOJOHXJUI*O/FUXPSLBHHSFHBUJPO/4%*  <>,MFOL #FOKBNJO FUBM"OJOOFUXPSLBSDIJUFDUVSFGPSBDDFMFSBUJOHTIBSFENFNPSZ NVMUJQSPDFTTPSDPMMFDUJWFTz *4$"  ਂ૚ֶशͷֶश࣌ؒʹ઎ΊΔ"MMSFEVDFͷׂ߹ਪఆ͸ɺ <> <> (CQTωοτϫʔΫͰ໿ (CQTωοτϫʔΫͰr 41 (16ͷුಈখ਺఺ੑೳ͸೥Ͱഒ৳ͼͨɻ ҰํͰωοτϫʔΫଳҬͷഒ৳௕ʹ͸໿೥Λཁͨ͠ɻ<>

Slide 42

Slide 42 text

Ethernetのリンク速度向上 (C&͕഑උ ͞Ε5C&΋Έ ͖͑ͯͨ <>&UIFSOFU"MMJBODF l&UIFSOFU3PBENBQz IUUQTFUIFSOFUBMMJBODFPSHXQDPOUFOUVQMPBET &UIFSOFU3PBENBQ4JEFE8FCQEG <>ΑΓసࡌ

Slide 43

Slide 43 text

3%." ʢ04ΧʔωϧόΠύεʹΑΓ$16 ͱ%3".Λܦ༝ͤͣʹ௚઀సૹʣ *O fi OJCBOE /*$ʹϝϞϦసૹΦϑϩʔυ 3%."ΛωΠςΟϒ αϙʔτͨ͠ઐ༻ωο τϫʔΫ૬ޓ઀ଓٕज़ 3P$&W *1ϧʔςΟϯάՄೳͳ6%1ϕʔε3%." ϩεϨε ϑϩʔ੍ޚ΍᫔᫓੍ޚʹΑΓύέοτϩεΛθϩʹ͚ۙͮΔ <>-J 8FOYVF FUBM 6OEFSTUBOEJOHDPNNVOJDBUJPODIBSBDUFSJTUJDTPGEJTUSJCVUFEUSBJOJOHz "1/FU  <>'JHVSF B ΑΓసࡌ RDMA 43

Slide 44

Slide 44 text

NVIDIA GPUDirect /7*%*"͕ఏڙ͢Δʮ(16Λத৺ͱͨ͠σʔλసૹͷγϣʔτΧοτٕज़ʯͷ૯শ ঃʑʹ$16ͷ໾ׂ͕ݮ͍͖ͬͯɺ(16ͱ/*$͚ͩͰ׬݁͢ΔΑ͏ʹͳΔ <>6OBU %JEFN FUBM5IF-BOETDBQFPG(16$FOUSJD$PNNVOJDBUJPO BS9JW 

Slide 45

Slide 45 text

Rail Optimized Topology <>,.BOEBLPMBUIVS FUBM %PVCMJOHBMMBMM1FSGPSNBODFXJUI/7*%*"$PMMFDUJWF$PNNVOJDBUJPO-JCSBSZ ҟͳΔϊʔυ্ͷʮಉ͡(16*%ʯΛ࣋ͭ(16ؒͰͷ௨৴͕සൟʹൃੜɻ͜ͷಛੑ Λ౿·͑ͯ഑ઢΛ࠷దԽ͢Δɻ <>ΑΓసࡌ ൪ͷ(16ͱ/*$ͷ*%Λ ಉ͡-FBGεΠονʹऩ༰

Slide 46

Slide 46 text

AIスパコンのクラスタ構成例(Meta) ,PLPMJT "QPTUPMPT FUBM 3FWJTJUJOH3FMJBCJMJUZJO-BSHFTDBMF.BDIJOF-FBSOJOH3FTFBSDI$MVTUFSTz  )1$" 'JHΑΓసࡌ αʔόɾϥοΫɾ1PEؒ ΠϯλʔίωΫτωοτϫʔΫ d(CQT αʔό಺ΠϯλʔίωΫτ (#T 46

Slide 47

Slide 47 text

AIモデル学習におけるストレージのユースケース ϞσϧνΣοΫϙΠ ϯςΟϯά ֶशσʔληοτ ͷಡΈग़͠ w ֶश్தͷঢ়ଶΛอଘ͠ɺো֐࣌ʹ࠶։ ͢ΔͨΊͷఆظνΣοΫϙΠϯςΟϯά w ਺෼ʙ਺े෼ʹҰ౓όʔετॻ͖ࠐΈ w #ͷ--.Ͱ͸νΣοΫϙΠϯταΠζ ͸5#΄ͲʹͳΔ w ߴεϧʔϓοτͰͷಡΈॻ͖ w ਺ඦ਺ઍϊʔυن໛Ͱͷฒྻอଘɾฒྻ ಡΈग़͠εέʔϥϏϦςΟ w --B."͸ஹҎ্ͷτʔΫϯͰֶ श͞Εɺ͓Αͦ5#ͷσʔλʹ૬౰ w ଟ਺ͷ(16ϊʔυ͔Βฒྻγʔέϯ γϟϧಡΈग़͠ w લॲཧ΍ΫϦʔχϯάͰ͸ɺϥϯμϜ Ϧʔυ΍খϑΝΠϧಡΈग़͠΋ࠞࡏ εΩοϓ

Slide 48

Slide 48 text

+POHSZPPM,JN l& ff i DJFOU--.$IFDLQPJOUJOHXJUI.FNPSZBOE4UPSBHFz IUUQT fi MFTGVUVSFNFNPSZTUPSBHFDPNQSPDFFEJOHT @$0.1@,JNQEGܝࡌਤΛ΋ͱʹվมͯ͠࡞੒ チェックポインティングに 至 る流れ εΩοϓ

Slide 49

Slide 49 text

並列分散ファイルシステムの構成 -VTUSFͷߏ੒ྫ ϝλσʔλ؅ཧͱσʔλຊମ؅ཧΛ෼཭͠ɺͦΕͧΕΛݸผʹεέʔϧΞ΢τՄೳ ϑΝΠϧΛετϥΠϓαΠζ୯ҐͰෳ਺045΁෼ׂ഑ஔ͠ɺΫϥΠΞϯτ͸ฒྻ*0 εΩοϓ

Slide 50

Slide 50 text

AIスパコンのソフトウェアスタック例 多層に折り重なった複雑な構成 εέδϡʔϥ 4MVSN ,VCFSOFUFT ίϯςφ /7*%*"$POUBJOFS5PPMLJU &OSPPU 1ZYJT 4JOHVSBMJUZ ෼ࢄֶशϑϨʔϜϫʔΫ .FHBUSPO-. %FFQ4QFFE 1ZUPSDI'4%1 /F.P ֶशϑϨʔϜϫʔΫ 1Z5PSDI 5FOTPS fl PX +"9 ूஂ௨৴ϥΠϒϥϦ /$$- 3$$- 3%."ϥΠϒϥϦ JCWFSCT SENBDPSF ܭࢉߴ଎ԽϥΠϒϥϦ DV#-"4DV#-"4-U DV%// 5SBOTGPSNFS&OHJOF ϥϯλΠϜυϥΠό $6%" OWJEJBESJWFST ˞IUUQTEPDTOWJEJBDPNOFNPGSBNFXPSLVTFSHVJEFMBUFTUTPGUXBSFDPNQPOFOUWFSTJPOTIUNM Ϣʔβʔ͕ ֶशδϣϒΛൃߦ 50

Slide 51

Slide 51 text

1章 まとめ ᶃਂ૚ֶशͷܭࢉෛՙͱ(16ͷద߹ੑ ᶄେن໛ϞσϧʹରԠ͢Δ෼ࢄਂ૚ֶशٕज़ ᶅϊʔυ಺ɾϊʔυؒͷߴ଎ΠϯλʔίωΫτ 5SBOTGPSNFSͷେن໛ͳߦྻੵ࿨ԋࢉʹ͸ɺߴฒྻ ੑʢ਺ઍίΞɺ5FOTPS$PSFʣͱߴଳҬϝϞϦ ʢ)#.ʣΛ΋ͭ(16͕ద͢Δɻ .FNPSZ8BMMΛղܾ͢ΔͨΊɺσʔλฒྻɺύΠ ϓϥΠϯฒྻ΍ςϯιϧฒྻͷ૊Έ߹Θ͕ͤඞਢɻ ෼ࢄֶशதͷޯ഑ಉظͳͲͷͨΊʹɺ௨৴Ϙτϧ ωοΫΛղফɻϊʔυ಺ʢ/7-JOLʣͱϊʔυؒ ʢ3%."ɼ3P$&WʣͰूஂ௨৴Λߴ଎Խɻ

Slide 52

Slide 52 text

2. さくらONE

Slide 53

Slide 53 text

さくらONE IUUQTXXXTBLVSBBEKQTBLVSBPOF ͘͞ΒΠϯλʔωοτ ݚڀॴ͕ओװ マネージドGPUスパコンサービスを提供中 ˞(16ϕΞϝλϧαʔϏεߴՐྗ1):΋ఏڙத εύίϯੑೳϥϯΩϯά 501ੈքҐ֫ಘ ʢ*4$ʣ 53

Slide 54

Slide 54 text

TOP500(ISC2025 June, 2025) 501 )1--*/1"$, ੈքҐ )1$( )1$਺஋ԋࢉΞϓϦέʔγϣϯ ੈքҐ )1-.Y1 "*޲͚ͷ୯ਫ਼౓΍൒ਫ਼౓ԋࢉੑೳ ੈքҐ *0 ετϨʔδ*0ੑೳ ੈքҐ ΠϯλʔίωΫτωοτϫʔΫ͸ɺ্ҐҐҎ಺Ͱ͸།ҰϕϯμʔதཱͰ Φʔϓϯͳٕज़Λ࠾༻ *4$ʹͯεύίϯੑೳϥϯΩϯά501ੈքҐΛ֫ಘ 40/J$04ͱ(C&&UIFSOFU 54

Slide 55

Slide 55 text

TOP500 (ISC2025) 世界49位 国内9位 3BOL 4ZTUFN 0SHBOJ[BUJPO 3NBY 1'MPQT  'VHBLV 3*,&/$FOUFSGPS$PNQVUBUJPOBM 4DJFODF   "#$* "*45   $)*& 4PGU#BOL$PSQ   $)*& 4PGU#BOL$PSQ   "#$*2 "*45   '15"*'BDUPSZ+BQBO '15"*'BDUPSZ+BQBO   .JZBCJ( +PJOU$FOUFSGPS"EWBODFE)JHI 1FSGPSNBODF$PNQVUJOH   546#".& $** *OTUJUVUFPG4DJFODF5PLZP   4",63"0/& 4",63"*OUFSOFU*OD 1SVOVT4PMVUJPOT*OD  ࠃ಺γεςϜ্ҐͷΈൈਮ IUUQTUPQPSHMJTUTUPQ 55

Slide 56

Slide 56 text

TOP500(SC2025 November, 2025) 3BOL 4ZTUFN 0SHBOJ[BUJPO 3NBY 1'MPQT  4",63"0/& 4",63"*OUFSOFU*OD 1SVOVT4PMVUJPOT*OD   4",63"0/& $:$ 4",63"*OUFSOFU*OD 1SVOVT4PMVUJPOT*OD   4",63"0/& $:# 4",63"*OUFSOFU*OD 1SVOVT4PMVUJPOT*OD  IUUQTXXXUPQPSHMJTUTUPQMJTU $:$ͱ$:#ͱݺ͹ΕΔͭͷΫϥελΛ৽نʹ௥Ճɻ

Slide 57

Slide 57 text

さくらONEの3つのクラスタ ୈҰΫϥελ ୈೋΫϥελʢ$:$ʣ ୈࡾΫϥελʢ$:#ʣ ܭࢉϊʔυ਺    (16 /7*%*") 49.(# /7*%*") 49.(# /7*%*"# 49.(# $16 *OUFM9FPO1MBUJOVN  º$16 DPSFT  *OUFM9FPO1MBUJOVN  º$16 DPSFT  *OUFM9FPO1º $16 DPSFT ϝϞϦ %%35# %%35# %%35# ϩʔΧϧετ Ϩʔδ (#Y 5#º 5#º ڞ༗ετϨʔδ -VTUSF1# -VTUSF5# -VTUSF5# ΠϯλʔίωΫ τωοτϫʔΫ (C&º (C&º (C&º IUUQTXXXTBLVSBBEKQTBLVSBPOF

Slide 58

Slide 58 text

さくらONE 第 一 クラスタの構成 ',POJTIJ4",63"0/&&NQPXFSJOH5SBOTQBSFOUBOE0QFO"*1MBUGPSNTUISPVHI1SJWBUF4FDUPS )1$*OWFTUNFOUJO+BQBOBS9JW  58 (16 /PEF (16 /PEF (16 /PEF (16 /PEF *OUFSDPOOFDU/FUXPSL 4UPSBHF/FUXPSL 4UPSBHF  OPEFT  $16DPSFT (16T )  /*$T (C& 40/*$04(C& (C& 1# %%/&YBTDBMFS

Slide 59

Slide 59 text

さくらONEの構成詳細 ΠϯλʔίωΫτ ωοτϫʔΫ ܭࢉϊʔυ ετϨʔδ

Slide 60

Slide 60 text

さくらONEの構成詳細(NW) ܭࢉϊʔυ 4QJOF -FBG 3BJM0QUJNJ[FE 5PQPMPHZ 3P$&W

Slide 61

Slide 61 text

AIスパコンの利 用 (さくらONEの例) δϣϒ εέδϡʔϥ ʢ4MVSNʣ ϩάΠϯϊʔυ 44) ฒྻ෼ࢄ ετϨʔδ IPNFҎԼΛ Ϛ΢ϯτ δϣϒ౤ߘ NPVOU NPVOU NPVOU εέδϡʔϥ͕Ϣʔβʔʹࢦఆ͞Εͨ(16ϊʔυΛ ֬อ͠ɺ֤ϊʔυ্ͰεΫϦϓτΛಉ࣌ىಈ͢Δ TMVSNDUME TMVSNE TDSJQU TMVSNE TDSJQU TMVSNE TMVSNE TDSJQU TDSJQU 61

Slide 62

Slide 62 text

,POJTIJ 'VNJLB[V4",63"0/&&NQPXFSJOH 5SBOTQBSFOUBOE0QFO"*1MBUGPSNTUISPVHI 1SJWBUF4FDUPS)1$*OWFTUNFOUJO+BQBO BS9JWQSFQSJOUBS9JW   さくらONEの ホワイトペーパー 62

Slide 63

Slide 63 text

3. 学習ジョブの履歴データの傾向分析 

Slide 64

Slide 64 text

ジョブ履歴データについて w σʔλͷ಺༰ w 4MVSNʹ౤ߘ͞Εͨδϣϒͷ࣮ߦ։࢝ɾऴྃɺϢʔβʔɺύʔςΟγϣϯɺ ֬อ͞ΕͨϦιʔεʢϊʔυɺ(16ͳͲʣɺδϣϒ໊ɺίϚϯυͳͲ w ෼ੳର৅ظؒ w --.։ൃϓϩδΣΫτ"ͷ೥݄೔͔Β೥݄೔·Ͱ

Slide 65

Slide 65 text

観察1 (16઎༗࣌ؒͷେ൒͸Ϣʔβओಋͷҙਤతͳதஅ͕઎ΊΔ Ұํɺࣦഊδϣϒͷ(16઎༗࣌ؒ͸ʹཹ·ͬͨɻ --.ͷֶशͩͱࣄલʹద੾ͳֶशεςοϓ਺ΛܾΊΒΕͳ͍ͷͰɺ ࠷େεςοϓ਺Λେ͖Ίʹઃఆ్ͯ͠தͰࢭΊΔӡ༻Λ͍ͯͨ͠

Slide 66

Slide 66 text

観察2 খن໛δϣϒ͕େଟ਺Λ઎ΊΔҰํɺେن໛δϣϒ͕ (16Ϧιʔε઎༗࣌ؒͷେ෦෼Λফඅ͍ͯ͠Δ 66

Slide 67

Slide 67 text

δϣϒͷଟ͘͸୹࣌ؒͰऴྃ͢Δ͕ɺେن໛δϣϒ Ͱ͸࣮ߦ࣌ؒͷ෼෍ͷ੄͕௕͍ δϣϒ࣮ߦ࣌ؒͷྦྷੵ෼෍ 観察3 67 தԝ஋͸਺෼͔Β਺े෼ͷൣғʹूத ͍ͯ͠ΔɻҰํͰɺϊʔυ਺͕େ͖͍ δϣϒ΄Ͳ࣮ߦ࣌ؒͷ෼෍͕ӈํ޲ʹ ޿͕Δɻ ϊʔυͷେن໛δϣϒͰ͸ɺ िؒΛ௒࣮͑ͯߦ͞Εͨδϣϒ΋ શମͷʹୡͨ͠

Slide 68

Slide 68 text

観察4 ϓϩδΣΫτͷਐߦʹ൐͍ɼେن໛δϣϒ͔Βதن໛δϣϒ த৺΁ͱϦιʔεར༻͕ਪҠ͍ͯ͠Δɻ ࣄલֶश ϑΝΠϯνϡʔχϯά ิ଍తͳ࣮ݧ

Slide 69

Slide 69 text

(16Ϋϥελͷۭ͖ঢ়گ͕ ͻͱ໨ͰΘ͔Δ (16ిྗফඅྔͷྫ ۭ͖͕ଟ͍ͱ΋͍ͬͨͳ͍ 69

Slide 70

Slide 70 text

第三章まとめ w --.։ൃϥΠϑαΠΫϧͰ͸ɺৗʹେن໛δϣϒΛྲྀ͢ඞཁ͸ͳ͍ w (16ͷۭ͖͕ͰΔظؒ͸͋Δ w --.։ൃͰ͸࠷ߴੑೳͷ௥ٻΑΓ΋ɺ։ൃͷ҆ఆੑ͕ॏࢹ͞ΕΔ w Πϯϑϥ౤ࢿʹແବ͕ͰΔՄೳੑ͕͋Δ 70

Slide 71

Slide 71 text

4. LLM分散学習ベンチマーキング 

Slide 72

Slide 72 text

分散学習ベンチマーキングの動機 w 501ʹ͓͚ΔϕϯνϚʔΫ͸ҰൠͷܭࢉػੑೳΛܭଌ͢Δ΋ͷͰ͋Δ w ͘͞Β0/&͕ϑΥʔΧε͢Δ--.ֶशʹ͓͚ΔੑೳΛܭଌ͍ͨ͠ w ۀքͷඪ४తͳϕϯνϚʔΫͱͯ͠.-1FSGʹண໨ͨ͠ w .-1FSGϕϯνϚʔΫεΠʔτɿ5SBJOJOH*OGFSFODF4UPSBHFͳͲ̍̍छ w 5SBJOJOHͷ͏ͪɺ͘͞Β0/&ͷ૝ఆϢʔεέʔεʹ͍ۙ͠ɺ(15#ࣄ લֶशͱ-MBNBϑΝΠϯνϡʔχϯάΛબ୒ ຊ೔ͷର৅ 72

Slide 73

Slide 73 text

MLPerf Training w είΞ͸ֶश։͔࢝Βֶशऴྃ·Ͱͷ࣮࣌ؒʢNJOʣ w ૚਺΍ֶश཰ɺγʔέϯε௕ͳͲͷֶशؔ࿈ͷϋΠύʔύϥϝʔλ͸ݻఆ w ֶशσʔληοτ͸༻ҙ͞Ε͍ͯΔ w ଛࣦ͕نఆͷᮢ஋ʹୡ͢Δͱ࣮ߦΛఀࢭʢ(15Ͱ͸-PH1FSQMFYJUZ͕ʣ w ͋Δఔ౓ֶशΛਐΊΒΕͨঢ়ଶΛอଘͨ͠νΣοΫϙΠϯτ͔Βֶश։࢝ w ֶशதͷνΣοΫϙΠϯςΟϯάʢετϨʔδ΁ͷఆظอଘʣ͸ͳ͠ モデル側のパラメータ固定や学習終了条件の明 示 ˞$MPTFE%JWJTJPOͷ৔߹ 73

Slide 74

Slide 74 text

GPT-3事前学習のスコア 0SHBOJ[BUJPO 4ZTUFN/BNF (16਺ .PEFM/BNF -BUFODZ NJO /7*%*" &PTEGX@O   )49.(#  0SBDMF Y#.(16)  )49.(#  0SBDMF Y#.(16)  )49.(#  4",63" JOUFSOFU 4",63"0/&@O  )49.(#  VOWFSJ fi FE /7*%*" &PT@O  )49.(#  4",63" JOUFSOFU 4",63"0/&@O  )49.(#  VOWFSJ fi FE /7*%*" &PT@O  )49.(#  IUUQTNMDPNNPOTPSHCFODINBSLTUSBJOJOH3PVOEW͔ΒҰ෦ൈਮ ˞VOWFSJ fi FE͸.-$PNNPOTڠձʹ Αͬͯݕূ͞Ε͍ͯͳ͍݁ՌͰ͋Δɻ 74

Slide 75

Slide 75 text

GPT-3事前学習(規模が近い他システム 比 較①) 0SHBOJ[BUJPO 4ZTUFN/BNF (16਺ .PEFM/BNF -BUFODZ NJO 4",63" JOUFSOFU 4",63"0/&@O  )49.(#  VOWFSJ fi FE /7*%*" &PT@O  )49.(#  (16਺ɺ(16Ϟσϧɺ/8ଳҬ෯͕ಉ৚݅Ͱͷൺֱ &PT@Oʹରͯ͠ɺ4",63"0/&@O͸ͷֶश࣌ؒͱͳͬͨ 75

Slide 76

Slide 76 text

GPT-3事前学習(規模が近い他システム 比 較②) (16਺͕ۙ͘͠ಉҰϞσϧɺ/8ଳҬ෯ಉҰͰͷൺֱ 0SHBOJ[BUJPO 4ZTUFN/BNF (16਺ .PEFM/BNF -BUFODZ NJO 4",63" JOUFSOFU 4",63"0/&@O  )49.(#  VOWFSJ fi FE /7*%*" &PT@O  )49.(#  &PT@OΛԾʹϊʔυͱ͢Δͱཧ૝׵ࢉͰ NJO ͱͳΓɺ 4",63"0/&@O͸ͷֶश࣌ؒ ˞4",63"0/&ʹ͸ෆརͳ৚݅Ͱͷൺֱ ྆ऀ1PEʢ46ʣ ԣஅ௨৴͋Γ 76

Slide 77

Slide 77 text

学習ワークロードの代表的な 目 標性能指標 εϧʔϓοτ ܭࢉޮ཰ .'6 .PEFM'MPQT6UJMJ[BUJPO  Ϟσϧ͕ཧ࿦తʹ࢖༻͢Δ '-014ͷ࣮ଌ஋ ϋʔυ΢ΣΞͷϐʔΫ'-014 ֶशεϧʔϓοτɹUPLFOTTFD TBNQMFTTFD ԋࢉεϧʔϓοτɹ'-014ʢ'MPBUJOHQPJOU0QFSBUJPOT1FS4FDPOEʣ ϨΠςϯγ 5JNFUP5SBJOɹֶश։͔࢝Β׬ྃ·Ͱͷ࣌ؒ 77

Slide 78

Slide 78 text

GPT-3事前学習(さくらONEスケーリング評価) ϊʔυ਺   5JNFUP5SBJO ʢNJOʣ   .'6    5'-014(16   5PLFOTTFD(16   ֶश࣌ؒ୹ॖ཰ɹɹഒ ϊʔυ਺͕ഒʹରͯ͠ )'1ࠞ߹ਫ਼౓Ͱͷԋࢉޮ཰ʢ.'6ʣͷ૬৔͸ ԋࢉޮ཰(16ɹɹɹ ରཧ૝εέʔϦϯά 78 ʢԋࢉεϧʔϓοτͷ૬৔͸r5'-014(16ʣ

Slide 79

Slide 79 text

H100 BF16/FP8混合精度 MFU w ϐʔΫ'-014ͱͯ͠ɺจݙͰ͸ 5'-014Λ࠾༻͞Ε͍ͯΔ w '15FOTPS$PSF͸ 5'-014ʢ˞ʣ͕ͩɺ4QBSTFͳ͠ͳΒ  ˞/7*%*")5FOTPS$PSF(16%BUBTIFFUIUUQTSFTPVSDFTOWJEJBDPNFOVTIPQQFSBSDIJUFDUVSFOWJEJBUFOTPSDPSFHQV EBUBTIFFU ˞IUUQTDBUBMPHOHDOWJEJBDPNPSHTOWJEJBUFBNTEHYDCFODINBSLJOHSFTPVSDFTMMBNBCEHYDCFODINBSLJOHD ˞ -MBNB# .'6d ˞ ˞IUUQTTFNJBOBMZTJTDPNIDMVTUFSTQPXFSOFUXPSL .'6 ˞ USJMMJPOQBSBNFUFSUSBJOJOH -MBNB# ˞IUUQTTFNJBOBMZTJTDPNIWTHCOWMUSBJOJOHCFODINBSLT .'6 ˞ ˞IUUQTXXXEBUBCSJDLTDPNKQCMPHUVSCPDIBSHFEUSBJOJOHPQUJNJ[JOHEBUBCSJDLTNPTBJDBJTUBDLGQ .15CdC .'6d ˞ 79

Slide 80

Slide 80 text

GPT-3事前学習(パラメータの組み合せ) 51 11 %1 (MPCBM #4 .JDSP #4 '-014 (16 5JNFUP5SBJO ʢNJOʣ      /PEBUB                       51ςϯιϧฒྻ౓ 11ύΠϓϥΠϯฒྻ౓ %1σʔλฒྻ౓ (MPCBM#4άϩʔόϧόοναΠζ .JDSP#4ϚΠΫϩόοναΠζ 96ノード શମͰݸͷύϥϝʔλͷ͏ͪ୅දతͳ΋ͷΛൈਮ ςϯιϧฒྻͷ ௨৴Λαʔό಺ /8Ͱ׬݁ͤͨ͞ ͍ͨΊ51 73".ʹऩ·Δൣ ғͰ%1Λ্͛Ε ͹͍͍ͱࢥ͍ͬͯ ͕ͨҙ֎ͱͦ͏Ͱ ΋ͳ͍ 80

Slide 81

Slide 81 text

GPT-3事前学習の結果の考察 w ͘͞Β0/&Ͱ͸૬৔ͷൣғ಺ͷԋࢉޮ཰Λୡ੒Ͱ͖͍ͯΔɻ w ΠϯλʔίωΫτ௨৴͕े෼ߴ଎ɻ෼ࢄֶशͷνϡʔχϯά΋૬৔Ϩϕϧɻ w ҰํͰɺ͘͞Β0/&͸&04ͱϊʔυൺֱͰɺϊʔυ׵ࢉൺֱ Ͱͷੑೳͱͳͬͨɻ w ཁҼͷՄೳੑɿ&UIFSOFU 3P$&W ର*O fi OJCBOEɺ͋Δ͍͸୯ʹνϡʔχϯάෆ଍ w ΠϯλʔίωΫτͷτϙϩδߏ੒ʢ3BJM0QUJNJ[FEʣ͸ಉҰͷ͸ͣ w ιϑτ΢ΣΞελοΫ͸04ͱΧʔωϧϞδϡʔϧʢυϥΠόͳͲʣҎ֎ͷόʔ δϣϯ͸ಉҰͷ͸ͣ 81

Slide 82

Slide 82 text

苦労したこと w .-1FSGެࣜͷϦϑΝϨϯε࣮૷ΑΓɺաڈͷϥ΢ϯυͰ౤ߘɾެ։͞Ε࣮ͨ૷ ͷ΄͏͕੔ཧ͞Ε͍ͯΔɻϦϑΝϨϯε࣮૷͔Β࢝Ίͯ͠·ͬͨɻ w ίϯςφͰόʔδϣϯ͕ݻఆ͞Ε͍ͯͯ΋ɺ෺ཧߏ੒ͷඍົͳࠩҟʹΑͬͯಈ͔ ͳ͍ઃఆ΍ίʔυ͸͍͔ͭ͋͘Γɺमਖ਼ͷඞཁ͋Γ w ෼ࢄֶशͷ֤छ֓೦ʢ%ฒྻɺूஂ௨৴ͳͲʣ΍ιϑτ΢ΣΞʢ4MVSNɺ /F.Pɺ.FHBUSPOʣΛ৽نʹֶͿඞཁ͕͋ͬͨ w ϕϯνϚʔΫظؒ͸ݶΒΕΔͨΊɺ৸ΔલʹδϣϒΛෳ਺ݸ౤ೖͯ͠ே݁ՌΛΈ Δੜ׆Λ͍ͯͨ͠ ˞IUUQTHJUIVCDPNNMDPNNPOTUSBJOJOH@SFTVMUT@WUSFFNBJO/7*%*" ˞ 82

Slide 83

Slide 83 text

4章:まとめ w --.ֶशͰඞཁͱ͞ΕΔجຊతͳฒྻԽٕज़΍/8ٕज़ɺΫϥελߏ੒Λ؆୯ʹ ղઆͨ͠ɻ w ͘͞ΒΠϯλʔωοτͰ͸Ϋϥελ؅ཧ͕ϚωʔδυԽ͞Εͨεύίϯʮ͘͞Β 0/&ʯΛ։ൃ͠ɺ501ͰΦʔϓϯͳ/8ٕज़ͷൣᙝͰҐΛୡ੒ͨ͠ɻ w ͘͞Β0/&Ͱ(15ͷࣄલֶशϕϯνϚʔΫΛ࣮ࢪ͠ɺ૬৔ͷൣғ಺ͷԋࢉޮ཰ Λୡ੒ɻνϡʔχϯάʹ՝୊ͷ༨஍͋Γɻ w ʢ࣌ؒ౎߹ͰׂѪʣ-MBNBϑΝΠϯνϡʔχϯάͰ͸ϕϯνϚʔΫࢀՃاۀΒͱ ಉ౳ఔ౓ͷੑೳΛୡ੒ͨ͠ɻ 83

Slide 84

Slide 84 text

5. オブザーバビリティ(可観測性) 

Slide 85

Slide 85 text

AIスパコンサービスのオブザーバビリティ Ϣʔβʔ ϓϩόΠμʔ ֶशॲཧੑೳ ো֐ɾނো؅ཧ ܭࢉࢿݯͷར༻཰ ܭࢉࢿݯͷར༻཰ ໨ඪࢦඪ ਂ૚ֶशͷॲཧͷ಺༁ ֶशɾԋࢉεϧʔϓοτ ΞϓϦέʔγϣϯ σόΠε ঢ়ଶνΣοΫ ϦιʔεফඅྔɾΤϥʔ Ҽࢠ෼ղ ϫʔΫϩʔυ ෼ੳ Ϧιʔε ෼ੳ 85

Slide 86

Slide 86 text

責任境界による計装・収集の制約 Ϣʔβʔ ϓϩόΠμʔ 04 δϣϒ εέδϡʔϥ ੹೚ڥք σόΠε ΞϓϦέʔγϣϯ υϥΠό γεςϜϥΠϒϥϦ ΞϓϦέʔγϣϯ ϩάͷऔಘෆՄ ΞϓϦέʔγϣϯ ίʔυͷܭ૷ෆՄ 86

Slide 87

Slide 87 text

まずはできるところからやる Ϧιʔε෼ੳͷͨΊͷςϨϝτϦʔऩू ϫʔΫϩʔυ ෼ੳ Ϧιʔε ෼ੳ 

Slide 88

Slide 88 text

リソース分析の概観 Grafanaダッシュボードの構成 ۭؒϏϡʔ ࣌ܥྻϏϡʔ δϣϒϏϡʔ ࠓͳʹ͕ى͖͍ͯΔʁ աڈԿ͕ى͖͔ͨʁ ಛఆδϣϒʹண໨ ݸผ࣌ܥྻϏϡʔ ಛఆ(16ͳͲ %BUBMJOL %BUBMJOL 88

Slide 89

Slide 89 text

(16ిྗফඅɺԹ౓ɺϝϞϦ࢖༻ྔɺετϨʔδ࢖༻ྔ 空間ビュー:クラスタ統計 89

Slide 90

Slide 90 text

空間ビュー:パーティション別統計① ԋࢉεϧʔϓοτ ʢ%$(.ਪఆ஋ʣ (16࢖༻཰ ςϯιϧίΞ࢖༻཰ --.ֶशͰ͸͙ Β͍࢖͍͑ͯΔͱྑ͍ ˞7 "OESFJ FUBM 4:45&.!4$"-&"*0CTFSWBCJMJUZ IUUQTBUTDBMFDPOGFSFODFDPNTZTUFNTDBMFBJPCTFSWBCJMJUZ  ˞ Ͱ͋ͬͯ΋(16ͷԋ ࢉޮ཰͕ߴ͍ͱ͸ݶΒͳ͍ 90

Slide 91

Slide 91 text

空間ビュー:パーティション別統計② (16ϝϞϦ࢖༻཰ (16ϝϞϦ ଳҬ෯࢖༻཰ (16ϝϞϦ ΞΫηε࢖༻཰ ͍ۙͱ͏· ͘࢖͍͑ͯΔ 91

Slide 92

Slide 92 text

空間ビュー:GPUグリッド表 示 )1&$MVTUFSWJFX ˞IUUQTHSBGBOBDPNHSBGBOBQMVHJOTIQFIQDHSBGBOBDMVTUFSWJFXQBOFM ˞ ύωϧϓϥάΠϯ ϥοΫˠαʔόˠ(16 ͳͲͷೖΕࢠදݱՄ (16ిྗফඅྔͷྫ ࣾ಺ͷ)1$ઐ໳ Ոʹ޷ධ ೴಺Πϝʔδʹ ͍ۙϏϡʔ 92

Slide 93

Slide 93 text

空間ビュー:NVLink別グリッド表 示 ܭࢉϊʔυ಺ (16ؒόεͷ ड৴εϧʔϓοτ 93

Slide 94

Slide 94 text

空間ビュー:NICグリッド表 示 ̍ܭࢉϊʔυ͋ͨΓ ΠϯλʔίωΫτ༻/*$ຕ ετϨʔδ༻/*$ຕ /*$ͷड৴ εϧʔϓοτ 94

Slide 95

Slide 95 text

時系列ビュー① /*$ͷ εϧʔϓοτ ετϨʔδ εϧʔϓοτ νΣοΫϙΠϯτॻ͖ग़͠ͷ༷ࢠ 95

Slide 96

Slide 96 text

時系列ビュー② (16Ϋϥελͷۭ͖ঢ়گ͕ ͻͱ໨ͰΘ͔Δ (16ిྗফඅྔͷྫ ϓϩδΣΫτ"ͷ೥—݄̏ͷσʔλ Λ΋ͱʹՄࢹԽ ۭ͖͕ଟ͍ͱ΋͍ͬͨͳ͍ 96

Slide 97

Slide 97 text

ジョブビュー   ガントチャート 4MVSNδϣϒͷώετϦʢ.BSJB%#ʹอଘʣΛݩʹՄࢹԽ 97

Slide 98

Slide 98 text

プロファイルの可視化 γϯϘϧະղܾͱͳΔؔ਺͕ଟ͍ ॱ఻ൖॲཧͷ಺༁͕Θ͔Δ ͨͩ͠$16UJNF 98

Slide 99

Slide 99 text

データパイプラインの構成(全体像) (16/PEFT  -PHJO/PEFT  *OUFSDPOOFDU4XJUDIFT #BDLFOET 05F-$PMMFDUPS (BUFXBZ 05F-$PMMFDUPS "HFOU 1ZSPTDPQF 7JDUPSJB.FUSJDT 7JDUPSJB-PHT .FUSJDT -PHT 1SP fi MFT 05-1 05-1 &YQPSUFST &YQPSUFST &YQPSUFST 4ZTMPH -PHT -PHT 4DSBQF ˠ͸σʔλͷྲྀΕΛද͢ 7JTVBMJ[BUJPO (SBGBOB 99

Slide 100

Slide 100 text

GPUノードの構成 (16/PEFT  05F-$PMMFDUPS "HFOU *1.*&YQPSUFS +PVSOBME 3%."&YQPSUFS /PEF&YQPSUFS %$(.&YQPSUFS -VTUSF&YQPSUFS 1SPDFTT&YQPSUFS 4DSBQF 1SPNFUIFVT 3FDFJWFS πʔϧ਺Λগͳ͘͢ΔͨΊʹ 05F-$PMMFDUPSओମͰऩू +PVSOBME 3FDFJWFS WBSMPHTMVSN 'JMF-PH 3FDFJWFS ʢࣗ࡞ʣ ˞HJUIVCDPNZVVLJSENB@FYQPSUFS ˞ PQFOUFMFNFUSZ FCQGQSP fi MFS (BUFXBZ 05-1 ˞HJUIVCDPN(4*)1$MVTUSF@FYQPSUFS ˞ 100

Slide 101

Slide 101 text

ログとプロファイルに関する所感 まだ有効利 用 できていない w ཁ্݅ɺଟ͘ͷ৘ใؚ͕·ΕΔΞϓϦϩάΛऔಘෆՄ w ϓϥοτϑΥʔϜଆͰ؅ཧ͢Δϛυϧ΢ΣΞ͕গͳ͍ w εέδϡʔϥʔʢ4MVSNʣ΍ڞ༗ετϨʔδʢ-VTUSF'4PO%%/ʣͷΈ ϩά w (16΍3%."௨৴ΛؚΉϓϩϑΝΠϧΛऔಘͰ͖ͳ͍ w ෼ࢄτϨʔε͕ͳ͍ ϓϩϑΝΠϧ 101

Slide 102

Slide 102 text

Ϣʔβʔ オブザーバビリティ・ギャップ ΪϟοϓᶄɹΞϓϦ͔Πϯϑϥͷ໰୊੾Γ෼͚ ౤ࢿޮՌ؍఺ ϓϩόΠμʔ ੑೳ؍఺ ো֐ɾނো؍఺ ΪϟοϓᶃɹֶशॲཧੑೳͷϘτϧωοΫಛఆ ΪϟοϓᶅɹϚΠΫϩόʔετϞχλϦϯά 102

Slide 103

Slide 103 text

Ϣʔβʔ ΪϟοϓᶄɹΞϓϦ͔Πϯϑϥͷ໰୊੾Γ෼͚ ౤ࢿޮՌ؍఺ ϓϩόΠμʔ ੑೳ؍఺ ো֐ɾނো؍఺ ΪϟοϓᶃɹֶशॲཧੑೳͷϘτϧωοΫಛఆ ΪϟοϓᶅɹϚΠΫϩόʔετϞχλϦϯά 103 オブザーバビリティ・ギャップ

Slide 104

Slide 104 text

やりたいこと ϫʔΫϩʔυ෼ੳͷͨΊͷࡉཻ౓ܭଌ ϫʔΫϩʔυ ෼ੳ Ϧιʔε ෼ੳ 

Slide 105

Slide 105 text

深層学習の処理過程をトレースしたい ֶशδϣϒ ΤϙοΫ̍ ΠςϨʔγϣϯ̍ (16 (16 ΤϙοΫ̍ ΠςϨʔγϣϯ̍ ࣌ؒ ΠςϨʔγϣϯ ΤϙοΫ ΠςϨʔγϣϯ ΤϙοΫ ܭࢉͱ௨৴ͷΦʔόʔϥοϓ ֤εύϯͷܦա࣌ؒ΍ϦιʔεফඅྔΛܭଌ ूஂ௨৴ ॱ఻೻ ٯ఻೻ ॏΈ ߋ৽ ूஂ௨৴ ॱ఻೻ ٯ఻೻ ॏΈ ߋ৽ 105

Slide 106

Slide 106 text

集団通信の処理過程をトレースしたい (16  (16  (16  (16  (16  (16  (16 / (16 / (16 / ࣌ؒ (16  (16  (16 / εΠον αʔό̍ αʔό αʔό/ 3JOHΞϧΰϦ ζϜͷҰྫ શ(16͕ಉ࣌ʹྡʹσʔλ Λૹ৴͠ଓ͚Ϧϯά্Λपճ αʔό/ -FBG /*$  /*$  /*$  /*$  -FBG 106

Slide 107

Slide 107 text

GPUプロファイリング 107 MLPerf Training GPT-3のベンチマーク中に取得 Pytorch Pro fi lerの結果をPerfettoで可視化 NT ΠϯλʔίωΫτ௨৴ NT NT NT Ұൠతʹ͸ɺਂ૚'8಺ଂ΍/7*%*"͕ఏڙ͢ΔϓϩϑΝΠϥΛ࢖͏ $615* /TJHIU4ZTUFNT 1Z5PSI1SP fi MFS ,JOFUP

Slide 108

Slide 108 text

ギャップ①   現 行 GPUプロファイラの課題 ˞&:PVTFG[BEFI"TM.JBOEPBC FUBM l1SP fi MJOHBOE.POJUPSJOH%FFQ-FBSOJOH5SBJOJOH5BTLTz  &VSP.-4ZT  Ϣʔβʔ؅ཧ ॏ͍Φʔόʔϔου Ϣʔβʔ͕༗ޮԽ͢Δඞཁ͕͋ΔͨΊɺ ϓϥοτϑΥʔϚʔཁ݅Λຬͨ͞ͳ͍ 1Z5PSDI1SP fi MFS͕ഒ஗ԆΛ૿Ճ ͤ͞Δใࠂ͋Γ˞ ΞϓϦέʔγϣϯʹରͯ͠ඇ৵ೖͳܗࣜͰ ௿Φʔόʔϔουͷ;FSP$PEFܭ૷Λ͍ͨ͠ 108

Slide 109

Slide 109 text

ギャップ①   Zero Code計装 eBPFによるZero Code計装による分散トレーシング技術は確 立 しつつあるが… ˞IUUQTHJUIVCDPNHSBGBOBCFZMB ˞IUUQTEFFQ fl PXJP • GPUの内部処理はOSカーネル内からはみえない • GPU間通信はOSカーネルのNWスタックを経由しない ˞˞˞ ˞IUUQTPQFOUFMFNFUSZJPEPDT[FSPDPEFPCJ (16ݻ༗ͷ޻෉͕ඞཁ #FZMB %FFQ'MPX 0#*ͳͲ ✘ 109

Slide 110

Slide 110 text

ギャップ①   GPUゼロコード計装の最先端 $6%""1*૚ (16υϥΠό૚ ˞zF#1'5VUPSJBM5SBDJOH$6%"(160QFSBUJPOTz IUUQTFVOPNJBEFWUVUPSJBMTDVEBFWFOUT ˞lF#1'5VUPSJBMCZ&YBNQMF.POJUPSJOH(16%SJWFS"DUJWJUZXJUI,FSOFM5SBDFQPJOUTz IUUQTFVOPNJBEFWUVUPSJBMTYQVHQVLFSOFMESJWFS ˞l8SJUFBOE3VOF#1'PO(16XJUICQGUJNFz IUUQTFVOPNJBEFWFOCQGUJNFEPDVNFOUTHQV VQSPCFT MJCDVEBSUTP (16΁ͷϝϞϦׂ౰ɾసૹɾಉظɺΧʔωϧىಈؔ਺ʹϑοΫ USBDFQPJOUT LQSPCFT ϥϯΩϡʔͷਂ͞΍9*%ΤϥʔΛܭଌՄೳ ˞ ˞ ˞ CQGUJNF ඇಉظ΍(16಺෦ͷৄࡉܭଌ͸ࠔ೉ Ϣʔβʔͷ1ZUIPOϓϩηεͱͷඥ͚ͮՄೳ 04ΧʔωϧͷൣᙝͳͷͰɺҰൠతͳLQSPCFTͳͲͰܭଌՄೳ ඇಉظͰ΋(16಺ج४Ͱͷ࣌ࠁ͕Θ͔Δ (16಺ͷϫʔϓ΍εϨου୯Ґཻ౓Ͱͷܭଌ 159ʢ(16தؒදݱʣίʔυ΁F#1'ίʔυΛ஫ೖ Ϣʔβʔۭؒ F#1'ϥϯλΠϜ <)%$4 F(16> <04%* CQGUJNF> (16಺෦૚ 110

Slide 111

Slide 111 text

ギャップ①:GPUゼロコード計装の課題 $6%""1*૚ (16υϥΠό૚ (16಺෦૚ ਂ૚ֶश'8૚ʢ1ZUIPOʣ ෼ࢄτϨʔγϯά΁ͷؼணʹ͸ ֤૚ͷΠϕϯτΛ૬ؔͤ͞Δඞཁ͋Γ (16ϝϞϦؒ௨৴΋ݪཧతʹ͸ܭଌͰ͖Δ ͸ͣʜ  ίϯςΩετͷ఻ൖΛͲ͏΍Δ͔ʁʁ ݱঢ়͸·ͩͦͷΑ͏ͳ πʔϧ͸ͳ͍ ݚڀ։ൃͷྖҬ 111

Slide 112

Slide 112 text

Ϣʔβʔ オブザーバビリティ・ギャップ ΪϟοϓᶄɹΞϓϦ͔Πϯϑϥͷ໰୊੾Γ෼͚ ౤ࢿޮՌ؍఺ ϓϩόΠμʔ ੑೳ؍఺ ো֐ɾނো؍఺ ΪϟοϓᶃɹֶशॲཧੑೳͷϘτϧωοΫಛఆ ΪϟοϓᶅɹϚΠΫϩόʔετϞχλϦϯά 112

Slide 113

Slide 113 text

ギャップ②:アプリかインフラの問題切り分け [Liu+,SIGCOMM24] ωοτϫʔΫͷ໰୊͔ʁ੾Γ෼͚͕೉͍͠ ‣ ΞϓϦϩάʹ͸ू߹௨৴ϥΠϒϥϦʢ/$$-ʣ͕zFSSPSDPEFz͕Έ͑Δ͕ʜ ‣ ݪҼ͸ɺϗετଆͷ໰୊ʢ(16μ΢ϯɾϋϯάɾϝϞϦෆ଍ɾ/$$-ޡઃఆʣͰ ͋Δ͜ͱ΋ 113

Slide 114

Slide 114 text

ギャップ②   R-Pingmesh RNIC to RNICのアクティブプルービングによるRoCEネットワーク監視 114 ③ 継続的なプルービン グによるRTT・パケッ トロスの常時計測 ②RoCEパケットに よるプルービング ① サービストラフィッ クとは独 立 したRNIC 単位のプルービング

Slide 115

Slide 115 text

R-Pingmeshのシステム全体像 115 <-JV 4*($0..>'JHVSF31JOHNFTI'SBNFXPSLΛجʹվมͯ͠ܝࡌ 1. Agentが登録処理 2. ControllerからPinglistが届く 3. PinglistからProberがプルー ブを送信 4. RTTなどを記録しAnalyzerへ 1. eBPFでサービスジョブの通 信の5-tupleを監視 2. 専 用 のPinglistへ追加

Slide 116

Slide 116 text

yuuki/rpingmeshの技術スタック 116 • 言 語:Go • RoCE通信:libibverbs • eBPF Kprobe, cillium/ebpf • 要素間通信:gRPC • Registry: Rqlite • 計装:OpenTelemetry

Slide 117

Slide 117 text

成果物 117 IUUQTHJUIVCDPNZVVLJSQJOHNFTI IUUQTHJUIVCDPNZVVLJHPJCWVEQJOHQPOH ෭੒Ռ෺ 3P$&ͷ6%QJOHQPOHπʔϧ

Slide 118

Slide 118 text

Grafanaダッシュボードの例 マトリクス表 示 118 &4/&5.BUSJY1BOFM1MVHJO ࣮૷্ͷ໰୊Ͱ·ͩ؂ࢹ Ͱ͖͍ͯͳ͍3/*$ͷ૊ Έ߹Θͤ͋Γ %TU 3/*$T 4SD3/*$T

Slide 119

Slide 119 text

5章 まとめ ݱঢ় ੍໿ Ϊϟοϓ 05FM (SBGBOBͰϝτϦΫεɾϩάɾϓϩϑΝΠϧج൫Λߏஙͨ͠ɻ Ϧιʔε෼ੳ͸͏·͍͍ͬͯ͘Δ͕ɺϫʔΫϩʔυ෼ੳ͕ະୡɻ ΞϓϦέʔγϣϯϩάίʔυͷܭ૷ɾऩूෆՄ ᶃֶशॲཧաఔͷ෼ࢄτϨʔε ᶄΞϓϦ͔Πϯϑϥ͔ͷ੾Γ෼͚ ᶅϚΠΫϩόʔετ؂ࢹ (16θϩίʔυܭ૷ʢF#1'Ͱ$6%"υϥΠό಺෦૚ͷΠϕϯτ૬ؔʣ ϝογϡঢ়ͷ3%."1JOHγεςϜͷ࣮૷ 119

Slide 120

Slide 120 text

6. AIスパコンの障害管理に関する 研究動向 

Slide 121

Slide 121 text

σʔλۦಈΞϓϩʔν ߏ଄తΞϓϩʔν ܭࢉϊʔυҎ֎΁ͷண໨ .JOEFS - F"$(. --.1SJTN "FHJT 9165JNFS 4LFMFUPO)VOUFS 1"$& طଘͷςϨϝτϦʔσʔλʹର ͠ʮڭࢣͳֶ͠शʯΛద༻͠ɺ ෳࡶͳҟৗΛࣗಈݕ஌͢Δɻ ෼ࢄֶशಛ༗ͷ௨৴ύλʔϯʢಉ ظɺू߹௨৴ʣͱ͍͏ʮυϝΠϯ஌ ࣝʯΛ׆༻͠ɺϒϥοΫϘοΫε ͱͳΔڍಈΛղ໌͢Δɻ ܭࢉϊʔυҎ֎ͷΠϯϑϥʢίϯςφωοτϫʔΫɺϑΝγϦςΟʣͷෳࡶ ੑ΁য఺Λ౰ͯΔɻ ෼ੳख๏ ػցֶश׆༻ υϝΠϯ஌ࣝ׆༻ ϗετɾ ΞϓϦ ಺෦ ωοτ ϫʔΫɾ Πϯϑϥ ؍ଌ఺ 主要な研究トレンド

Slide 122

Slide 122 text

切り 口 ① 観測点 ーどこからシステムを観測するか "ωοτϫʔΫத৺ #࣮ߦτϨʔεɾ಺෦ঢ়ଶத৺ $ϊʔυத৺ %ͦͷଞʢϑΝγϦςΟɾ༧ଌʣ εΠον΍௨৴ϑϩʔʹண໨ɻ ιϑτ΢ΣΞελοΫ಺෦ͷڍಈ Λਂ͘௥੻ɻ --.1SJTN εΠονͷϛϥʔϦϯάσʔλ͔Β ϑϩʔΛ෼ੳ 4LFMFUPO)VOUFS ίϯςφؒͷ ௨৴ύλʔϯΛਪ࿦͠ɺ1JOHͰো֐ಛఆ 9165*.&3 Χʔωϧ಺ͷϨδελ஋ΛτϨʔε  F"$(. F#1'ͰϑϧελοΫ৘ใΛऔಘ  "FHJT ௨৴ϥΠϒϥϦͷ಺෦Χ΢ϯλʔΛར༻ 04΍(16͔Βग़ྗ͞Εͨ౷ܭ ৘ใ΍ϩάΛ෼ੳɻ .JOEFSʢ$16(16ར༻཰ͳͲͷ࣌ܥྻσʔ λΛ؂ࢹʣ-ʢ๲େͳςΩετϩάΛղੳʣ *5ػث֎෦΍ɺ࣮ଌҎ֎ͷσʔ λΛར༻ɻ 1"$&ʢྫྷ٫૷ஔ΍ిྗઃඋͳͲͷ ϑΝγϦςΟςϨϝτϦʔΛ෼ੳʣ ;IBOHFUBMʢϚΠΫϩϕϯνϚʔ Ϋʹجͮ͘ੑೳ༧ଌʣ

Slide 123

Slide 123 text

切り 口 ② 障害診断のアルゴリズム "ڭࢣͳֶ͠शɾ౷ܭϞσϧ #ϧʔϧϕʔεɾ࿦ཧਪ࿦ $ճؼ෼ੳɾ༧ଌ ਖ਼ৗύλʔϯͷֶश΍౷ܭతภࠩΛར༻ɻ .JOEFSʢ-45.7"&ͰϚγϯؒͷڍಈͷ ඇྨࣅ౓ΛଌఆʣɼF"$(.ʢࠞ߹Ψ΢ε ϞσϧͰੑೳ෼෍͔Βͷٯ୤Λݕ஌ʣɼ 1"$&ʢάϨϯδϟʔҼՌੑݕఆͰҼՌά ϥϑΛߏஙʣɼ-ʢ*TPMBUJPO'PSFTUͰϩά ύλʔϯͷҟৗΛݕग़ʣ υϝΠϯ஌ࣝʹجͮ͘ϩδοΫͰঢ়ଶΛ ಛఆɻ "FHJT ௨৴Χ΢ϯτͷෆ੔߹ΛϧʔϧͰൺ ֱʣ9165*.&3 ௨৴Χʔωϧͷϧʔϓεςο ϓ਺Λൺֱ --.1SJTN ௨৴ྔͱִ͔ؒΒฒ ྻԽઓུΛਪ࿦ 4LFMFUPO)VOUFSʢ௨৴όʔ ετͷपظੑ͔ΒεέϧτϯΛਪ࿦ʣ ਺ཧϞσϧʹΑΔੑೳ༧ଌɻ ;IBOHFUBMʢϥϯμϜϑΥϨετ౳Ͱԋࢉࢠͷ ࣮ߦ࣌ؒΛ༧ଌʣ

Slide 124

Slide 124 text

切り 口 ③ 侵 入 性 ー システム介 入 の要求度合い ඇ৵ೖܕɾ ϒϥοΫϘοΫε θϩܭ૷ ϥΠϒϥϦஔ׵ɾ ΤʔδΣϯτܕ Ϣʔβʔίʔυ΍؀ڥ΁ͷม ߋ͕Ұ੾ෆཁɻ֎෦͔Β؍ଌ ՄೳͳσʔλͷΈΛ࢖༻ɻ --.1SJTN εΠονϛϥʔϦϯ άʣ.JOEFSʢطଘϝτϦΫ εʣɺ-ʢطଘϩάʣɺ1"$& ʢϑΝγϦςΟσʔλʣ ίʔυमਖ਼͸ෆཁ͕ͩɺ ࣮ߦϓϩηε΁ͷհೖ ʢΞλονʣΛߦ͏ɻ F"$(. F#1'ϑοΫʣ 9165*.&3 τϨʔγϯάσʔ ϞϯΛΞλον γεςϜίϯϙʔωϯτͷ Ұ෦Λஔ͖׵͑Δ͔ɺαΠ υΧʔΛ഑ஔ͢Δɻ "FHJT ΧελϜ௨৴ϥΠϒ ϥϦʹஔ׵ʣ 4LFMFUPO)VOEFS αΠυ Χʔίϯςφͱͯ͠ΤʔδΣ ϯτΛ഑ஔʣ

Slide 125

Slide 125 text

7. まとめ 

Slide 126

Slide 126 text

まとめ ᶃਂ૚ֶशͱܭࢉػΞʔΩςΫνϟ ᶄ͘͞Β0/&ͷߏங ᶅδϣϒ෼ੳͱϕϯνϚʔΩϯά ᶆՄ؍ଌੑͷ޲্ͱ՝୊ (16͕උ͑Δଟ਺ͷίΞͱ)#.͕׆͖Δ େن໛Ϟσϧʹ͸෼ࢄֶशٕज़ʢ%1 11 51ʣ͕ඞਢ ߴ଎ΠϯλʔίωΫτ ʢ/7-JOL 3%."ʣ 501ੈքҐɹҐҎ಺Ͱ͸Φʔϓϯٕज़ʢ40/*$04ʣΛ།Ұ࠾༻ ) ) #ΛͦΕͧΕ࠾༻ͨͭ͠ͷΫϥελ Ϧιʔε෼ੳ͸ཱ֬΋ɺϫʔΫϩʔυ෼ੳʹ͸ʮΪϟοϓʯ Ϧιʔεফඅ͸େن໛δϣϒ͕த৺͕ͩɺ։ൃ͕ਐΉͱখن໛Խ F#1'ʹΑΔθϩίʔυܭ૷΍3%."ϝογϡ؂ࢹͷݚڀ։ൃ͕ਐߦத ԋࢉޮ཰ʢ.'6ʣ͸

Slide 127

Slide 127 text

さくらインターネット 関連資料① IUUQTXXXKBOPHHSKQNFFUJOHKBOPHDBCMFEFTJHO 127 IUUQTXXXKBOPHHSKQNFFUJOHKBOPHTBLVSB

Slide 128

Slide 128 text

さくらインターネット 関連資料② IUUQTTQFBLFSEFDLDPNNBSLVOFUBJJOIVSBXPLBPFSV IUUQTTQFBLFSEFDLDPNTPOJDTPOJDEFHPV[IVZVOZPOH TVSVTIFOHDIFOHBJYJBOHLFQBCVSJUVLVLVSBVEPOFUVUPXBLV

Slide 129

Slide 129 text

さくらインターネット 関連資料③ IUUQTLOPXMFEHFTBLVSBBEKQ IUUQTLOPXMFEHFTBLVSBBEKQ

Slide 130

Slide 130 text

(宣伝)さくらインターネットの 高 火 力 サービス IUUQTHQVTBLVSBBEKQHQVDMPVETFSWJDF 130