Slide 1
Slide 1 text
坪内 佑樹（@yuuk1t）
さくらインターネット研究所
AIスーパーコンピュータにおける
LLM学習処理性能の計測と可観測性
2025年度 情報処理学会中国
支
部主催講演会
Slide 2
Slide 2 text
坪内 佑樹
2013 2019 2020 2025
ݱࡏ
Monitoring
SaaS
SRE
さくら
インターネット
研究所
はてな
京都
大
学
大
学院
情報学研究科
博
士
後期課程
博
士
（情報学）
取得
AIOps
AI
Supercomputer
eBPF
大
阪
大
学
大
学院
情報科学
研究科
(中途退学)
Slide 3
Slide 3 text
専
門
性
ΞϓϦέʔγϣϯ
43&ʢ4JUF3FMJBCJMJUZ&OHJOFFSJOHʣ
ܭࢉػɾωοτϫʔΫ
ج൫
തֶ࢜Ґจ
Slide 4
Slide 4 text
本発表の趣旨
w "*ֶशϫʔΫϩʔυʢΞϓϦέʔγϣϯʣΛىʹܭࢉػͱωοτϫʔΫ
ΞʔΩςΫνϟߏ͕࠷దԽ͞ΕΔΑ͏ʹͳ͖ͬͯͨɻ
w ٕज़ऀ͕ॎஅతʹ֤ͷཁૉٕज़Λཧղͯ͠ɺ࠷దͳઃܭΛಋ͘ඞཁੑ͕
͋Δɻ
w ݚڀऀͷ؍Ͱɺ࠷దͳΠϯϑϥઃܭɺॲཧੑೳ্ɺޮతͳো
ཧʹ͚ͯɺςϨϝτϦʔٕज़Λ࣠ʹߩݙ͢Δɻ
w ؒͷऔΓΈΛհ͢Δɻ
Slide 5
Slide 5 text
アジェンダ
ਂֶशͱܭࢉػΞʔΩςΫνϟ
͘͞Β0/&
ֶशδϣϒͷཤྺσʔλͷੳ
--.ࢄֶशͷϕϯνϚʔΩϯά
ΦϒβʔόϏϦςΟʢՄ؍ଌੑʣ
"*εύίϯͷোཧʹؔ͢Δݚڀಈ
·ͱΊ
Slide 6
Slide 6 text
ਂֶशͱܭࢉػΞʔΩςΫνϟ
͘͞Β0/&
ֶशδϣϒͷཤྺσʔλͷੳ
--.ࢄֶशͷϕϯνϚʔΩϯά
ΦϒβʔόϏϦςΟʢՄ؍ଌੑʣ
"*εύίϯͷোཧʹؔ͢Δݚڀಈ
·ͱΊ
アジェンダ
"*εύίϯͷཁૉٕज़ͷ
֓ཁΛհ͢Δɻ
w ਂֶशͷܭࢉෛՙ
w ਂֶशͱ(16
w ෳ(16ʹΑΔࢄਂֶश
w Ϋϥελߏ
w ωοτϫʔΫ
w ετϨʔδ
Slide 7
Slide 7 text
ਂֶशͱܭࢉػΞʔΩςΫνϟ
͘͞Β0/&
ֶशδϣϒͷཤྺσʔλͷੳ
--.ࢄֶशͷϕϯνϚʔΩϯά
ΦϒβʔόϏϦςΟʢՄ؍ଌੑʣ
"*εύίϯͷোཧʹؔ͢Δݚڀಈ
·ͱΊ
アジェンダ
͘͞ΒΠϯλʔωοτͷ
Ϛωʔδυ)1$αʔϏε
w 501ͷ݁Ռ
w γεςϜߏ
Slide 8
Slide 8 text
ਂֶशͱܭࢉػΞʔΩςΫνϟ
͘͞Β0/&
ֶशδϣϒͷཤྺσʔλͷੳ
--.ࢄֶशͷϕϯνϚʔΩϯά
ΦϒβʔόϏϦςΟʢՄ؍ଌੑʣ
"*εύίϯͷোཧʹؔ͢Δݚڀಈ
·ͱΊ
アジェンダ
͘͞Β0/&Ͱ࣮ߦ͞Εͨ
δϣϒͷੳ
Slide 9
Slide 9 text
ਂֶशͱܭࢉػΞʔΩςΫνϟ
͘͞Β0/&
ֶशδϣϒͷཤྺσʔλͷੳ
--.ࢄֶशͷϕϯνϚʔΩϯά
ΦϒβʔόϏϦςΟʢՄ؍ଌੑʣ
"*εύίϯͷোཧʹؔ͢Δݚڀಈ
·ͱΊ
アジェンダ
͘͞Β0/&ʹ͓͚Δ
(15ͷϕϯνϚʔΫ
w /7*%*"&04ͱͷൺֱ
w ɺϊʔυͱͷൺֱ
w ֶशͷඪੑೳࢦඪ
Slide 10
Slide 10 text
ਂֶशͱܭࢉػΞʔΩςΫνϟ
͘͞Β0/&
ֶशδϣϒͷཤྺσʔλͷੳ
--.ࢄֶशͷϕϯνϚʔΩϯά
ΦϒβʔόϏϦςΟʢՄ؍ଌੑʣ
"*εύίϯͷোཧʹؔ͢Δݚڀಈ
·ͱΊ
アジェンダ
͘͞Β0/&ʹ͓͚Δ
Մ؍ଌੑ্ͷऔΓΈ
w μογϡϘʔυ։ൃ
w ςϨϝτϦʔγεςϜߏ
w F#1'ʹΑΔθϩܭ
Slide 11
Slide 11 text
ਂֶशͱܭࢉػΞʔΩςΫνϟ
͘͞Β0/&
ֶशδϣϒͷཤྺσʔλͷੳ
--.ࢄֶशͷϕϯνϚʔΩϯά
ΦϒβʔόϏϦςΟʢՄ؍ଌੑʣ
"*εύίϯͷোཧʹؔ͢Δݚڀಈ
·ͱΊ
アジェンダ
"*εύίϯ͚ͷ
োݪҼੑೳ༧ଌͷݚڀಈ
w ػցֶशϕʔεΞϓϩʔν
w ϧʔϧϕʔεͷߏతΞϓ
ϩʔν
w ϑΝγϦςΟɾ༧ଌ
Slide 12
Slide 12 text
1. 深層学習と計算機アーキテクチャ
Slide 13
Slide 13 text
深層学習のワークロード
Slide 14
Slide 14 text
深層学習モデルの「学習」と「推論」
ֶश
ਪ
ΞϓϦέʔγϣϯ "1*
σʔληοτ ֶशδϣϒ
ϞσϧͷதʢॏΈͳͲʣΛ࡞Δఔ
ϞσϧΛͬͯ͑Λฦ͢ఔ
(16
(16
(16
(16
(16
(16
ϞσϧαʔϏϯά
νϟοτΤʔδΣϯτͳͲ
ֶशࡁΈϞσϧ
ॏΈύϥϝʔλͳͲ
σϓϩΠ
ຊߨԋͷର
14
Slide 15
Slide 15 text
深層学習の処理の流れ
反復構造をもつ
ॱൖ
ޡࠩ
ٯൖ
ॏΈߋ৽
ޡࠩࢉग़ ޯ
ֶशσʔλ
ॱൖ ʜ
ֶशσʔλ
ΦϓςΟϚΠβ
ޡࠩΛখ͘͢͞Δ
ύϥϝʔλࢉग़
ΠςϨʔγϣϯ̍ ΠςϨʔγϣϯ̎
ΠςϨʔγϣϯສ͔Βඦສʹ
ٴͿͨΊɺ࣮ߦΛߴԽ͍ͨ͠
15
(16Λ͏
Slide 16
Slide 16 text
Transformerにおける
行
列積和演算
-BZFS/PSN
-BZFS/PSN
%SPQPVU
-JOFBS
-JOFBS
-JOFBS
4FMG
"UUFOUJPO
9
:
%SPQPVU
(F-6
ॱൖ
ٯൖ
"UUFOUJPO .-1
5SBOTGPSNFS-BZFS Yl
ଛࣦ
ೖྗຒΊࠐΈʢτʔΫϯͳͲʣ
O(Bsh2)
O(Bs2h + Bsh2) O(Bsh2)
ɿγʔέϯε
s
ɿӅΕͷ࣍ݩ
h
ɿόοναΠζ
B
<>/BSBZBOBO
%FFQBL
FUBM&
ff i
DJFOUMBSHFTDBMFMBOHVBHFNPEFMUSBJOJOHPOHQVDMVTUFST
VTJOHNFHBUSPO-. 4$
ܭࢉྔ<>Λ
جʹΦʔμʔ
දهʹม
O(Bsh2)
ɿॏΈύϥϝʔλͷ
ࢧ߲
lh2
Slide 17
Slide 17 text
LLMの重みパラメータ数と層数
Ϟσϧ ॳग़ ॏΈύϥϝʔλ
(15 #
-MBNB #
-MBNB #
%FFQ4FFL7 #
2XFO #
2XFO #
2XFO$PEFS #
--.KQ #
l
Slide 18
Slide 18 text
深層学習とGPU
Slide 19
Slide 19 text
AIモデル開発とGPU “I love the smell of GPUs melting”
˞IUUQTYDPNTBNBTUBUVT
ΑΓҾ༻ʢଠࣈ෦վมʣ
CZ4BN"MUNBO ˞
'SBOL)FMNT
l)PX"*8PSLMPBET4IBQF)BSEXBSF"SDIJUFDUVSFz
l5IF)PU$IJQJTB3BDLz
"*-JUFSBMMZ%FNBOETXF5IJOL0VUTJEFUIF#PY
)PU$IJQTΑΓసࡌ
(16Ϋϥελن
Ͱ͔ΒL
(16·Ͱ૿େ
19
Slide 20
Slide 20 text
Transformerの計算とGPUの適合性
5SBOTGPSNFSͷܭࢉಛੑ
•
大
規模な
行
列積和演算
• 並列性が
高
い
（トークンの計算の独
立
性）
• メモリアクセスが頻繁
• 超並列処理
• 数千コアによる同時演算実
行
• 専
用
Tensor Core
•
高
いメモリ帯域幅（HBM）
(16ΞʔΩςΫνϟ
Slide 21
Slide 21 text
TransformerがGPU上で計算されるイメージ
(16
5SBOTGPSNFS
/BOP#BOBOB1SP
Slide 22
Slide 22 text
/BOP#BOBOB1SP
Slide 23
Slide 23 text
分散深層学習
Slide 24
Slide 24 text
分散深層学習 - データ並列（DP）
モデルをGPUごとに複製し、データを分割して並列処理
ॱൖ ٯൖ
ύϥϝʔλ
ߋ৽
ॱൖ ٯൖ
ύϥϝʔλ
ߋ৽
ॱൖ ٯൖ
ύϥϝʔλ
ߋ৽
ʢ૯ʣ
(16
(16
(16
֤(16͔ΒಘΒΕͨޯΛूԋࢉ͠ɺ
֤(16্ͷϝϞϦ݁ՌΛڞ༗
ूஂ௨৴
24
Slide 25
Slide 25 text
集団通信
AllReduce
ෳͷ3BOLʢ(16ͳͲʣ͕ࢀՃͯ͠ɺ͋ΔنଇʹैͬͯσʔλΛަɾू
͢Δ௨৴ύλʔϯͷ૯শ
<>/7*%*"$PSQPSBUJPO
l'BTU.VMUJ(16DPMMFDUJWFTXJUI/$$-z
IUUQTEPDTOWJEJBDPN
EFFQMFBSOJOHODDMVTFSHVJEFEPDTVTBHFDPMMFDUJWFTIUNM
<>ΑΓసࡌ
"MM3FEVDFɺ֤(16্Ͱ૯Λܭࢉ͢Δɻશһ͕ಉ͡ू݁ՌΛಘΔɻ
యܕతʹɺσʔλ
ฒྻͷޯฏۉʹ
༻͞ΕΔɻ
Slide 26
Slide 26 text
集団通信
AllGather
<>/7*%*"$PSQPSBUJPO
l'BTU.VMUJ(16DPMMFDUJWFTXJUI/$$-z
IUUQTEPDTOWJEJBDPN
EFFQMFBSOJOHODDMVTFSHVJEFEPDTVTBHFDPMMFDUJWFTIUNM
<>ΑΓసࡌ
֤(16͕࣋ͭҟͳΔσʔλΛɺશ(16͕ूͯ͠શһ͕ಉ͡ʮશͳ
σʔλʯΛ࣋ͭঢ়ଶ
ޙड़͢ΔϞσϧฒྻ;F30ʹ͓͍ͯɺࢄஔ͞ΕͨύϥϝʔλΛܭࢉલʹ
ू͢Δࡍʹ༻
εΩοϓ
Slide 27
Slide 27 text
集団通信
ReduceScatter
<>/7*%*"$PSQPSBUJPO
l'BTU.VMUJ(16DPMMFDUJWFTXJUI/$$-z
IUUQTEPDTOWJEJBDPN
EFFQMFBSOJOHODDMVTFSHVJEFEPDTVTBHFDPMMFDUJWFTIUNM
<>ΑΓసࡌ
֤(16ͷσʔλΛ߹ܭ 3FEVDF
ͭͭ͠ɺ݁ՌΛׂ֤ͯ͠(16ʹ͢Δɻ
εΩοϓ
Slide 28
Slide 28 text
モデルのパラメータ数増
大
メモリの壁（Memory Wall）
(IPMBNJ
"NJS
FUBM
"JBOE.FNPSZ8BMMz
*&&&.JDSP
'JH B
ΑΓసࡌ
Ϟσϧύϥϝʔλ͕
Ͱഒ
"*ΞΫηϥϨʔλʢ(16
516ʣͷϝϞϦྔͰഒ
28
Slide 29
Slide 29 text
GPUメモリ上の代表的なデータ
ύϥϝʔλʢXFJHIUTʣ
ΦϓςΟϚΠβঢ়ଶ
(1673".ۭؒ
Ϟσϧঢ়ଶʢֶशεςοϓΛԣஅʣ
Ұ࣌σʔλʢΠςϨʔγϣϯͷΈʣ
ϛχόον
தؒ׆ੑԽʢBDUJWBUJPOTʣ
ॏΈߦྻͳͲ
'1ϚελॏΈɺޯͷ
ཤྺɾ౷ܭྔͳͲ
ಛྔɾϥϕϧͳͲ
ॱൖͷ͝ͱͷܭࢉ݁Ռ
ޯʢHSBEJFOUTʣ ٯൖͰܭࢉ͞ΕΔ݁Ռ
େنϞσϧ
̍(16ϝϞϦ
ʹΓΒͳ͍
29
Slide 30
Slide 30 text
分散深層学習 - モデル並列
モデルを分割する
ςϯιϧฒྻʢ51ʣ
ॱ ߋ৽
(
1
6
ٯ
ύΠϓϥΠϯฒྻʢ11ʣ
ॱ
ॱ ॱ ٯ
ٯ ٯ
ߋ৽
(
1
6
ϞσϧͷΛ࿈ଓͨ͠εςʔδʹׂ
ݸʑͷͷςϯιϧʢߦྻʣΛׂ
ߋ৽
ߋ৽
ॱ
ॱ
ٯ
ٯ
ूஂ௨৴ ूஂ௨৴
(16
(16
30
௨৴ͷස͍ ௨৴ͷසߴ͍
11
Slide 31
Slide 31 text
パイプライン並列 ー Naive Model Parallel
<>/BSBZBOBO
%FFQBL
FUBM1JQF%SFBN(FOFSBMJ[FEQJQFMJOFQBSBMMFMJTNGPS%//USBJOJOH
04%*
<>'JHVSFΑΓసࡌ
ಉ࣌ʹύΠϓϥΠϯʹଘࡏͰ͖Δೖྗ͕ݸ͚ͩͳͷͰɺ΄ͱΜͲͷεςʔ
δ͕ͨ͞Εɺ(16ར༻͕ඇৗʹ͍ɻ
ύΠϓϥΠϯ
εςʔδɿ
5SBOTGPSNFSͷ
͕ͳΒ
MBZFSTTUBHF
ٯൖ͕Ϛεଓ͘ͷߦྻੵԋࢉͷίετΛදݱ͍ͯ͠Δ
Slide 32
Slide 32 text
パイプライン並列 ー GPipe
<>/BSBZBOBO
%FFQBL
FUBM1JQF%SFBN(FOFSBMJ[FEQJQFMJOFQBSBMMFMJTNGPS%//USBJOJOH
04%*
ೖྗσʔλʢϛχόονʣΛ͞ΒʹϚΠΫϩόονʹׂͯ͠ྲྀ͢
<>ΑΓ'JHVSFΑΓసࡌ
ݸશͯͷόονͷॱൖΛྲྀ͖͠Γɺ ݸͷٯൖΛྲྀ͠Δ
m( = 4) m
Slide 33
Slide 33 text
パイプライン並列 ー 1F1B
<>/BSBZBOBO
%FFQBL
FUBM1JQF%SFBN(FOFSBMJ[FEQJQFMJOFQBSBMMFMJTNGPS%//USBJOJOH
04%*
ʮॱൖϚΠΫϩόονʯͱʮٯൖϚΠΫϩόονʯΛަޓʹ࣮ߦ͢Δ
<>ΑΓ'JHVSFΑΓసࡌ
Slide 34
Slide 34 text
テンソル並列（TP）+シーケンス並列（SP）
<>,PSUIJLBOUJ
7JKBZ"OBOEFUBM3FEVDJOH"DUJWBUJPO3FDPNQVUBUJPOJO-BSHF5SBOTGPSNFS
.PEFMTBS9JW
<>'JHVSFΑΓసࡌ
ςϯιϧฒྻɺ"UUFOUJPOϒϩοΫͱ.-1ϒϩοΫͷߦྻΛ(16ؒͰׂ
"MM3FEVDF 3FEVDF4DBUUFS "MM(BUIFS
"MM(BUIFS3FEVDF4DBUUFS"MMUP"MM
Slide 35
Slide 35 text
３次元並列（ハイブリッド並列）
<>%VBO
+JBOHGFJ
FUBM&
ff i
DJFOU5SBJOJOHPG-BSHF-BOHVBHF.PEFMTPO%JTUSJCVUFE*OGSBTUSVDUVSFT
"4VSWFZBS9JW
<>'JHΛղ૾
ͱΞεϖΫτൺΛ
มߋͯ͠࡞
σʔλฒྻʢ%1ʣ ύΠϓϥΠϯฒྻʢ11ʣ ςϯιϧฒྻʢ51ʣͷ̏ͭ
Λಉ࣌ʹΈ߹Θͤͯɺ(16܈Λ࣍ݩͷ֨ࢠͱͯ͠ѻ͏ɻ
Slide 36
Slide 36 text
AIスパコンのインフラ
Slide 37
Slide 37 text
AIスパコンの基本構成
37
(16
/PEF
(16
/PEF
(16
/PEF
(16
/PEF
*OUFSDPOOFDU/FUXPSL
4UPSBHF/FUXPSL
4UPSBHF
#BDLFOE/FUXPSLͱݺΕΔ
3%."εΠονͱ/*$ʹجͮ͘
(16ؒ௨৴༻ωοτϫʔΫ
ετϨʔδ༻ωοτϫʔΫ
ΠϯλʔίωΫτωοτϫʔΫͱ
ڞ༗ʹͳΔέʔε͋Δ
ฒྻࢄετϨʔδ
ֶशσʔλνΣοΫϙΠϯτ͕
อଘ͞ΕΔ
Slide 38
Slide 38 text
ノード内通信とノード間通信
• 同
一
サーバ内の複数のGPU間の通信
•
高
速なバス通信技術（例：NVLink）
• 数百GB/s級
• 異なるサーバ間のGPU通信
• RDMAによる
高
速ネットワーク技術
• 数百Gbps級
Slide 39
Slide 39 text
ノード内通信 ー GPU間の直接通信へ
<>6OBU
%JEFN
FUBM5IF-BOETDBQFPG(16$FOUSJD$PNNVOJDBUJPO BS9JW
<>'JHΑΓసࡌ
ঃʑʹ$16ͷׂ͕ݮ͍͖ͬͯɺ(16ؒͰ݁͢ΔΑ͏ʹͳΔ
)PTU/BUJWF )PTU$POUSPMMFE %FWJDF/BUJWF )PTUGBMMCBDL
Slide 40
Slide 40 text
ノード内通信 ー GPU間の直接通信へ
/7-JOL/7*%*"(16ؒͷߴଳҬ෯ͱԆͷΞΫηεΛ༰қʹ͢Δ
ಠࣗͷΠϯλʔίωΫτٕज़Ͱ͋Δɻ
<>6OBU
%JEFN
FUBM5IF-BOETDBQFPG(16$FOUSJD$PNNVOJDBUJPO BS9JW
<>5BCMFΛվมͯ͠࡞
ํूଳҬ෯
Slide 41
Slide 41 text
ノード間通信がボトルネックへ
<>4BQJP
"NFEFP
FUBM4DBMJOHEJTUSJCVUFENBDIJOFMFBSOJOHXJUI*O/FUXPSLBHHSFHBUJPO/4%*
<>,MFOL
#FOKBNJO
FUBM"OJOOFUXPSLBSDIJUFDUVSFGPSBDDFMFSBUJOHTIBSFENFNPSZ
NVMUJQSPDFTTPSDPMMFDUJWFTz
*4$"
ਂֶशͷֶश࣌ؒʹΊΔ"MMSFEVDFͷׂ߹ਪఆɺ
<>
<>
(CQTωοτϫʔΫͰ
(CQTωοτϫʔΫͰr
41
(16ͷුಈখੑೳͰഒ৳ͼͨɻ
ҰํͰωοτϫʔΫଳҬͷഒ৳ʹΛཁͨ͠ɻ<>
Slide 42
Slide 42 text
Ethernetのリンク速度向上
(C&͕උ
͞Ε5C&Έ
͖͑ͯͨ
<>&UIFSOFU"MMJBODF
l&UIFSOFU3PBENBQz
IUUQTFUIFSOFUBMMJBODFPSHXQDPOUFOUVQMPBET
&UIFSOFU3PBENBQ4JEFE8FCQEG
<>ΑΓసࡌ
Slide 43
Slide 43 text
3%."
ʢ04ΧʔωϧόΠύεʹΑΓ$16
ͱ%3".Λܦ༝ͤͣʹసૹʣ
*O
fi
OJCBOE
/*$ʹϝϞϦసૹΦϑϩʔυ
3%."ΛωΠςΟϒ
αϙʔτͨ͠ઐ༻ωο
τϫʔΫ૬ޓଓٕज़
3P$&W
*1ϧʔςΟϯάՄೳͳ6%1ϕʔε3%."
ϩεϨε ϑϩʔ੍ޚ੍ޚʹΑΓύέοτϩεΛθϩʹ͚ۙͮΔ
<>-J
8FOYVF
FUBM
6OEFSTUBOEJOHDPNNVOJDBUJPODIBSBDUFSJTUJDTPGEJTUSJCVUFEUSBJOJOHz
"1/FU
<>'JHVSF B
ΑΓసࡌ
RDMA
43
Slide 44
Slide 44 text
NVIDIA GPUDirect
/7*%*"͕ఏڙ͢Δʮ(16Λத৺ͱͨ͠σʔλసૹͷγϣʔτΧοτٕज़ʯͷ૯শ
ঃʑʹ$16ͷׂ͕ݮ͍͖ͬͯɺ(16ͱ/*$͚ͩͰ݁͢ΔΑ͏ʹͳΔ
<>6OBU
%JEFN
FUBM5IF-BOETDBQFPG(16$FOUSJD$PNNVOJDBUJPO BS9JW
Slide 45
Slide 45 text
Rail Optimized Topology
<>,.BOEBLPMBUIVS
FUBM
%PVCMJOHBMMBMM1FSGPSNBODFXJUI/7*%*"$PMMFDUJWF$PNNVOJDBUJPO-JCSBSZ
ҟͳΔϊʔυ্ͷʮಉ͡(16*%ʯΛ࣋ͭ(16ؒͰͷ௨৴͕සൟʹൃੜɻ͜ͷಛੑ
Λ౿·͑ͯઢΛ࠷దԽ͢Δɻ
<>ΑΓసࡌ
൪ͷ(16ͱ/*$ͷ*%Λ
ಉ͡-FBGεΠονʹऩ༰
Slide 46
Slide 46 text
AIスパコンのクラスタ構成例（Meta）
,PLPMJT
"QPTUPMPT
FUBM
3FWJTJUJOH3FMJBCJMJUZJO-BSHFTDBMF.BDIJOF-FBSOJOH3FTFBSDI$MVTUFSTz
)1$"
'JHΑΓసࡌ
αʔόɾϥοΫɾ1PEؒ
ΠϯλʔίωΫτωοτϫʔΫ
d(CQT
αʔόΠϯλʔίωΫτ
(#T
46
Slide 47
Slide 47 text
AIモデル学習におけるストレージのユースケース
ϞσϧνΣοΫϙΠ
ϯςΟϯά
ֶशσʔληοτ
ͷಡΈग़͠
w ֶश్தͷঢ়ଶΛอଘ͠ɺো࣌ʹ࠶։
͢ΔͨΊͷఆظνΣοΫϙΠϯςΟϯά
w ʙेʹҰόʔετॻ͖ࠐΈ
w #ͷ--.ͰνΣοΫϙΠϯταΠζ
5#΄ͲʹͳΔ
w ߴεϧʔϓοτͰͷಡΈॻ͖
w ඦઍϊʔυنͰͷฒྻอଘɾฒྻ
ಡΈग़͠εέʔϥϏϦςΟ
w --B."ஹҎ্ͷτʔΫϯͰֶ
श͞Εɺ͓Αͦ5#ͷσʔλʹ૬
w ଟͷ(16ϊʔυ͔Βฒྻγʔέϯ
γϟϧಡΈग़͠
w લॲཧΫϦʔχϯάͰɺϥϯμϜ
ϦʔυখϑΝΠϧಡΈग़ࠞ͠ࡏ
εΩοϓ
Slide 48
Slide 48 text
+POHSZPPM,JN
l&
ff i
DJFOU--.$IFDLQPJOUJOHXJUI.FNPSZBOE4UPSBHFz
IUUQT
fi
MFTGVUVSFNFNPSZTUPSBHFDPNQSPDFFEJOHT
@$0.1@,JNQEGܝࡌਤΛͱʹվมͯ͠࡞
チェックポインティングに
至
る流れ
εΩοϓ
Slide 49
Slide 49 text
並列分散ファイルシステムの構成
-VTUSFͷߏྫ
ϝλσʔλཧͱσʔλຊମཧΛ͠ɺͦΕͧΕΛݸผʹεέʔϧΞτՄೳ
ϑΝΠϧΛετϥΠϓαΠζ୯ҐͰෳ045ׂஔ͠ɺΫϥΠΞϯτฒྻ*0
εΩοϓ
Slide 50
Slide 50 text
AIスパコンのソフトウェアスタック例
多層に折り重なった複雑な構成
εέδϡʔϥ 4MVSN
,VCFSOFUFT
ίϯςφ /7*%*"$POUBJOFS5PPMLJU
&OSPPU 1ZYJT
4JOHVSBMJUZ
ࢄֶशϑϨʔϜϫʔΫ .FHBUSPO-.
%FFQ4QFFE
1ZUPSDI'4%1
/F.P
ֶशϑϨʔϜϫʔΫ 1Z5PSDI
5FOTPS
fl
PX
+"9
ूஂ௨৴ϥΠϒϥϦ /$$-
3$$-
3%."ϥΠϒϥϦ JCWFSCT
SENBDPSF
ܭࢉߴԽϥΠϒϥϦ DV#-"4DV#-"4-U
DV%//
5SBOTGPSNFS&OHJOF
ϥϯλΠϜυϥΠό $6%"
OWJEJBESJWFST
˞IUUQTEPDTOWJEJBDPNOFNPGSBNFXPSLVTFSHVJEFMBUFTUTPGUXBSFDPNQPOFOUWFSTJPOTIUNM
Ϣʔβʔ͕
ֶशδϣϒΛൃߦ
50
Slide 51
Slide 51 text
1章 まとめ
ᶃਂֶशͷܭࢉෛՙͱ(16ͷద߹ੑ
ᶄେنϞσϧʹରԠ͢Δࢄਂֶशٕज़
ᶅϊʔυɾϊʔυؒͷߴΠϯλʔίωΫτ
5SBOTGPSNFSͷେنͳߦྻੵԋࢉʹɺߴฒྻ
ੑʢઍίΞɺ5FOTPS$PSFʣͱߴଳҬϝϞϦ
ʢ)#.ʣΛͭ(16͕ద͢Δɻ
.FNPSZ8BMMΛղܾ͢ΔͨΊɺσʔλฒྻɺύΠ
ϓϥΠϯฒྻςϯιϧฒྻͷΈ߹Θ͕ͤඞਢɻ
ࢄֶशதͷޯಉظͳͲͷͨΊʹɺ௨৴Ϙτϧ
ωοΫΛղফɻϊʔυʢ/7-JOLʣͱϊʔυؒ
ʢ3%."ɼ3P$&WʣͰूஂ௨৴ΛߴԽɻ
Slide 52
Slide 52 text
2. さくらONE
Slide 53
Slide 53 text
さくらONE
IUUQTXXXTBLVSBBEKQTBLVSBPOF
͘͞ΒΠϯλʔωοτ
ݚڀॴ͕ओװ
マネージドGPUスパコンサービスを提供中
˞(16ϕΞϝλϧαʔϏεߴՐྗ1):ఏڙத
εύίϯੑೳϥϯΩϯά
501ੈքҐ֫ಘ
ʢ*4$ʣ
53
Slide 54
Slide 54 text
TOP500（ISC2025 June, 2025）
501 )1--*/1"$, ੈքҐ
)1$( )1$ԋࢉΞϓϦέʔγϣϯ ੈքҐ
)1-.Y1 "*͚ͷ୯ਫ਼ਫ਼ԋࢉੑೳ ੈքҐ
*0 ετϨʔδ*0ੑೳ ੈքҐ
ΠϯλʔίωΫτωοτϫʔΫɺ্ҐҐҎͰ།ҰϕϯμʔதཱͰ
Φʔϓϯͳٕज़Λ࠾༻
*4$ʹͯεύίϯੑೳϥϯΩϯά501ੈքҐΛ֫ಘ
40/J$04ͱ(C&&UIFSOFU
54
Slide 55
Slide 55 text
TOP500 (ISC2025) 世界49位 国内9位
3BOL 4ZTUFN 0SHBOJ[BUJPO 3NBY 1'MPQT
'VHBLV 3*,&/$FOUFSGPS$PNQVUBUJPOBM
4DJFODF
"#$* "*45
$)*& 4PGU#BOL$PSQ
$)*& 4PGU#BOL$PSQ
"#$*2 "*45
'15"*'BDUPSZ+BQBO '15"*'BDUPSZ+BQBO
.JZBCJ( +PJOU$FOUFSGPS"EWBODFE)JHI
1FSGPSNBODF$PNQVUJOH
546#".& $**
*OTUJUVUFPG4DJFODF5PLZP
4",63"0/&
4",63"*OUFSOFU*OD
1SVOVT4PMVUJPOT*OD
ࠃγεςϜ্ҐͷΈൈਮ
IUUQTUPQPSHMJTUTUPQ
55
Slide 56
Slide 56 text
TOP500（SC2025 November, 2025）
3BOL 4ZTUFN 0SHBOJ[BUJPO 3NBY 1'MPQT
4",63"0/&
4",63"*OUFSOFU*OD
1SVOVT4PMVUJPOT*OD
4",63"0/&
$:$
4",63"*OUFSOFU*OD
1SVOVT4PMVUJPOT*OD
4",63"0/&
$:#
4",63"*OUFSOFU*OD
1SVOVT4PMVUJPOT*OD
IUUQTXXXUPQPSHMJTUTUPQMJTU
$:$ͱ$:#ͱݺΕΔͭͷΫϥελΛ৽نʹՃɻ
Slide 57
Slide 57 text
さくらONEの3つのクラスタ
ୈҰΫϥελ ୈೋΫϥελʢ$:$ʣ ୈࡾΫϥελʢ$:#ʣ
ܭࢉϊʔυ
(16
/7*%*")
49.(#
/7*%*")
49.(#
/7*%*"#
49.(#
$16
*OUFM9FPO1MBUJOVN
º$16 DPSFT
*OUFM9FPO1MBUJOVN
º$16 DPSFT
*OUFM9FPO1º
$16 DPSFT
ϝϞϦ %%35# %%35# %%35#
ϩʔΧϧετ
Ϩʔδ
(#Y 5#º 5#º
ڞ༗ετϨʔδ -VTUSF1# -VTUSF5# -VTUSF5#
ΠϯλʔίωΫ
τωοτϫʔΫ
(C&º (C&º (C&º
IUUQTXXXTBLVSBBEKQTBLVSBPOF
Slide 58
Slide 58 text
さくらONE 第
一
クラスタの構成
',POJTIJ4",63"0/&&NQPXFSJOH5SBOTQBSFOUBOE0QFO"*1MBUGPSNTUISPVHI1SJWBUF4FDUPS
)1$*OWFTUNFOUJO+BQBOBS9JW
58
(16
/PEF
(16
/PEF
(16
/PEF
(16
/PEF
*OUFSDPOOFDU/FUXPSL
4UPSBHF/FUXPSL
4UPSBHF
OPEFT
$16DPSFT
(16T )
/*$T (C&
40/*$04(C&
(C&
1#
%%/&YBTDBMFS
Slide 59
Slide 59 text
さくらONEの構成詳細
ΠϯλʔίωΫτ
ωοτϫʔΫ
ܭࢉϊʔυ
ετϨʔδ
Slide 60
Slide 60 text
さくらONEの構成詳細（NW）
ܭࢉϊʔυ
4QJOF
-FBG
3BJM0QUJNJ[FE
5PQPMPHZ
3P$&W
Slide 61
Slide 61 text
AIスパコンの利
用
（さくらONEの例）
δϣϒ
εέδϡʔϥ
ʢ4MVSNʣ
ϩάΠϯϊʔυ
44)
ฒྻࢄ
ετϨʔδ
IPNFҎԼΛ
Ϛϯτ
δϣϒߘ
NPVOU NPVOU NPVOU
εέδϡʔϥ͕Ϣʔβʔʹࢦఆ͞Εͨ(16ϊʔυΛ
֬อ͠ɺ֤ϊʔυ্ͰεΫϦϓτΛಉ࣌ىಈ͢Δ
TMVSNDUME
TMVSNE
TDSJQU
TMVSNE
TDSJQU
TMVSNE TMVSNE
TDSJQU
TDSJQU
61
Slide 62
Slide 62 text
,POJTIJ
'VNJLB[V4",63"0/&&NQPXFSJOH
5SBOTQBSFOUBOE0QFO"*1MBUGPSNTUISPVHI
1SJWBUF4FDUPS)1$*OWFTUNFOUJO+BQBO
BS9JWQSFQSJOUBS9JW
さくらONEの
ホワイトペーパー
62
Slide 63
Slide 63 text
3. 学習ジョブの履歴データの傾向分析
Slide 64
Slide 64 text
ジョブ履歴データについて
w σʔλͷ༰
w 4MVSNʹߘ͞Εͨδϣϒͷ࣮ߦ։࢝ɾऴྃɺϢʔβʔɺύʔςΟγϣϯɺ
֬อ͞ΕͨϦιʔεʢϊʔυɺ(16ͳͲʣɺδϣϒ໊ɺίϚϯυͳͲ
w ੳରظؒ
w --.։ൃϓϩδΣΫτ"ͷ݄͔Β݄·Ͱ
Slide 65
Slide 65 text
観察１ (16༗࣌ؒͷେϢʔβओಋͷҙਤతͳதஅ͕ΊΔ
Ұํɺࣦഊδϣϒͷ(16༗࣌ؒʹཹ·ͬͨɻ
--.ͷֶशͩͱࣄલʹదͳֶशεςοϓΛܾΊΒΕͳ͍ͷͰɺ
࠷େεςοϓΛେ͖Ίʹઃఆ్ͯ͠தͰࢭΊΔӡ༻Λ͍ͯͨ͠
Slide 66
Slide 66 text
観察２ খنδϣϒ͕େଟΛΊΔҰํɺେنδϣϒ͕
(16Ϧιʔε༗࣌ؒͷେ෦Λফඅ͍ͯ͠Δ
66
Slide 67
Slide 67 text
δϣϒͷଟ࣌ؒ͘Ͱऴྃ͢Δ͕ɺେنδϣϒ
Ͱ࣮ߦ࣌ؒͷͷ͕͍
δϣϒ࣮ߦ࣌ؒͷྦྷੵ
観察３
67
தԝ͔Βेͷൣғʹूத
͍ͯ͠ΔɻҰํͰɺϊʔυ͕େ͖͍
δϣϒ΄Ͳ࣮ߦ࣌ؒͷ͕ӈํʹ
͕Δɻ
ϊʔυͷେنδϣϒͰɺ
िؒΛ࣮͑ͯߦ͞Εͨδϣϒ
શମͷʹୡͨ͠
Slide 68
Slide 68 text
観察４ ϓϩδΣΫτͷਐߦʹ͍ɼେنδϣϒ͔Βதنδϣϒ
த৺ͱϦιʔεར༻͕ਪҠ͍ͯ͠Δɻ
ࣄલֶश ϑΝΠϯνϡʔχϯά
ิతͳ࣮ݧ
Slide 69
Slide 69 text
(16Ϋϥελͷۭ͖ঢ়گ͕
ͻͱͰΘ͔Δ
(16ిྗফඅྔͷྫ
ۭ͖͕ଟ͍ͱ͍ͬͨͳ͍
69
Slide 70
Slide 70 text
第三章まとめ
w --.։ൃϥΠϑαΠΫϧͰɺৗʹେنδϣϒΛྲྀ͢ඞཁͳ͍
w (16ͷۭ͖͕ͰΔظؒ͋Δ
w --.։ൃͰ࠷ߴੑೳͷٻΑΓɺ։ൃͷ҆ఆੑ͕ॏࢹ͞ΕΔ
w Πϯϑϥࢿʹແବ͕ͰΔՄೳੑ͕͋Δ
70
Slide 71
Slide 71 text
4. LLM分散学習ベンチマーキング
Slide 72
Slide 72 text
分散学習ベンチマーキングの動機
w 501ʹ͓͚ΔϕϯνϚʔΫҰൠͷܭࢉػੑೳΛܭଌ͢ΔͷͰ͋Δ
w ͘͞Β0/&͕ϑΥʔΧε͢Δ--.ֶशʹ͓͚ΔੑೳΛܭଌ͍ͨ͠
w ۀքͷඪ४తͳϕϯνϚʔΫͱͯ͠.-1FSGʹணͨ͠
w .-1FSGϕϯνϚʔΫεΠʔτɿ5SBJOJOH*OGFSFODF4UPSBHFͳͲ̍̍छ
w 5SBJOJOHͷ͏ͪɺ͘͞Β0/&ͷఆϢʔεέʔεʹ͍ۙ͠ɺ(15#ࣄ
લֶशͱ-MBNBϑΝΠϯνϡʔχϯάΛબ
ຊͷର
72
Slide 73
Slide 73 text
MLPerf Training
w είΞֶश։͔࢝Βֶशऴྃ·Ͱͷ࣮࣌ؒʢNJOʣ
w ֶशɺγʔέϯεͳͲͷֶशؔ࿈ͷϋΠύʔύϥϝʔλݻఆ
w ֶशσʔληοτ༻ҙ͞Ε͍ͯΔ
w ଛࣦ͕نఆͷᮢʹୡ͢Δͱ࣮ߦΛఀࢭʢ(15Ͱ-PH1FSQMFYJUZ͕ʣ
w ͋ΔఔֶशΛਐΊΒΕͨঢ়ଶΛอଘͨ͠νΣοΫϙΠϯτ͔Βֶश։࢝
w ֶशதͷνΣοΫϙΠϯςΟϯάʢετϨʔδͷఆظอଘʣͳ͠
モデル側のパラメータ固定や学習終了条件の明
示
˞$MPTFE%JWJTJPOͷ߹
73
Slide 74
Slide 74 text
GPT-3事前学習のスコア
0SHBOJ[BUJPO 4ZTUFN/BNF (16 .PEFM/BNF -BUFODZ NJO
/7*%*" &PTEGX@O
)49.(#
0SBDMF Y#.(16) )49.(#
0SBDMF Y#.(16) )49.(#
4",63"
JOUFSOFU
4",63"0/&@O )49.(#
VOWFSJ
fi
FE
/7*%*" &PT@O )49.(#
4",63"
JOUFSOFU
4",63"0/&@O )49.(#
VOWFSJ
fi
FE
/7*%*" &PT@O )49.(#
IUUQTNMDPNNPOTPSHCFODINBSLTUSBJOJOH3PVOEW͔ΒҰ෦ൈਮ
˞VOWFSJ
fi
FE.-$PNNPOTڠձʹ
Αͬͯݕূ͞Ε͍ͯͳ͍݁ՌͰ͋Δɻ
74
Slide 75
Slide 75 text
GPT-3事前学習（規模が近い他システム
比
較①）
0SHBOJ[BUJPO 4ZTUFN/BNF (16 .PEFM/BNF -BUFODZ NJO
4",63"
JOUFSOFU
4",63"0/&@O )49.(#
VOWFSJ
fi
FE
/7*%*" &PT@O )49.(#
(16ɺ(16Ϟσϧɺ/8ଳҬ෯͕ಉ݅Ͱͷൺֱ
&PT@Oʹରͯ͠ɺ4",63"0/&@Oͷֶश࣌ؒͱͳͬͨ
75
Slide 76
Slide 76 text
GPT-3事前学習（規模が近い他システム
比
較②）
(16͕ۙ͘͠ಉҰϞσϧɺ/8ଳҬ෯ಉҰͰͷൺֱ
0SHBOJ[BUJPO 4ZTUFN/BNF (16 .PEFM/BNF -BUFODZ NJO
4",63"
JOUFSOFU
4",63"0/&@O )49.(#
VOWFSJ
fi
FE
/7*%*" &PT@O )49.(#
&PT@OΛԾʹϊʔυͱ͢ΔͱཧࢉͰ NJO
ͱͳΓɺ
4",63"0/&@Oͷֶश࣌ؒ
˞4",63"0/&ʹෆརͳ݅Ͱͷൺֱ
྆ऀ1PEʢ46ʣ
ԣஅ௨৴͋Γ
76
Slide 77
Slide 77 text
学習ワークロードの代表的な
目
標性能指標
εϧʔϓοτ
ܭࢉޮ
.'6 .PEFM'MPQT6UJMJ[BUJPO
Ϟσϧ͕ཧతʹ༻͢Δ
'-014ͷ࣮ଌ
ϋʔυΣΞͷϐʔΫ'-014
ֶशεϧʔϓοτɹUPLFOTTFD
TBNQMFTTFD
ԋࢉεϧʔϓοτɹ'-014ʢ'MPBUJOHQPJOU0QFSBUJPOT1FS4FDPOEʣ
ϨΠςϯγ
5JNFUP5SBJOɹֶश։͔࢝Βྃ·Ͱͷ࣌ؒ
77
Slide 78
Slide 78 text
GPT-3事前学習（さくらONEスケーリング評価）
ϊʔυ
5JNFUP5SBJO
ʢNJOʣ
.'6
5'-014(16
5PLFOTTFD(16
ֶश࣌ؒॖɹɹഒ
ϊʔυ͕ഒʹରͯ͠
)'1ࠞ߹ਫ਼Ͱͷԋࢉޮʢ.'6ʣͷ૬
ԋࢉޮ(16ɹɹɹ
ରཧεέʔϦϯά
78
ʢԋࢉεϧʔϓοτͷ૬r5'-014(16ʣ
Slide 79
Slide 79 text
H100 BF16/FP8混合精度 MFU
w ϐʔΫ'-014ͱͯ͠ɺจݙͰ
5'-014Λ࠾༻͞Ε͍ͯΔ
w '15FOTPS$PSF
5'-014ʢ˞ʣ͕ͩɺ4QBSTFͳ͠ͳΒ
˞/7*%*")5FOTPS$PSF(16%BUBTIFFUIUUQTSFTPVSDFTOWJEJBDPNFOVTIPQQFSBSDIJUFDUVSFOWJEJBUFOTPSDPSFHQV
EBUBTIFFU
˞IUUQTDBUBMPHOHDOWJEJBDPNPSHTOWJEJBUFBNTEHYDCFODINBSLJOHSFTPVSDFTMMBNBCEHYDCFODINBSLJOHD
˞
-MBNB# .'6d ˞
˞IUUQTTFNJBOBMZTJTDPNIDMVTUFSTQPXFSOFUXPSL
.'6 ˞
USJMMJPOQBSBNFUFSUSBJOJOH
-MBNB#
˞IUUQTTFNJBOBMZTJTDPNIWTHCOWMUSBJOJOHCFODINBSLT
.'6 ˞
˞IUUQTXXXEBUBCSJDLTDPNKQCMPHUVSCPDIBSHFEUSBJOJOHPQUJNJ[JOHEBUBCSJDLTNPTBJDBJTUBDLGQ
.15CdC .'6d ˞
79
Slide 80
Slide 80 text
GPT-3事前学習（パラメータの組み合せ）
51 11 %1
(MPCBM
#4
.JDSP
#4
'-014
(16
5JNFUP5SBJO
ʢNJOʣ
/PEBUB
51 ςϯιϧฒྻ
11 ύΠϓϥΠϯฒྻ
%1 σʔλฒྻ
(MPCBM#4 άϩʔόϧόοναΠζ
.JDSP#4 ϚΠΫϩόοναΠζ
96ノード શମͰݸͷύϥϝʔλͷ͏ͪදతͳͷΛൈਮ
ςϯιϧฒྻͷ
௨৴Λαʔό
/8Ͱ݁ͤͨ͞
͍ͨΊ51
73".ʹऩ·Δൣ
ғͰ%1Λ্͛Ε
͍͍ͱࢥ͍ͬͯ
͕ͨҙ֎ͱͦ͏Ͱ
ͳ͍
80
Slide 81
Slide 81 text
GPT-3事前学習の結果の考察
w ͘͞Β0/&Ͱ૬ͷൣғͷԋࢉޮΛୡͰ͖͍ͯΔɻ
w ΠϯλʔίωΫτ௨৴͕ेߴɻࢄֶशͷνϡʔχϯά૬Ϩϕϧɻ
w ҰํͰɺ͘͞Β0/&&04ͱϊʔυൺֱͰɺϊʔυࢉൺֱ
Ͱͷੑೳͱͳͬͨɻ
w ཁҼͷՄೳੑɿ&UIFSOFU 3P$&W
ର*O
fi
OJCBOEɺ͋Δ͍୯ʹνϡʔχϯάෆ
w ΠϯλʔίωΫτͷτϙϩδߏʢ3BJM0QUJNJ[FEʣಉҰͷͣ
w ιϑτΣΞελοΫ04ͱΧʔωϧϞδϡʔϧʢυϥΠόͳͲʣҎ֎ͷόʔ
δϣϯಉҰͷͣ
81
Slide 82
Slide 82 text
苦労したこと
w .-1FSGެࣜͷϦϑΝϨϯε࣮ΑΓɺաڈͷϥϯυͰߘɾެ։͞Ε࣮ͨ
ͷ΄͏͕ཧ͞Ε͍ͯΔɻϦϑΝϨϯε࣮͔Β࢝Ίͯ͠·ͬͨɻ
w ίϯςφͰόʔδϣϯ͕ݻఆ͞Ε͍ͯͯɺཧߏͷඍົͳࠩҟʹΑͬͯಈ͔
ͳ͍ઃఆίʔυ͍͔ͭ͋͘Γɺमਖ਼ͷඞཁ͋Γ
w ࢄֶशͷ֤छ֓೦ʢ%ฒྻɺूஂ௨৴ͳͲʣιϑτΣΞʢ4MVSNɺ
/F.Pɺ.FHBUSPOʣΛ৽نʹֶͿඞཁ͕͋ͬͨ
w ϕϯνϚʔΫظؒݶΒΕΔͨΊɺ৸ΔલʹδϣϒΛෳݸೖͯ͠ே݁ՌΛΈ
Δੜ׆Λ͍ͯͨ͠
˞IUUQTHJUIVCDPNNMDPNNPOTUSBJOJOH@SFTVMUT@WUSFFNBJO/7*%*"
˞
82
Slide 83
Slide 83 text
4章：まとめ
w --.ֶशͰඞཁͱ͞ΕΔجຊతͳฒྻԽٕज़/8ٕज़ɺΫϥελߏΛ؆୯ʹ
ղઆͨ͠ɻ
w ͘͞ΒΠϯλʔωοτͰΫϥελཧ͕ϚωʔδυԽ͞Εͨεύίϯʮ͘͞Β
0/&ʯΛ։ൃ͠ɺ501ͰΦʔϓϯͳ/8ٕज़ͷൣᙝͰҐΛୡͨ͠ɻ
w ͘͞Β0/&Ͱ(15ͷࣄલֶशϕϯνϚʔΫΛ࣮ࢪ͠ɺ૬ͷൣғͷԋࢉޮ
Λୡɻνϡʔχϯάʹ՝ͷ༨͋Γɻ
w ʢ࣌ؒ߹ͰׂѪʣ-MBNBϑΝΠϯνϡʔχϯάͰϕϯνϚʔΫࢀՃاۀΒͱ
ಉఔͷੑೳΛୡͨ͠ɻ
83
Slide 84
Slide 84 text
5. オブザーバビリティ（可観測性）
Slide 85
Slide 85 text
AIスパコンサービスのオブザーバビリティ
Ϣʔβʔ
ϓϩόΠμʔ
ֶशॲཧੑೳ
োɾނোཧ
ܭࢉࢿݯͷར༻
ܭࢉࢿݯͷར༻
ඪࢦඪ
ਂֶशͷॲཧͷ༁
ֶशɾԋࢉεϧʔϓοτ
ΞϓϦέʔγϣϯ
σόΠε
ঢ়ଶνΣοΫ
ϦιʔεফඅྔɾΤϥʔ
Ҽࢠղ
ϫʔΫϩʔυ
ੳ
Ϧιʔε
ੳ
85
Slide 86
Slide 86 text
責任境界による計装・収集の制約
Ϣʔβʔ
ϓϩόΠμʔ
04
δϣϒ
εέδϡʔϥ
ڥք
σόΠε
ΞϓϦέʔγϣϯ
υϥΠό
γεςϜϥΠϒϥϦ
ΞϓϦέʔγϣϯ
ϩάͷऔಘෆՄ
ΞϓϦέʔγϣϯ
ίʔυͷܭෆՄ
86
Slide 87
Slide 87 text
まずはできるところからやる
ϦιʔεੳͷͨΊͷςϨϝτϦʔऩू
ϫʔΫϩʔυ
ੳ
Ϧιʔε
ੳ
Slide 88
Slide 88 text
リソース分析の概観 Grafanaダッシュボードの構成
ۭؒϏϡʔ ࣌ܥྻϏϡʔ δϣϒϏϡʔ
ࠓͳʹ͕ى͖͍ͯΔʁ աڈԿ͕ى͖͔ͨʁ ಛఆδϣϒʹண
ݸผ࣌ܥྻϏϡʔ
ಛఆ(16ͳͲ
%BUBMJOL
%BUBMJOL
88
Slide 89
Slide 89 text
(16ిྗফඅɺԹɺϝϞϦ༻ྔɺετϨʔδ༻ྔ
空間ビュー：クラスタ統計
89
Slide 90
Slide 90 text
空間ビュー：パーティション別統計①
ԋࢉεϧʔϓοτ
ʢ%$(.ਪఆʣ
(16༻
ςϯιϧίΞ༻
--.ֶशͰ͙
Β͍͍͑ͯΔͱྑ͍
˞7
"OESFJ
FUBM
4:45&.!4$"-&"*0CTFSWBCJMJUZ
IUUQTBUTDBMFDPOGFSFODFDPNTZTUFNTDBMFBJPCTFSWBCJMJUZ
˞
Ͱ͋ͬͯ(16ͷԋ
ࢉޮ͕ߴ͍ͱݶΒͳ͍
90
Slide 91
Slide 91 text
空間ビュー：パーティション別統計②
(16ϝϞϦ༻
(16ϝϞϦ
ଳҬ෯༻
(16ϝϞϦ
ΞΫηε༻
͍ۙͱ͏·
͍͑ͯ͘Δ
91
Slide 92
Slide 92 text
空間ビュー：GPUグリッド表
示
)1&$MVTUFSWJFX
˞IUUQTHSBGBOBDPNHSBGBOBQMVHJOTIQFIQDHSBGBOBDMVTUFSWJFXQBOFM
˞
ύωϧϓϥάΠϯ
ϥοΫˠαʔόˠ(16
ͳͲͷೖΕࢠදݱՄ
(16ిྗফඅྔͷྫ
ࣾͷ)1$ઐ
Ոʹධ
Πϝʔδʹ
͍ۙϏϡʔ
92
Slide 93
Slide 93 text
空間ビュー：NVLink別グリッド表
示
ܭࢉϊʔυ
(16ؒόεͷ
ड৴εϧʔϓοτ
93
Slide 94
Slide 94 text
空間ビュー：NICグリッド表
示
̍ܭࢉϊʔυ͋ͨΓ
ΠϯλʔίωΫτ༻/*$ຕ
ετϨʔδ༻/*$ຕ
/*$ͷड৴
εϧʔϓοτ
94
Slide 95
Slide 95 text
時系列ビュー①
/*$ͷ
εϧʔϓοτ
ετϨʔδ
εϧʔϓοτ
νΣοΫϙΠϯτॻ͖ग़͠ͷ༷ࢠ
95
Slide 96
Slide 96 text
時系列ビュー②
(16Ϋϥελͷۭ͖ঢ়گ͕
ͻͱͰΘ͔Δ
(16ిྗফඅྔͷྫ
ϓϩδΣΫτ"ͷ݄̏ͷσʔλ
ΛͱʹՄࢹԽ
ۭ͖͕ଟ͍ͱ͍ͬͨͳ͍
96
Slide 97
Slide 97 text
ジョブビュー
ガントチャート
4MVSNδϣϒͷώετϦʢ.BSJB%#ʹอଘʣΛݩʹՄࢹԽ
97
Slide 98
Slide 98 text
プロファイルの可視化
γϯϘϧະղܾͱͳΔ͕ؔଟ͍
ॱൖॲཧͷ༁͕Θ͔Δ
ͨͩ͠$16UJNF
98
Slide 99
Slide 99 text
データパイプラインの構成（全体像）
(16/PEFT
-PHJO/PEFT
*OUFSDPOOFDU4XJUDIFT
#BDLFOET
05F-$PMMFDUPS
(BUFXBZ
05F-$PMMFDUPS
"HFOU
1ZSPTDPQF
7JDUPSJB.FUSJDT
7JDUPSJB-PHT
.FUSJDT
-PHT
1SP
fi
MFT
05-1
05-1
&YQPSUFST
&YQPSUFST
&YQPSUFST
4ZTMPH
-PHT
-PHT
4DSBQF
ˠσʔλͷྲྀΕΛද͢
7JTVBMJ[BUJPO
(SBGBOB
99
Slide 100
Slide 100 text
GPUノードの構成
(16/PEFT
05F-$PMMFDUPS
"HFOU
*1.*&YQPSUFS
+PVSOBME
3%."&YQPSUFS
/PEF&YQPSUFS
%$(.&YQPSUFS
-VTUSF&YQPSUFS
1SPDFTT&YQPSUFS
4DSBQF
1SPNFUIFVT
3FDFJWFS
πʔϧΛগͳ͘͢ΔͨΊʹ
05F-$PMMFDUPSओମͰऩू
+PVSOBME
3FDFJWFS
WBSMPHTMVSN
'JMF-PH
3FDFJWFS
ʢࣗ࡞ʣ
˞HJUIVCDPNZVVLJSENB@FYQPSUFS
˞
PQFOUFMFNFUSZ
FCQGQSP
fi
MFS
(BUFXBZ
05-1
˞HJUIVCDPN(4*)1$MVTUSF@FYQPSUFS
˞
100
Slide 101
Slide 101 text
ログとプロファイルに関する所感
まだ有効利
用
できていない
w ཁ্݅ɺଟ͘ͷใؚ͕·ΕΔΞϓϦϩάΛऔಘෆՄ
w ϓϥοτϑΥʔϜଆͰཧ͢ΔϛυϧΣΞ͕গͳ͍
w εέδϡʔϥʔʢ4MVSNʣڞ༗ετϨʔδʢ-VTUSF'4PO%%/ʣͷΈ
ϩά
w (163%."௨৴ΛؚΉϓϩϑΝΠϧΛऔಘͰ͖ͳ͍
w ࢄτϨʔε͕ͳ͍
ϓϩϑΝΠϧ
101
Slide 102
Slide 102 text
Ϣʔβʔ
オブザーバビリティ・ギャップ
ΪϟοϓᶄɹΞϓϦ͔ΠϯϑϥͷΓ͚
ࢿޮՌ؍
ϓϩόΠμʔ
ੑೳ؍
োɾނো؍
ΪϟοϓᶃɹֶशॲཧੑೳͷϘτϧωοΫಛఆ
ΪϟοϓᶅɹϚΠΫϩόʔετϞχλϦϯά
102
Slide 103
Slide 103 text
Ϣʔβʔ
ΪϟοϓᶄɹΞϓϦ͔ΠϯϑϥͷΓ͚
ࢿޮՌ؍
ϓϩόΠμʔ
ੑೳ؍
োɾނো؍
ΪϟοϓᶃɹֶशॲཧੑೳͷϘτϧωοΫಛఆ
ΪϟοϓᶅɹϚΠΫϩόʔετϞχλϦϯά
103
オブザーバビリティ・ギャップ
Slide 104
Slide 104 text
やりたいこと
ϫʔΫϩʔυੳͷͨΊͷࡉཻܭଌ
ϫʔΫϩʔυ
ੳ
Ϧιʔε
ੳ
Slide 105
Slide 105 text
深層学習の処理過程をトレースしたい
ֶशδϣϒ
ΤϙοΫ̍
ΠςϨʔγϣϯ̍
(16
(16
ΤϙοΫ̍
ΠςϨʔγϣϯ̍
࣌ؒ
ΠςϨʔγϣϯ
ΤϙοΫ
ΠςϨʔγϣϯ
ΤϙοΫ
ܭࢉͱ௨৴ͷΦʔόʔϥοϓ
֤εύϯͷܦա࣌ؒϦιʔεফඅྔΛܭଌ
ूஂ௨৴
ॱ ٯ ॏΈ
ߋ৽
ूஂ௨৴
ॱ ٯ ॏΈ
ߋ৽
105
Slide 106
Slide 106 text
集団通信の処理過程をトレースしたい
(16
(16
(16
(16
(16
(16
(16
/
(16
/
(16
/
࣌ؒ
(16
(16
(16
/
εΠον
αʔό̍ αʔό
αʔό/
3JOHΞϧΰϦ
ζϜͷҰྫ
શ(16͕ಉ࣌ʹྡʹσʔλ
Λૹ৴͠ଓ͚Ϧϯά্Λपճ
αʔό/
-FBG
/*$
/*$
/*$
/*$
-FBG
106
Slide 107
Slide 107 text
GPUプロファイリング
107
MLPerf Training GPT-3のベンチマーク中に取得
Pytorch Pro
fi
lerの結果をPerfettoで可視化
NT
ΠϯλʔίωΫτ௨৴
NT NT NT
Ұൠతʹɺਂ'8ଂ/7*%*"͕ఏڙ͢ΔϓϩϑΝΠϥΛ͏
$615*
/TJHIU4ZTUFNT
1Z5PSI1SP
fi
MFS ,JOFUP
Slide 108
Slide 108 text
ギャップ①
現
行
GPUプロファイラの課題
˞&:PVTFG[BEFI"TM.JBOEPBC
FUBM
l1SP
fi
MJOHBOE.POJUPSJOH%FFQ-FBSOJOH5SBJOJOH5BTLTz
&VSP.-4ZT
Ϣʔβʔཧ ॏ͍Φʔόʔϔου
Ϣʔβʔ͕༗ޮԽ͢Δඞཁ͕͋ΔͨΊɺ
ϓϥοτϑΥʔϚʔཁ݅Λຬͨ͞ͳ͍
1Z5PSDI1SP
fi
MFS͕ഒԆΛ૿Ճ
ͤ͞Δใࠂ͋Γ˞
ΞϓϦέʔγϣϯʹରͯ͠ඇ৵ೖͳܗࣜͰ
Φʔόʔϔουͷ;FSP$PEFܭΛ͍ͨ͠
108
Slide 109
Slide 109 text
ギャップ①
Zero Code計装
eBPFによるZero Code計装による分散トレーシング技術は確
立
しつつあるが…
˞IUUQTHJUIVCDPNHSBGBOBCFZMB
˞IUUQTEFFQ
fl
PXJP
• GPUの内部処理はOSカーネル内からはみえない
• GPU間通信はOSカーネルのNWスタックを経由しない
˞˞˞
˞IUUQTPQFOUFMFNFUSZJPEPDT[FSPDPEFPCJ
(16ݻ༗ͷ͕ඞཁ
#FZMB
%FFQ'MPX
0#*ͳͲ
✘
109
Slide 110
Slide 110 text
ギャップ①
GPUゼロコード計装の最先端
$6%""1*
(16υϥΠό
˞zF#1'5VUPSJBM5SBDJOH$6%"(160QFSBUJPOTz
IUUQTFVOPNJBEFWUVUPSJBMTDVEBFWFOUT
˞lF#1'5VUPSJBMCZ&YBNQMF.POJUPSJOH(16%SJWFS"DUJWJUZXJUI,FSOFM5SBDFQPJOUTz
IUUQTFVOPNJBEFWUVUPSJBMTYQVHQVLFSOFMESJWFS
˞l8SJUFBOE3VOF#1'PO(16XJUICQGUJNFz
IUUQTFVOPNJBEFWFOCQGUJNFEPDVNFOUTHQV
VQSPCFT
MJCDVEBSUTP
(16ͷϝϞϦׂɾసૹɾಉظɺΧʔωϧىಈؔʹϑοΫ
USBDFQPJOUT
LQSPCFT
ϥϯΩϡʔͷਂ͞9*%ΤϥʔΛܭଌՄೳ
˞
˞
˞
CQGUJNF
ඇಉظ(16෦ͷৄࡉܭଌࠔ
Ϣʔβʔͷ1ZUIPOϓϩηεͱͷඥ͚ͮՄೳ
04ΧʔωϧͷൣᙝͳͷͰɺҰൠతͳLQSPCFTͳͲͰܭଌՄೳ
ඇಉظͰ(16ج४Ͱͷ࣌ࠁ͕Θ͔Δ
(16ͷϫʔϓεϨου୯ҐཻͰͷܭଌ
159ʢ(16தؒදݱʣίʔυF#1'ίʔυΛೖ
Ϣʔβʔۭؒ
F#1'ϥϯλΠϜ
<)%$4
F(16>
<04%*
CQGUJNF>
(16෦
110
Slide 111
Slide 111 text
ギャップ①：GPUゼロコード計装の課題
$6%""1*
(16υϥΠό
(16෦
ਂֶश'8ʢ1ZUIPOʣ
ࢄτϨʔγϯάͷؼணʹ
֤ͷΠϕϯτΛ૬ؔͤ͞Δඞཁ͋Γ
(16ϝϞϦؒ௨৴ݪཧతʹܭଌͰ͖Δ
ͣʜ
ίϯςΩετͷൖΛͲ͏Δ͔ʁʁ
ݱঢ়·ͩͦͷΑ͏ͳ
πʔϧͳ͍
ݚڀ։ൃͷྖҬ
111
Slide 112
Slide 112 text
Ϣʔβʔ
オブザーバビリティ・ギャップ
ΪϟοϓᶄɹΞϓϦ͔ΠϯϑϥͷΓ͚
ࢿޮՌ؍
ϓϩόΠμʔ
ੑೳ؍
োɾނো؍
ΪϟοϓᶃɹֶशॲཧੑೳͷϘτϧωοΫಛఆ
ΪϟοϓᶅɹϚΠΫϩόʔετϞχλϦϯά
112
Slide 113
Slide 113 text
ギャップ②：アプリかインフラの問題切り分け
[Liu+,SIGCOMM24]
ωοτϫʔΫͷ͔ʁΓ͚͕͍͠
‣ ΞϓϦϩάʹू߹௨৴ϥΠϒϥϦʢ/$$-ʣ͕zFSSPSDPEFz͕Έ͑Δ͕ʜ
‣ ݪҼɺϗετଆͷʢ(16μϯɾϋϯάɾϝϞϦෆɾ/$$-ޡઃఆʣͰ
͋Δ͜ͱ
113
Slide 114
Slide 114 text
ギャップ②
R-Pingmesh
RNIC to RNICのアクティブプルービングによるRoCEネットワーク監視
114
③ 継続的なプルービン
グによるRTT・パケッ
トロスの常時計測
②RoCEパケットに
よるプルービング
① サービストラフィッ
クとは独
立
したRNIC
単位のプルービング
Slide 115
Slide 115 text
R-Pingmeshのシステム全体像
115
<-JV
4*($0..>'JHVSF31JOHNFTI'SBNFXPSLΛجʹվมͯ͠ܝࡌ
1. Agentが登録処理
2. ControllerからPinglistが届く
3. PinglistからProberがプルー
ブを送信
4. RTTなどを記録しAnalyzerへ
1. eBPFでサービスジョブの通
信の5-tupleを監視
2. 専
用
のPinglistへ追加
Slide 116
Slide 116 text
yuuki/rpingmeshの技術スタック
116
•
言
語：Go
• RoCE通信：libibverbs
• eBPF Kprobe, cillium/ebpf
• 要素間通信：gRPC
• Registry: Rqlite
• 計装：OpenTelemetry
Slide 117
Slide 117 text
成果物
117
IUUQTHJUIVCDPNZVVLJSQJOHNFTI
IUUQTHJUIVCDPNZVVLJHPJCWVEQJOHQPOH
෭Ռ 3P$&ͷ6%QJOHQPOHπʔϧ
Slide 118
Slide 118 text
Grafanaダッシュボードの例
マトリクス表
示
118
&4/&5.BUSJY1BOFM1MVHJO
্࣮ͷͰ·ͩࢹ
Ͱ͖͍ͯͳ͍3/*$ͷ
Έ߹Θͤ͋Γ
%TU
3/*$T
4SD3/*$T
Slide 119
Slide 119 text
5章 まとめ
ݱঢ়
੍
Ϊϟοϓ
05FM (SBGBOBͰϝτϦΫεɾϩάɾϓϩϑΝΠϧج൫Λߏஙͨ͠ɻ
Ϧιʔεੳ͏·͍͍ͬͯ͘Δ͕ɺϫʔΫϩʔυੳ͕ະୡɻ
ΞϓϦέʔγϣϯϩάίʔυͷܭɾऩूෆՄ
ᶃֶशॲཧաఔͷࢄτϨʔε
ᶄΞϓϦ͔Πϯϑϥ͔ͷΓ͚
ᶅϚΠΫϩόʔετࢹ
(16θϩίʔυܭʢF#1'Ͱ$6%"υϥΠό෦ͷΠϕϯτ૬ؔʣ
ϝογϡঢ়ͷ3%."1JOHγεςϜͷ࣮
119
Slide 120
Slide 120 text
6. AIスパコンの障害管理に関する
研究動向
Slide 121
Slide 121 text
σʔλۦಈΞϓϩʔν ߏతΞϓϩʔν
ܭࢉϊʔυҎ֎ͷண
.JOEFS
-
F"$(. --.1SJTN
"FHJT
9165JNFS
4LFMFUPO)VOUFS
1"$&
طଘͷςϨϝτϦʔσʔλʹର
͠ʮڭࢣͳֶ͠शʯΛద༻͠ɺ
ෳࡶͳҟৗΛࣗಈݕ͢Δɻ
ࢄֶशಛ༗ͷ௨৴ύλʔϯʢಉ
ظɺू߹௨৴ʣͱ͍͏ʮυϝΠϯ
ࣝʯΛ׆༻͠ɺϒϥοΫϘοΫε
ͱͳΔڍಈΛղ໌͢Δɻ
ܭࢉϊʔυҎ֎ͷΠϯϑϥʢίϯςφωοτϫʔΫɺϑΝγϦςΟʣͷෳࡶ
ੑযΛͯΔɻ
ੳख๏ ػցֶश׆༻
υϝΠϯࣝ׆༻
ϗετɾ
ΞϓϦ
෦
ωοτ
ϫʔΫɾ
Πϯϑϥ
؍ଌ
主要な研究トレンド
Slide 122
Slide 122 text
切り
口
① 観測点 ーどこからシステムを観測するか
"ωοτϫʔΫத৺
#࣮ߦτϨʔεɾ෦ঢ়ଶத৺
$ϊʔυத৺
%ͦͷଞʢϑΝγϦςΟɾ༧ଌʣ
εΠον௨৴ϑϩʔʹணɻ
ιϑτΣΞελοΫ෦ͷڍಈ
Λਂ͘ɻ
--.1SJTN εΠονͷϛϥʔϦϯάσʔλ͔Β
ϑϩʔΛੳ
4LFMFUPO)VOUFS ίϯςφؒͷ
௨৴ύλʔϯΛਪ͠ɺ1JOHͰোಛఆ
9165*.&3 ΧʔωϧͷϨδελΛτϨʔε
F"$(. F#1'ͰϑϧελοΫใΛऔಘ
"FHJT ௨৴ϥΠϒϥϦͷ෦ΧϯλʔΛར༻
04(16͔Βग़ྗ͞Εͨ౷ܭ
ใϩάΛੳɻ
.JOEFSʢ$16(16ར༻ͳͲͷ࣌ܥྻσʔ
λΛࢹʣ-ʢେͳςΩετϩάΛղੳʣ
*5ػث֎෦ɺ࣮ଌҎ֎ͷσʔ
λΛར༻ɻ
1"$&ʢྫྷ٫ஔిྗઃඋͳͲͷ
ϑΝγϦςΟςϨϝτϦʔΛੳʣ
;IBOHFUBMʢϚΠΫϩϕϯνϚʔ
Ϋʹجͮ͘ੑೳ༧ଌʣ
Slide 123
Slide 123 text
切り
口
② 障害診断のアルゴリズム
"ڭࢣͳֶ͠शɾ౷ܭϞσϧ #ϧʔϧϕʔεɾཧਪ
$ճؼੳɾ༧ଌ
ਖ਼ৗύλʔϯͷֶश౷ܭతภࠩΛར༻ɻ
.JOEFSʢ-45.7"&ͰϚγϯؒͷڍಈͷ
ඇྨࣅΛଌఆʣɼF"$(.ʢࠞ߹Ψε
ϞσϧͰੑೳ͔ΒͷٯΛݕʣɼ
1"$&ʢάϨϯδϟʔҼՌੑݕఆͰҼՌά
ϥϑΛߏஙʣɼ-ʢ*TPMBUJPO'PSFTUͰϩά
ύλʔϯͷҟৗΛݕग़ʣ
υϝΠϯࣝʹجͮ͘ϩδοΫͰঢ়ଶΛ
ಛఆɻ
"FHJT ௨৴Χϯτͷෆ߹ΛϧʔϧͰൺ
ֱʣ9165*.&3 ௨৴Χʔωϧͷϧʔϓεςο
ϓΛൺֱ
--.1SJTN ௨৴ྔͱִ͔ؒΒฒ
ྻԽઓུΛਪ
4LFMFUPO)VOUFSʢ௨৴όʔ
ετͷपظੑ͔ΒεέϧτϯΛਪʣ
ཧϞσϧʹΑΔੑೳ༧ଌɻ
;IBOHFUBMʢϥϯμϜϑΥϨετͰԋࢉࢠͷ
࣮ߦ࣌ؒΛ༧ଌʣ
Slide 124
Slide 124 text
切り
口
③ 侵
入
性 ー システム介
入
の要求度合い
ඇ৵ೖܕɾ
ϒϥοΫϘοΫε
θϩܭ
ϥΠϒϥϦஔɾ
ΤʔδΣϯτܕ
Ϣʔβʔίʔυڥͷม
ߋ͕Ұෆཁɻ֎෦͔Β؍ଌ
ՄೳͳσʔλͷΈΛ༻ɻ
--.1SJTN εΠονϛϥʔϦϯ
άʣ.JOEFSʢطଘϝτϦΫ
εʣɺ-ʢطଘϩάʣɺ1"$&
ʢϑΝγϦςΟσʔλʣ
ίʔυमਖ਼ෆཁ͕ͩɺ
࣮ߦϓϩηεͷհೖ
ʢΞλονʣΛߦ͏ɻ
F"$(. F#1'ϑοΫʣ
9165*.&3 τϨʔγϯάσʔ
ϞϯΛΞλον
γεςϜίϯϙʔωϯτͷ
Ұ෦Λஔ͖͑Δ͔ɺαΠ
υΧʔΛஔ͢Δɻ
"FHJT ΧελϜ௨৴ϥΠϒ
ϥϦʹஔʣ
4LFMFUPO)VOEFS αΠυ
Χʔίϯςφͱͯ͠ΤʔδΣ
ϯτΛஔʣ
Slide 125
Slide 125 text
7. まとめ
Slide 126
Slide 126 text
まとめ
ᶃਂֶशͱܭࢉػΞʔΩςΫνϟ
ᶄ͘͞Β0/&ͷߏங
ᶅδϣϒੳͱϕϯνϚʔΩϯά
ᶆՄ؍ଌੑͷ্ͱ՝
(16͕උ͑ΔଟͷίΞͱ)#.͕׆͖Δ
େنϞσϧʹࢄֶशٕज़ʢ%1
11
51ʣ͕ඞਢ
ߴΠϯλʔίωΫτ
ʢ/7-JOL
3%."ʣ
501ੈքҐɹҐҎͰΦʔϓϯٕज़ʢ40/*$04ʣΛ།Ұ࠾༻
)
)
#ΛͦΕͧΕ࠾༻ͨͭ͠ͷΫϥελ
Ϧιʔεੳཱ֬ɺϫʔΫϩʔυੳʹʮΪϟοϓʯ
Ϧιʔεফඅେنδϣϒ͕த৺͕ͩɺ։ൃ͕ਐΉͱখنԽ
F#1'ʹΑΔθϩίʔυܭ3%."ϝογϡࢹͷݚڀ։ൃ͕ਐߦத
ԋࢉޮʢ.'6ʣ
Slide 127
Slide 127 text
さくらインターネット 関連資料①
IUUQTXXXKBOPHHSKQNFFUJOHKBOPHDBCMFEFTJHO
127
IUUQTXXXKBOPHHSKQNFFUJOHKBOPHTBLVSB
Slide 128
Slide 128 text
さくらインターネット 関連資料②
IUUQTTQFBLFSEFDLDPNNBSLVOFUBJJOIVSBXPLBPFSV
IUUQTTQFBLFSEFDLDPNTPOJDTPOJDEFHPV[IVZVOZPOH
TVSVTIFOHDIFOHBJYJBOHLFQBCVSJUVLVLVSBVEPOFUVUPXBLV
Slide 129
Slide 129 text
さくらインターネット 関連資料③
IUUQTLOPXMFEHFTBLVSBBEKQ IUUQTLOPXMFEHFTBLVSBBEKQ
Slide 130
Slide 130 text
（宣伝）さくらインターネットの
高
火
力
サービス
IUUQTHQVTBLVSBBEKQHQVDMPVETFSWJDF
130