Share
Embed
AIスパコン「さくらONE」の オブザーバビリティ / Observability for AI Supercomputer SAKURAONE
Yuuki Tsubouchi (yuuk1)
October 26, 2025
Transcript
62 slides
-
来歴 2 2013 2019 2020 2025 ݱࡏ ウェブ オペレーション SRE
さくら インターネット 研究所 はてな 京都 大 学 大 学院 情報学研究科 博 士 (情報学) 取得 AIOps AI Supercomputer eBPF TSDB -
4 アジェンダ はじめに さくらONEの オブザーバビリ ティ現状
オブザーバビリ ティ・ギャップ まとめ -
5 アジェンダ はじめに さくらONEの オブザーバビリ ティ現状
オブザーバビリ ティ・ギャップ まとめ AIスパコンの前提知識 -
深層学習モデルの「学習」と「推論」 ֶश ਪ ΞϓϦέʔγϣϯ "1* σʔληοτ ֶशδϣϒ ϞσϧͷதʢॏΈͳͲʣΛ࡞Δఔ ϞσϧΛͬͯ͑Λฦ͢ఔ (16
(16 (16 (16 (16 (16 ϞσϧαʔϏϯά νϟοτΤʔδΣϯτͳͲ ֶशࡁΈϞσϧ ॏΈύϥϝʔλͳͲ σϓϩΠ ຊߨԋͷର 1. ͡Ίʹ 6 -
深層学習の処理の流れ 反復構造をもつ ॱൖ ޡࠩ ٯൖ ύϥϝʔλ ߋ৽ ޡࠩࢉग़ ޯ ֶशσʔλ
ॱൖ ʜ ֶशσʔλ ΦϓςΟϚΠβ ޡࠩΛখ͘͢͞Δ ύϥϝʔλࢉग़ ΠςϨʔγϣϯ̍ ΠςϨʔγϣϯ̎ --.։ൃͰֶशδϣϒΛԿճೖͯ͠ࢼ ߦࡨޡ͢ΔͨΊɺδϣϒ࣮ߦΛߴԽ͍ͨ͠ 7 1. ͡Ίʹ -
分散深層学習 - データ並列 データを分割する ॱൖ ٯൖ ύϥϝʔλ ߋ৽ ॱൖ ٯൖ
ύϥϝʔλ ߋ৽ ॱൖ ٯൖ ύϥϝʔλ ߋ৽ "MM3FEVDF ʢ૯ʣ (16 (16 (16 ֤(16ϝϞϦ্ͷܭࢉ݁ՌΛूԋࢉ ͠ɺ֤(16্ͷϝϞϦ݁ՌΛ ूஂ௨৴ 8 1. ͡Ίʹ -
分散深層学習 - モデル並列 モデルを分割する ςϯιϧฒྻ ॱ ߋ৽ ( 1 6
ٯ ύΠϓϥΠϯฒྻ ॱ ॱ ॱ ٯ ٯ ٯ ߋ৽ ( 1 6 ϞσϧͷΛ࿈ଓͨ͠εςʔδʹׂ ݸʑͷͷςϯιϧʢߦྻʣΛׂ ߋ৽ ߋ৽ ॱ ॱ ٯ ٯ ूஂ௨৴ ूஂ௨৴ (16 (16 9 1. ͡Ίʹ -
AIモデル開発とGPU 1. ͡Ίʹ “I love the smell of GPUs melting”
˞IUUQTYDPNTBNBTUBUVT ΑΓҾ༻ʢଠࣈ෦վมʣ CZ4BN"MUNBO ˞ 'SBOL)FMNT l)PX"*8PSLMPBET4IBQF)BSEXBSF"SDIJUFDUVSFz l5IF)PU$IJQJTB3BDLz "*-JUFSBMMZ%FNBOETXF5IJOL0VUTJEFUIF#PY )PU$IJQTΑΓసࡌ (16Ϋϥελن Ͱ͔ΒL (16·Ͱ૿େ 10 -
AIスパコンのトポロジ例(Meta RSC-1) ,PLPMJT "QPTUPMPT FUBM 3FWJTJUJOH3FMJBCJMJUZJO-BSHFTDBMF.BDIJOF -FBSOJOH3FTFBSDI$MVTUFSTz )1$" 'JHΑΓసࡌ αʔόɾϥοΫɾ1PEؒ
ΠϯλʔίωΫτωοτϫʔΫ d(CQT αʔόΠϯλʔίωΫτ (#T 11 1. ͡Ίʹ -
さくらONEの構成 ',POJTIJ4",63"0/&&NQPXFSJOH5SBOTQBSFOUBOE0QFO"*1MBUGPSNTUISPVHI1SJWBUF4FDUPS )1$*OWFTUNFOUJO+BQBOBS9JW 13 1. ͡Ίʹ ʢ͜ΕҎ֎ͷ͘͞Β0/&Ϋϥελ͋Γʣ (16 /PEF
(16 /PEF (16 /PEF (16 /PEF *OUFSDPOOFDU/FUXPSL 4UPSBHF/FUXPSL 4UPSBHF OPEFT $16DPSFT (16T ) /*$T (C& (C& (C& 1# -
AIスパコンの利 用 (さくらONEの例) δϣϒ εέδϡʔϥ ʢ4MVSNʣ ϩάΠϯϊʔυ 44) ࢄฒྻ ετϨʔδ
IPNFҎԼΛ Ϛϯτ δϣϒߘ NPVOU NPVOU NPVOU εέδϡʔϥ͕Ϣʔβʔʹࢦఆ͞Εͨܭࢉϊʔυ܊Λ ֬อ͠ɺ֤ϊʔυ্ͰεΫϦϓτΛಉ࣌ىಈ͢Δ TMVSNDUME 1. ͡Ίʹ TMVSNE TDSJQU TMVSNE TDSJQU TMVSNE TMVSNE TDSJQU TDSJQU 14 -
ウェブアプリケーションとの対 比 (処理モデル) ΣϒΞϓϦ ࢄֶश 8PSLFS 8PSLFS 8PSLFS 8PSLFS 8PSLFS
8PSLFS #SPXTFST -# ܭࢉ ϊʔυ ϓʔϧ %# "QQ "QQ "QQ 4UPSBHF ϦΫΤετϨεϙϯε ঢ়ଶ֎෦ ʹӬଓԽ શ(16ϊʔυ͔Β ߴසɾେ༰ྔ*0 ࢄϝϞϦܕฒྻܭࢉ ಠཱͨ͠ଟͷ໋ϑϩʔॲཧ શϊʔυͰฒΈΛἧ͑Δόονॲཧ 1. ͡Ίʹ 15 -
ウェブアプリケーションとの対 比 (信頼性) 8PSLFS 8PSLFS 8PSLFS 8PSLFS 8PSLFS 8PSLFS #SPXTFST
ܭࢉ ϊʔυ ϓʔϧ %# "QQ "QQ "QQ 4UPSBHF Մ༻ੑͷॏࢹ νΣοΫϙΠϯτ ఆظอଘɾ෮ݩ தஅޙͷ࠶։ੑΛॏࢹ QQϨΠςϯγ Τϥʔ ओͳతม ओͳతม ֶशɾԋࢉεϧʔϓοτ τϥϯβΫ γϣϯʹΑ Δ"$*%อূ ̍ނো Ͱશఀࢭ -# ΣϒΞϓϦ ࢄֶश 1. ͡Ίʹ 16 -
17 アジェンダ はじめに さくらONEの オブザーバビリ ティ現状 オブザーバビリ
ティ・ギャップ まとめ -
AIスパコンサービスのオブザーバビリティ要求 Ϣʔβʔ ϓϩόΠμʔ ֶशॲཧੑೳ োɾނোཧ ඪࢦඪ ਂֶशͷॲཧͷ༁ ֶशɾԋࢉεϧʔϓοτ ΞϓϦέʔγϣϯ σόΠε
ঢ়ଶνΣοΫ ϦιʔεফඅྔɾΤϥʔ ܭࢉࢿݯͷར༻ ܭࢉࢿݯͷར༻ Ҽࢠղ ϫʔΫϩʔυ ੳ Ϧιʔε ੳ 2. ͘͞ΒONEͷΦϒβʔόϏϦςΟͷݱঢ় 18 -
責任境界による計装・収集の制約 Ϣʔβʔ ϓϩόΠμʔ 04 δϣϒ εέδϡʔϥ ڥք σόΠε ΞϓϦέʔγϣϯ υϥΠό
γεςϜϥΠϒϥϦ ΞϓϦέʔγϣϯ ϩάͷऩूෆՄ ΞϓϦέʔγϣϯ ίʔυͷܭෆՄ 2. ͘͞ΒONEͷΦϒβʔόϏϦςΟͷݱঢ় 19 -
リソース分析の概観 Grafanaダッシュボードの構成 ۭؒϏϡʔ ࣌ܥྻϏϡʔ δϣϒϏϡʔ ࠓͳʹ͕ى͖͍ͯΔʁ աڈԿ͕ى͖͔ͨʁ ಛఆδϣϒʹண ݸผ࣌ܥྻϏϡʔ ಛఆ(16ͳͲ
%BUBMJOL %BUBMJOL 2. ͘͞ΒONEͷΦϒβʔόϏϦςΟͷݱঢ় 21 -
空間ビュー:パーティション別統計① ԋࢉεϧʔϓοτ ʢ%$(.ਪఆʣ (16༻ ςϯιϧίΞ༻ --.ֶशͰ͙ Β͍͍͑ͯΔͱྑ͍ ˞7 "OESFJ FUBM
4:45&.!4$"-&"*0CTFSWBCJMJUZ IUUQTBUTDBMFDPOGFSFODFDPNTZTUFNTDBMFBJPCTFSWBCJMJUZ ˞ Ͱ͋ͬͯ(16ͷԋ ࢉޮ͕ߴ͍ͱݶΒͳ͍ 23 -
データパイプラインの構成(全体像) (16/PEFT -PHJO/PEFT *OUFSDPOOFDU4XJUDIFT #BDLFOET 05F-$PMMFDUPS (BUFXBZ 05F-$PMMFDUPS
"HFOU 1ZSPTDPQF 7JDUPSJB.FUSJDT 7JDUPSJB-PHT .FUSJDT -PHT 1SP fi MFT 05-1 05-1 &YQPSUFST &YQPSUFST &YQPSUFST 4ZTMPH -PHT -PHT 4DSBQF ˠσʔλͷྲྀΕΛද͢ 7JTVBMJ[BUJPO (SBGBOB 2. ͘͞ΒONEͷΦϒβʔόϏϦςΟͷݱঢ় 32 -
GPUノードの構成 (16/PEFT 05F-$PMMFDUPS "HFOU *1.*&YQPSUFS +PVSOBME 3%."&YQPSUFS /PEF&YQPSUFS %$(.&YQPSUFS
-VTUSF&YQPSUFS 1SPDFTT&YQPSUFS 4DSBQF 1SPNFUIFVT 3FDFJWFS πʔϧΛগͳ͘͢ΔͨΊʹ 05F-$PMMFDUPSओମͰऩू +PVSOBME 3FDFJWFS WBSMPHTMVSN 'JMF-PH 3FDFJWFS ʢࣗ࡞ʣ ˞HJUIVCDPNZVVLJSENB@FYQPSUFS ˞ PQFOUFMFNFUSZ FCQGQSP fi MFS (BUFXBZ 05-1 ˞HJUIVCDPN(4*)1$MVTUSF@FYQPSUFS ˞ 2. ͘͞ΒONEͷΦϒβʔόϏϦςΟͷݱঢ় 33 -
ログとプロファイルに関する所感 まだ有効利 用 できていない w ཁ্݅ɺଟ͘ͷใؚ͕·ΕΔΞϓϦϩάΛऔಘෆՄ w ϓϥοτϑΥʔϜଆͰཧ͢ΔϛυϧΣΞ͕গͳ͍ w εέδϡʔϥʔʢ4MVSNʣڞ༗ετϨʔδʢ-VTUSF'4PO%%/ʣͷΈ
2. ͘͞ΒONEͷΦϒβʔόϏϦςΟͷݱঢ় ϩά w (163%."௨৴ΛؚΉϓϩϑΝΠϧΛऔಘͰ͖ͳ͍ w ࢄτϨʔε͕ͳ͍ ϓϩϑΝΠϧ 34 -
͜͜·Ͱʮܭଌ͍͢͜͠ͱʯΛ͖ͬͯͨ はじめに AIスパコン の前提知識 さくらONE のオブザーバ
ビリティ現状 オブザー バビリティ ・ギャップ まとめ アジェンダ -
深層学習の処理過程をトレースしたい ֶशδϣϒ ΤϙοΫ̍ ΠςϨʔγϣϯ̍ (16 (16 ΤϙοΫ̍ ΠςϨʔγϣϯ̍ ࣌ؒ ΠςϨʔγϣϯ
ΤϙοΫ ΠςϨʔγϣϯ ΤϙοΫ ܭࢉͱ௨৴ͷΦʔόʔϥοϓ ֤εύϯͷܦա࣌ؒϦιʔεফඅྔΛܭଌ ूஂ௨৴ ॱ ٯ ύϥϝλ ߋ৽ ूஂ௨৴ ॱ ٯ ύϥϝλ ߋ৽ 3. ΦϒβʔόϏϦςΟɾΪϟοϓ 38 -
集団通信の処理過程をトレースしたい (16 (16 (16 (16 (16
(16 (16 / (16 / (16 / ࣌ؒ (16 (16 (16 / εΠον αʔό̍ αʔό αʔό/ 3JOHΞϧΰϦ ζϜͷҰྫ શ(16͕ಉ࣌ʹྡʹσʔλ Λૹ৴͠ଓ͚Ϧϯά্Λपճ αʔό/ -FBG /*$ /*$ /*$ /*$ -FBG 3. ΦϒβʔόϏϦςΟɾΪϟοϓ 39 -
GPUプロファイリング 40 MLPerf Training GPT-3のベンチマーク中に取得 Pytorch Pro fi lerの結果をPerfettoで可視化 NT
ΠϯλʔίωΫτ௨৴ NT NT NT Ұൠతʹɺਂ'8ଂ/7*%*"͕ఏڙ͢ΔϓϩϑΝΠϥΛ͏ $615* /TJHIU4ZTUFNT 1Z5PSI1SP fi MFS ,JOFUP 3. ΦϒβʔόϏϦςΟɾΪϟοϓ -
ギャップ① 現 行 GPUプロファイラの課題 ˞&:PVTFG[BEFI"TM.JBOEPBC FUBM l1SP fi MJOHBOE.POJUPSJOH%FFQ-FBSOJOH5SBJOJOH5BTLTz
&VSP.-4ZT Ϣʔβʔཧ ॏ͍Φʔόʔϔου Ϣʔβʔ͕༗ޮԽ͢Δඞཁ͕͋ΔͨΊɺ ϓϥοτϑΥʔϚʔཁ݅Λຬͨ͞ͳ͍ 1Z5PSDI1SP fi MFS͕ഒԆΛ૿Ճ ͤ͞Δใࠂ͋Γ˞ ΞϓϦέʔγϣϯʹରͯ͠ඇ৵ೖͳܗࣜͰ Φʔόʔϔουͷ;FSP$PEFܭΛ͍ͨ͠ 3. ΦϒβʔόϏϦςΟɾΪϟοϓ 41 -
ギャップ① Zero Code計装 eBPFによるZero Code計装による分散トレーシング技術は確 立 しつつあるが… ˞IUUQTHJUIVCDPNHSBGBOBCFZMB ˞IUUQTEFFQ
fl PXJP • GPUの内部処理はOSカーネル内からはみえない • GPU間通信はOSカーネルのNWスタックを経由しない ˞˞˞ ˞IUUQTPQFOUFMFNFUSZJPEPDT[FSPDPEFPCJ (16ݻ༗ͷ͕ඞཁ #FZMB %FFQ'MPX 0#*ͳͲ 3. ΦϒβʔόϏϦςΟɾΪϟοϓ ✘ 42 -
ギャップ① GPUゼロコード計装の最先端 $6%""1* (16υϥΠό ˞zF#1'5VUPSJBM5SBDJOH$6%"(160QFSBUJPOTz IUUQTFVOPNJBEFWUVUPSJBMTDVEBFWFOUT ˞lF#1'5VUPSJBMCZ&YBNQMF.POJUPSJOH(16%SJWFS"DUJWJUZXJUI,FSOFM5SBDFQPJOUTz IUUQTFVOPNJBEFWUVUPSJBMTYQVHQVLFSOFMESJWFS ˞l8SJUFBOE3VOF#1'PO(16XJUICQGUJNFz
IUUQTFVOPNJBEFWFOCQGUJNFEPDVNFOUTHQV VQSPCFT MJCDVEBSUTP (16ͷϝϞϦׂɾసૹɾಉظɺΧʔωϧىಈؔʹϑοΫ USBDFQPJOUT LQSPCFT ϥϯΩϡʔͷਂ͞9*%ΤϥʔΛܭଌՄೳ ˞ ˞ ˞ CQGUJNF ඇಉظ(16෦ͷৄࡉܭଌࠔ Ϣʔβʔͷ1ZUIPOϓϩηεͱͷඥ͚ͮՄೳ 04ΧʔωϧͷൣᙝͳͷͰɺҰൠతͳLQSPCFTͳͲͰܭଌՄೳ ඇಉظͰ(16ج४Ͱͷ࣌ࠁ͕Θ͔Δ (16ͷϫʔϓεϨου୯ҐཻͰͷܭଌ 159ʢ(16தؒදݱʣίʔυF#1'ίʔυΛೖ Ϣʔβʔۭؒ F#1'ϥϯλΠϜ <)%$4 F(16> <04%* CQGUJNF> 3. ΦϒβʔόϏϦςΟɾΪϟοϓ (16෦ 43 -
ギャップ①:GPUゼロコード計装の課題 $6%""1* (16υϥΠό (16෦ ਂֶश'8ʢ1ZUIPOʣ ࢄτϨʔγϯάͷؼணʹ ֤ͷΠϕϯτΛ૬ؔͤ͞Δඞཁ͋Γ (16ϝϞϦؒ௨৴ ݪཧతʹܭଌͰ͖Δͣʜ
5SBDF*%ͷൖΛͲ͏Δ͔ʁʁ ݱঢ়·ͩͦͷΑ͏ͳ πʔϧͳ͍ ݚڀ։ൃͷྖҬ 3. ΦϒβʔόϏϦςΟɾΪϟοϓ 44 -
ギャップ②:アプリかインフラの問題切り分け [Liu+,SIGCOMM24] ネットワークの問題か?切り分けが難しい ‣ アプリログには集合通信ライブラリ(NCCL)が”error code 12”がみえるが… ‣ 原因は、ホスト側の問題(GPUダウン・ハング・メモリ不 足
・NCCL誤設定) であることも 3. ΦϒβʔόϏϦςΟɾΪϟοϓ 46 -
ギャップ② R-Pingmesh RNIC to RNICのアクティブプルービングによるRoCEネットワーク監視 47 ③ 継続的なプルービン グによるRTT・パケッ
トロスの常時計測 ②RoCEパケットに よるプルービング ① サービストラフィッ クとは独 立 したRNIC 単位のプルービング 3. ΦϒβʔόϏϦςΟɾΪϟοϓ -
IUUQTTQFBLFSEFDLDPNZVVLJUFCQGKBQBONFFUVQOVNCFS ギャップ② R-Pingmeshの論 文 実装 ·్࣮ͩதͷͨΊ ະσϓϩΠ IUUQTHJUIVCDPNZVVLJSQJOHNFTI MJCJCWFSCT
(P DJMJVNFCQG H31$ 3RMJUF 0QFO5FMFNFUSZ4%, 3. ΦϒβʔόϏϦςΟɾΪϟοϓ 48 -
はじめに AIスパコン の前提知識 さくらONE のオブザーバ ビリティ現状
オブザー バビリティ ・ギャップ まとめ アジェンダ -
まとめ ݱঢ় 4. ·ͱΊ ੍ Ϊϟοϓ 05FM (SBGBOBͰϝτϦΫεɾϩάɾϓϩϑΝΠϧج൫Λߏஙͨ͠ɻ Ϧιʔεੳ͏·͍͍ͬͯ͘Δ͕ɺϫʔΫϩʔυੳ͕ະୡɻ ΞϓϦέʔγϣϯϩάίʔυͷܭɾऩूෆՄ
ᶃֶशॲཧաఔͷࢄτϨʔε ᶄΞϓϦ͔Πϯϑϥ͔ͷΓ͚ ᶅϚΠΫϩόʔετࢹ AIスパコンサービスのオブザーバビリティの道は ハードモード (16θϩίʔυܭʢF#1'Ͱ$6%"υϥΠό෦ͷΠϕϯτ૬ؔʣ ϝογϡঢ়ͷ3%."1JOHγεςϜͷ࣮ 50 -
References • Jiangfei Duan, et al., “Ef fi cient Training
of Large Language Models on Distributed Infrastructures: A Survey”, arXiv, 2024. • Qian Ding, “Transformers in SRE Land:Evolving to Manage AI Infrastructure”, USENIX SREcon25 America, 2025. • Deepak Narayanan, et al., “Ef fi cient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM”, the International Conference for High Performance Computing, Networking, Storage, and Analysis (SC), 2021. • Yusheng Zheng, et al., “Extending Applications Safely and Ef fi ciently”, USENIX OSDI, 2025. • Yiwei Yang, et al., “eGPU: Extending eBPF Programmability and Observability to GPUs”, Workshop on Heterogeneous Composable and Disaggregated Systems (HCDS), 2025. 4. ·ͱΊ 56 -
テレメトリーの統計値など *OHFTUJPOSBUF "DUJWFTFSJFT.JM A. 05F-$PMMFDUPS 4DSBQFJOUFSWBMT /PEF&YQPSUFSTFD ,EBUBQPJOUTTFD %$(.&YQPSUFSTFD
-VTUSF&YQPSUFSTFD 3%."&YQPSUFSTFD *1.*&YQPSUFSTFD 1SPDFTT&YQPSUFSTFD 7JDUPSJB.FUSJDT 58 -
AIOps for AI Supercomputers • [Deng+, NSDI2025] Minder: Faulty Machine
Detection for Large-scale Distributed Model Training • [Xu+, IWQoS2025] eACGM: Non-instrumented Performance Tracing and Anomaly Detection towards Machine Learning Systems • [Jiang+, FSE2025] L4: Diagnosing Large-scale LLM Training Failures via Automated Log Analysis • [Jiang+, DSN2025] LLMPrism: Black-box Performance Diagnosis for Production LLM Training Platforms • [Cui+, arXiv2025] XPUTimer: Anomaly Diagnostics for Divergent LLM Training in GPU Clusters of Thousand-Plus Scale • [Dong+, NSDI2025] Evolution of Aegis: Fault Diagnosis for AI Model Training Service in Production 62