Share
Embed
AIスーパーコンピュータにおけるLLM学習処理性能の計測と可観測性 / AI Supercomputer LLM Benchmarking and Observability
https://www.ipsj-chugoku.jp/kouenkai/2025-20251222.html
+ 演題:
AIスーパーコンピュータにおけるLLM学習処理性能の計測と可観測性
+ 講師:
坪内 佑樹 氏(さくらインターネット株式会社 さくらインターネット研究所 上級研究員)
+ 講演概要:
LLMに代表される大規模なAI基盤モデルの学習には、数百から数万基の高性能GPU、高帯域・低遅延のネットワークや分散ストレージを統合した高性能計算基盤(AIスパコン)が不可欠である。AIスパコンでは、ハードウェアの故障・劣化やソフトウェア設定の不備により、学習ジョブの停止や性能劣化、非効率な実行が引き起こされるが、数多くの異種デバイスが協調して動作することから、原因やボトルネックの特定はときに困難である。そのため、システム内部の観測性向上やテレメトリーデータを機械学習で分析する手法が近年研究されている。本講演では、AIモデル学習のワークロード、AIスパコンの計算機アーキテクチャ、信頼性の基本概念と最新の研究動向を解説する。さらに、さくらインターネットが提供するAIスパコンサービス「さくらONE」を事例に、MLPerfベンチマークによる性能計測と可観測性向上の取り組みを紹介する。
Yuuki Tsubouchi (yuuk1)
December 22, 2025
Transcript
130 slides
-
坪内 佑樹 2013 2019 2020 2025 ݱࡏ Monitoring SaaS SRE
さくら インターネット 研究所 はてな 京都 大 学 大 学院 情報学研究科 博 士 後期課程 博 士 (情報学) 取得 AIOps AI Supercomputer eBPF 大 阪 大 学 大 学院 情報科学 研究科 (中途退学) -
ਂֶशͱܭࢉػΞʔΩςΫνϟ ͘͞Β0/& ֶशδϣϒͷཤྺσʔλͷੳ --.ࢄֶशͷϕϯνϚʔΩϯά ΦϒβʔόϏϦςΟʢՄ؍ଌੑʣ "*εύίϯͷোཧʹؔ͢Δݚڀಈ ·ͱΊ アジェンダ "*εύίϯͷཁૉٕज़ͷ ֓ཁΛհ͢Δɻ
w ਂֶशͷܭࢉෛՙ w ਂֶशͱ(16 w ෳ(16ʹΑΔࢄਂֶश w Ϋϥελߏ w ωοτϫʔΫ w ετϨʔδ -
ਂֶशͱܭࢉػΞʔΩςΫνϟ ͘͞Β0/& ֶशδϣϒͷཤྺσʔλͷੳ --.ࢄֶशͷϕϯνϚʔΩϯά ΦϒβʔόϏϦςΟʢՄ؍ଌੑʣ "*εύίϯͷোཧʹؔ͢Δݚڀಈ ·ͱΊ アジェンダ ͘͞Β0/&ʹ͓͚Δ (15ͷϕϯνϚʔΫ
w /7*%*"&04ͱͷൺֱ w ɺϊʔυͱͷൺֱ w ֶशͷඪੑೳࢦඪ -
ਂֶशͱܭࢉػΞʔΩςΫνϟ ͘͞Β0/& ֶशδϣϒͷཤྺσʔλͷੳ --.ࢄֶशͷϕϯνϚʔΩϯά ΦϒβʔόϏϦςΟʢՄ؍ଌੑʣ "*εύίϯͷোཧʹؔ͢Δݚڀಈ ·ͱΊ アジェンダ ͘͞Β0/&ʹ͓͚Δ Մ؍ଌੑ্ͷऔΓΈ
w μογϡϘʔυ։ൃ w ςϨϝτϦʔγεςϜߏ w F#1'ʹΑΔθϩܭ -
ਂֶशͱܭࢉػΞʔΩςΫνϟ ͘͞Β0/& ֶशδϣϒͷཤྺσʔλͷੳ --.ࢄֶशͷϕϯνϚʔΩϯά ΦϒβʔόϏϦςΟʢՄ؍ଌੑʣ "*εύίϯͷোཧʹؔ͢Δݚڀಈ ·ͱΊ アジェンダ "*εύίϯ͚ͷ োݪҼੑೳ༧ଌͷݚڀಈ
w ػցֶशϕʔεΞϓϩʔν w ϧʔϧϕʔεͷߏతΞϓ ϩʔν w ϑΝγϦςΟɾ༧ଌ -
深層学習モデルの「学習」と「推論」 ֶश ਪ ΞϓϦέʔγϣϯ "1* σʔληοτ ֶशδϣϒ ϞσϧͷதʢॏΈͳͲʣΛ࡞Δఔ ϞσϧΛͬͯ͑Λฦ͢ఔ (16
(16 (16 (16 (16 (16 ϞσϧαʔϏϯά νϟοτΤʔδΣϯτͳͲ ֶशࡁΈϞσϧ ॏΈύϥϝʔλͳͲ σϓϩΠ ຊߨԋͷର 14 -
深層学習の処理の流れ 反復構造をもつ ॱൖ ޡࠩ ٯൖ ॏΈߋ৽ ޡࠩࢉग़ ޯ ֶशσʔλ ॱൖ
ʜ ֶशσʔλ ΦϓςΟϚΠβ ޡࠩΛখ͘͢͞Δ ύϥϝʔλࢉग़ ΠςϨʔγϣϯ̍ ΠςϨʔγϣϯ̎ ΠςϨʔγϣϯສ͔Βඦສʹ ٴͿͨΊɺ࣮ߦΛߴԽ͍ͨ͠ 15 (16Λ͏ -
Transformerにおける 行 列積和演算 -BZFS/PSN -BZFS/PSN %SPQPVU -JOFBS -JOFBS -JOFBS 4FMG
"UUFOUJPO 9 : %SPQPVU (F-6 ॱൖ ٯൖ "UUFOUJPO .-1 5SBOTGPSNFS-BZFS Yl ଛࣦ ೖྗຒΊࠐΈʢτʔΫϯͳͲʣ O(Bsh2) O(Bs2h + Bsh2) O(Bsh2) ɿγʔέϯε s ɿӅΕͷ࣍ݩ h ɿόοναΠζ B <>/BSBZBOBO %FFQBL FUBM& ff i DJFOUMBSHFTDBMFMBOHVBHFNPEFMUSBJOJOHPOHQVDMVTUFST VTJOHNFHBUSPO-. 4$ ܭࢉྔ<>Λ جʹΦʔμʔ දهʹม O(Bsh2) ɿॏΈύϥϝʔλͷ ࢧ߲ lh2 -
LLMの重みパラメータ数と層数 Ϟσϧ ॳग़ ॏΈύϥϝʔλ (15 # -MBNB
# -MBNB # %FFQ4FFL7 # 2XFO # 2XFO # 2XFO$PEFS # --.KQ # l -
AIモデル開発とGPU “I love the smell of GPUs melting” ˞IUUQTYDPNTBNBTUBUVT
ΑΓҾ༻ʢଠࣈ෦վมʣ CZ4BN"MUNBO ˞ 'SBOL)FMNT l)PX"*8PSLMPBET4IBQF)BSEXBSF"SDIJUFDUVSFz l5IF)PU$IJQJTB3BDLz "*-JUFSBMMZ%FNBOETXF5IJOL0VUTJEFUIF#PY )PU$IJQTΑΓసࡌ (16Ϋϥελن Ͱ͔ΒL (16·Ͱ૿େ 19 -
Transformerの計算とGPUの適合性 5SBOTGPSNFSͷܭࢉಛੑ • 大 規模な 行 列積和演算 • 並列性が 高
い (トークンの計算の独 立 性) • メモリアクセスが頻繁 • 超並列処理 • 数千コアによる同時演算実 行 • 専 用 Tensor Core • 高 いメモリ帯域幅(HBM) (16ΞʔΩςΫνϟ -
分散深層学習 - データ並列(DP) モデルをGPUごとに複製し、データを分割して並列処理 ॱൖ ٯൖ ύϥϝʔλ ߋ৽ ॱൖ ٯൖ
ύϥϝʔλ ߋ৽ ॱൖ ٯൖ ύϥϝʔλ ߋ৽ ʢ૯ʣ (16 (16 (16 ֤(16͔ΒಘΒΕͨޯΛूԋࢉ͠ɺ ֤(16্ͷϝϞϦ݁ՌΛڞ༗ ूஂ௨৴ 24 -
集団通信 AllReduce ෳͷ3BOLʢ(16ͳͲʣ͕ࢀՃͯ͠ɺ͋ΔنଇʹैͬͯσʔλΛަɾू ͢Δ௨৴ύλʔϯͷ૯শ <>/7*%*"$PSQPSBUJPO l'BTU.VMUJ(16DPMMFDUJWFTXJUI/$$-z IUUQTEPDTOWJEJBDPN EFFQMFBSOJOHODDMVTFSHVJEFEPDTVTBHFDPMMFDUJWFTIUNM <>ΑΓసࡌ
"MM3FEVDFɺ֤(16্Ͱ૯Λܭࢉ͢Δɻશһ͕ಉ͡ू݁ՌΛಘΔɻ యܕతʹɺσʔλ ฒྻͷޯฏۉʹ ༻͞ΕΔɻ -
集団通信 AllGather <>/7*%*"$PSQPSBUJPO l'BTU.VMUJ(16DPMMFDUJWFTXJUI/$$-z IUUQTEPDTOWJEJBDPN EFFQMFBSOJOHODDMVTFSHVJEFEPDTVTBHFDPMMFDUJWFTIUNM <>ΑΓసࡌ ֤(16͕࣋ͭҟͳΔσʔλΛɺશ(16͕ूͯ͠શһ͕ಉ͡ʮશͳ σʔλʯΛ࣋ͭঢ়ଶ
ޙड़͢ΔϞσϧฒྻ;F30ʹ͓͍ͯɺࢄஔ͞ΕͨύϥϝʔλΛܭࢉલʹ ू͢Δࡍʹ༻ εΩοϓ -
モデルのパラメータ数増 大 メモリの壁(Memory Wall) (IPMBNJ "NJS FUBM "JBOE.FNPSZ8BMMz *&&&.JDSP 'JH
B ΑΓసࡌ Ϟσϧύϥϝʔλ͕ Ͱഒ "*ΞΫηϥϨʔλʢ(16 516ʣͷϝϞϦྔͰഒ 28 -
GPUメモリ上の代表的なデータ ύϥϝʔλʢXFJHIUTʣ ΦϓςΟϚΠβঢ়ଶ (1673".ۭؒ Ϟσϧঢ়ଶʢֶशεςοϓΛԣஅʣ Ұ࣌σʔλʢΠςϨʔγϣϯͷΈʣ ϛχόον தؒ׆ੑԽʢBDUJWBUJPOTʣ ॏΈߦྻͳͲ '1ϚελॏΈɺޯͷ
ཤྺɾ౷ܭྔͳͲ ಛྔɾϥϕϧͳͲ ॱൖͷ͝ͱͷܭࢉ݁Ռ ޯʢHSBEJFOUTʣ ٯൖͰܭࢉ͞ΕΔ݁Ռ େنϞσϧ ̍(16ϝϞϦ ʹΓΒͳ͍ 29 -
分散深層学習 - モデル並列 モデルを分割する ςϯιϧฒྻʢ51ʣ ॱ ߋ৽ ( 1 6
ٯ ύΠϓϥΠϯฒྻʢ11ʣ ॱ ॱ ॱ ٯ ٯ ٯ ߋ৽ ( 1 6 ϞσϧͷΛ࿈ଓͨ͠εςʔδʹׂ ݸʑͷͷςϯιϧʢߦྻʣΛׂ ߋ৽ ߋ৽ ॱ ॱ ٯ ٯ ूஂ௨৴ ूஂ௨৴ (16 (16 30 ௨৴ͷස͍ ௨৴ͷසߴ͍ 11 -
パイプライン並列 ー Naive Model Parallel <>/BSBZBOBO %FFQBL FUBM1JQF%SFBN(FOFSBMJ[FEQJQFMJOFQBSBMMFMJTNGPS%//USBJOJOH 04%*
<>'JHVSFΑΓసࡌ ಉ࣌ʹύΠϓϥΠϯʹଘࡏͰ͖Δೖྗ͕ݸ͚ͩͳͷͰɺ΄ͱΜͲͷεςʔ δ͕ͨ͞Εɺ(16ར༻͕ඇৗʹ͍ɻ ύΠϓϥΠϯ εςʔδɿ 5SBOTGPSNFSͷ ͕ͳΒ MBZFSTTUBHF ٯൖ͕Ϛεଓ͘ͷߦྻੵԋࢉͷίετΛදݱ͍ͯ͠Δ -
パイプライン並列 ー GPipe <>/BSBZBOBO %FFQBL FUBM1JQF%SFBN(FOFSBMJ[FEQJQFMJOFQBSBMMFMJTNGPS%//USBJOJOH 04%* ೖྗσʔλʢϛχόονʣΛ͞ΒʹϚΠΫϩόονʹׂͯ͠ྲྀ͢ <>ΑΓ'JHVSFΑΓసࡌ
ݸશͯͷόονͷॱൖΛྲྀ͖͠Γɺ ݸͷٯൖΛྲྀ͠Δ m( = 4) m -
3次元並列(ハイブリッド並列) <>%VBO +JBOHGFJ FUBM& ff i DJFOU5SBJOJOHPG-BSHF-BOHVBHF.PEFMTPO%JTUSJCVUFE*OGSBTUSVDUVSFT "4VSWFZBS9JW <>'JHΛղ૾ ͱΞεϖΫτൺΛ
มߋͯ͠࡞ σʔλฒྻʢ%1ʣ ύΠϓϥΠϯฒྻʢ11ʣ ςϯιϧฒྻʢ51ʣͷ̏ͭ Λಉ࣌ʹΈ߹Θͤͯɺ(16܈Λ࣍ݩͷ֨ࢠͱͯ͠ѻ͏ɻ -
AIスパコンの基本構成 37 (16 /PEF (16 /PEF (16 /PEF (16 /PEF
*OUFSDPOOFDU/FUXPSL 4UPSBHF/FUXPSL 4UPSBHF #BDLFOE/FUXPSLͱݺΕΔ 3%."εΠονͱ/*$ʹجͮ͘ (16ؒ௨৴༻ωοτϫʔΫ ετϨʔδ༻ωοτϫʔΫ ΠϯλʔίωΫτωοτϫʔΫͱ ڞ༗ʹͳΔέʔε͋Δ ฒྻࢄετϨʔδ ֶशσʔλνΣοΫϙΠϯτ͕ อଘ͞ΕΔ -
ノード内通信とノード間通信 • 同 一 サーバ内の複数のGPU間の通信 • 高 速なバス通信技術(例:NVLink) • 数百GB/s級
• 異なるサーバ間のGPU通信 • RDMAによる 高 速ネットワーク技術 • 数百Gbps級 -
ノード内通信 ー GPU間の直接通信へ <>6OBU %JEFN FUBM5IF-BOETDBQFPG(16$FOUSJD$PNNVOJDBUJPO BS9JW <>'JHΑΓసࡌ ঃʑʹ$16ͷׂ͕ݮ͍͖ͬͯɺ(16ؒͰ݁͢ΔΑ͏ʹͳΔ
)PTU/BUJWF )PTU$POUSPMMFE %FWJDF/BUJWF )PTUGBMMCBDL -
ノード間通信がボトルネックへ <>4BQJP "NFEFP FUBM4DBMJOHEJTUSJCVUFENBDIJOFMFBSOJOHXJUI*O/FUXPSLBHHSFHBUJPO/4%* <>,MFOL #FOKBNJO FUBM"OJOOFUXPSLBSDIJUFDUVSFGPSBDDFMFSBUJOHTIBSFENFNPSZ NVMUJQSPDFTTPSDPMMFDUJWFTz *4$"
ਂֶशͷֶश࣌ؒʹΊΔ"MMSFEVDFͷׂ߹ਪఆɺ <> <> (CQTωοτϫʔΫͰ (CQTωοτϫʔΫͰr 41 (16ͷුಈখੑೳͰഒ৳ͼͨɻ ҰํͰωοτϫʔΫଳҬͷഒ৳ʹΛཁͨ͠ɻ<> -
3%." ʢ04ΧʔωϧόΠύεʹΑΓ$16 ͱ%3".Λܦ༝ͤͣʹసૹʣ *O fi OJCBOE /*$ʹϝϞϦసૹΦϑϩʔυ 3%."ΛωΠςΟϒ αϙʔτͨ͠ઐ༻ωο τϫʔΫ૬ޓଓٕज़
3P$&W *1ϧʔςΟϯάՄೳͳ6%1ϕʔε3%." ϩεϨε ϑϩʔ੍ޚ੍ޚʹΑΓύέοτϩεΛθϩʹ͚ۙͮΔ <>-J 8FOYVF FUBM 6OEFSTUBOEJOHDPNNVOJDBUJPODIBSBDUFSJTUJDTPGEJTUSJCVUFEUSBJOJOHz "1/FU <>'JHVSF B ΑΓసࡌ RDMA 43 -
AIモデル学習におけるストレージのユースケース ϞσϧνΣοΫϙΠ ϯςΟϯά ֶशσʔληοτ ͷಡΈग़͠ w ֶश్தͷঢ়ଶΛอଘ͠ɺো࣌ʹ࠶։ ͢ΔͨΊͷఆظνΣοΫϙΠϯςΟϯά w ʙेʹҰόʔετॻ͖ࠐΈ
w #ͷ--.ͰνΣοΫϙΠϯταΠζ 5#΄ͲʹͳΔ w ߴεϧʔϓοτͰͷಡΈॻ͖ w ඦઍϊʔυنͰͷฒྻอଘɾฒྻ ಡΈग़͠εέʔϥϏϦςΟ w --B."ஹҎ্ͷτʔΫϯͰֶ श͞Εɺ͓Αͦ5#ͷσʔλʹ૬ w ଟͷ(16ϊʔυ͔Βฒྻγʔέϯ γϟϧಡΈग़͠ w લॲཧΫϦʔχϯάͰɺϥϯμϜ ϦʔυখϑΝΠϧಡΈग़ࠞ͠ࡏ εΩοϓ -
AIスパコンのソフトウェアスタック例 多層に折り重なった複雑な構成 εέδϡʔϥ 4MVSN ,VCFSOFUFT ίϯςφ /7*%*"$POUBJOFS5PPMLJU &OSPPU 1ZYJT 4JOHVSBMJUZ
ࢄֶशϑϨʔϜϫʔΫ .FHBUSPO-. %FFQ4QFFE 1ZUPSDI'4%1 /F.P ֶशϑϨʔϜϫʔΫ 1Z5PSDI 5FOTPS fl PX +"9 ूஂ௨৴ϥΠϒϥϦ /$$- 3$$- 3%."ϥΠϒϥϦ JCWFSCT SENBDPSF ܭࢉߴԽϥΠϒϥϦ DV#-"4DV#-"4-U DV%// 5SBOTGPSNFS&OHJOF ϥϯλΠϜυϥΠό $6%" OWJEJBESJWFST ˞IUUQTEPDTOWJEJBDPNOFNPGSBNFXPSLVTFSHVJEFMBUFTUTPGUXBSFDPNQPOFOUWFSTJPOTIUNM Ϣʔβʔ͕ ֶशδϣϒΛൃߦ 50 -
1章 まとめ ᶃਂֶशͷܭࢉෛՙͱ(16ͷద߹ੑ ᶄେنϞσϧʹରԠ͢Δࢄਂֶशٕज़ ᶅϊʔυɾϊʔυؒͷߴΠϯλʔίωΫτ 5SBOTGPSNFSͷେنͳߦྻੵԋࢉʹɺߴฒྻ ੑʢઍίΞɺ5FOTPS$PSFʣͱߴଳҬϝϞϦ ʢ)#.ʣΛͭ(16͕ద͢Δɻ .FNPSZ8BMMΛղܾ͢ΔͨΊɺσʔλฒྻɺύΠ ϓϥΠϯฒྻςϯιϧฒྻͷΈ߹Θ͕ͤඞਢɻ
ࢄֶशதͷޯಉظͳͲͷͨΊʹɺ௨৴Ϙτϧ ωοΫΛղফɻϊʔυʢ/7-JOLʣͱϊʔυؒ ʢ3%."ɼ3P$&WʣͰूஂ௨৴ΛߴԽɻ -
TOP500(ISC2025 June, 2025) 501 )1--*/1"$, ੈքҐ )1$( )1$ԋࢉΞϓϦέʔγϣϯ ੈքҐ )1-.Y1
"*͚ͷ୯ਫ਼ਫ਼ԋࢉੑೳ ੈքҐ *0 ετϨʔδ*0ੑೳ ੈքҐ ΠϯλʔίωΫτωοτϫʔΫɺ্ҐҐҎͰ།ҰϕϯμʔதཱͰ Φʔϓϯͳٕज़Λ࠾༻ *4$ʹͯεύίϯੑೳϥϯΩϯά501ੈքҐΛ֫ಘ 40/J$04ͱ(C&&UIFSOFU 54 -
TOP500 (ISC2025) 世界49位 国内9位 3BOL 4ZTUFN 0SHBOJ[BUJPO 3NBY 1'MPQT
'VHBLV 3*,&/$FOUFSGPS$PNQVUBUJPOBM 4DJFODF "#$* "*45 $)*& 4PGU#BOL$PSQ $)*& 4PGU#BOL$PSQ "#$*2 "*45 '15"*'BDUPSZ+BQBO '15"*'BDUPSZ+BQBO .JZBCJ( +PJOU$FOUFSGPS"EWBODFE)JHI 1FSGPSNBODF$PNQVUJOH 546#".& $** *OTUJUVUFPG4DJFODF5PLZP 4",63"0/& 4",63"*OUFSOFU*OD 1SVOVT4PMVUJPOT*OD ࠃγεςϜ্ҐͷΈൈਮ IUUQTUPQPSHMJTUTUPQ 55 -
TOP500(SC2025 November, 2025) 3BOL 4ZTUFN 0SHBOJ[BUJPO 3NBY 1'MPQT 4",63"0/&
4",63"*OUFSOFU*OD 1SVOVT4PMVUJPOT*OD 4",63"0/& $:$ 4",63"*OUFSOFU*OD 1SVOVT4PMVUJPOT*OD 4",63"0/& $:# 4",63"*OUFSOFU*OD 1SVOVT4PMVUJPOT*OD IUUQTXXXUPQPSHMJTUTUPQMJTU $:$ͱ$:#ͱݺΕΔͭͷΫϥελΛ৽نʹՃɻ -
さくらONEの3つのクラスタ ୈҰΫϥελ ୈೋΫϥελʢ$:$ʣ ୈࡾΫϥελʢ$:#ʣ ܭࢉϊʔυ (16 /7*%*")
49.(# /7*%*") 49.(# /7*%*"# 49.(# $16 *OUFM9FPO1MBUJOVN º$16 DPSFT *OUFM9FPO1MBUJOVN º$16 DPSFT *OUFM9FPO1º $16 DPSFT ϝϞϦ %%35# %%35# %%35# ϩʔΧϧετ Ϩʔδ (#Y 5#º 5#º ڞ༗ετϨʔδ -VTUSF1# -VTUSF5# -VTUSF5# ΠϯλʔίωΫ τωοτϫʔΫ (C&º (C&º (C&º IUUQTXXXTBLVSBBEKQTBLVSBPOF -
さくらONE 第 一 クラスタの構成 ',POJTIJ4",63"0/&&NQPXFSJOH5SBOTQBSFOUBOE0QFO"*1MBUGPSNTUISPVHI1SJWBUF4FDUPS )1$*OWFTUNFOUJO+BQBOBS9JW 58 (16 /PEF
(16 /PEF (16 /PEF (16 /PEF *OUFSDPOOFDU/FUXPSL 4UPSBHF/FUXPSL 4UPSBHF OPEFT $16DPSFT (16T ) /*$T (C& 40/*$04(C& (C& 1# %%/&YBTDBMFS -
AIスパコンの利 用 (さくらONEの例) δϣϒ εέδϡʔϥ ʢ4MVSNʣ ϩάΠϯϊʔυ 44) ฒྻࢄ ετϨʔδ
IPNFҎԼΛ Ϛϯτ δϣϒߘ NPVOU NPVOU NPVOU εέδϡʔϥ͕Ϣʔβʔʹࢦఆ͞Εͨ(16ϊʔυΛ ֬อ͠ɺ֤ϊʔυ্ͰεΫϦϓτΛಉ࣌ىಈ͢Δ TMVSNDUME TMVSNE TDSJQU TMVSNE TDSJQU TMVSNE TMVSNE TDSJQU TDSJQU 61 -
分散学習ベンチマーキングの動機 w 501ʹ͓͚ΔϕϯνϚʔΫҰൠͷܭࢉػੑೳΛܭଌ͢ΔͷͰ͋Δ w ͘͞Β0/&͕ϑΥʔΧε͢Δ--.ֶशʹ͓͚ΔੑೳΛܭଌ͍ͨ͠ w ۀքͷඪ४తͳϕϯνϚʔΫͱͯ͠.-1FSGʹணͨ͠ w .-1FSGϕϯνϚʔΫεΠʔτɿ5SBJOJOH*OGFSFODF4UPSBHFͳͲ̍̍छ w
5SBJOJOHͷ͏ͪɺ͘͞Β0/&ͷఆϢʔεέʔεʹ͍ۙ͠ɺ(15#ࣄ લֶशͱ-MBNBϑΝΠϯνϡʔχϯάΛબ ຊͷର 72 -
MLPerf Training w είΞֶश։͔࢝Βֶशऴྃ·Ͱͷ࣮࣌ؒʢNJOʣ w ֶशɺγʔέϯεͳͲͷֶशؔ࿈ͷϋΠύʔύϥϝʔλݻఆ w ֶशσʔληοτ༻ҙ͞Ε͍ͯΔ w ଛࣦ͕نఆͷᮢʹୡ͢Δͱ࣮ߦΛఀࢭʢ(15Ͱ-PH1FSQMFYJUZ͕ʣ
w ͋ΔఔֶशΛਐΊΒΕͨঢ়ଶΛอଘͨ͠νΣοΫϙΠϯτ͔Βֶश։࢝ w ֶशதͷνΣοΫϙΠϯςΟϯάʢετϨʔδͷఆظอଘʣͳ͠ モデル側のパラメータ固定や学習終了条件の明 示 ˞$MPTFE%JWJTJPOͷ߹ 73 -
GPT-3事前学習のスコア 0SHBOJ[BUJPO 4ZTUFN/BNF (16 .PEFM/BNF -BUFODZ NJO /7*%*" &PTEGX@O
)49.(# 0SBDMF Y#.(16) )49.(# 0SBDMF Y#.(16) )49.(# 4",63" JOUFSOFU 4",63"0/&@O )49.(# VOWFSJ fi FE /7*%*" &PT@O )49.(# 4",63" JOUFSOFU 4",63"0/&@O )49.(# VOWFSJ fi FE /7*%*" &PT@O )49.(# IUUQTNMDPNNPOTPSHCFODINBSLTUSBJOJOH3PVOEW͔ΒҰ෦ൈਮ ˞VOWFSJ fi FE.-$PNNPOTڠձʹ Αͬͯݕূ͞Ε͍ͯͳ͍݁ՌͰ͋Δɻ 74 -
GPT-3事前学習(規模が近い他システム 比 較①) 0SHBOJ[BUJPO 4ZTUFN/BNF (16 .PEFM/BNF -BUFODZ NJO 4",63"
JOUFSOFU 4",63"0/&@O )49.(# VOWFSJ fi FE /7*%*" &PT@O )49.(# (16ɺ(16Ϟσϧɺ/8ଳҬ෯͕ಉ݅Ͱͷൺֱ &PT@Oʹରͯ͠ɺ4",63"0/&@Oͷֶश࣌ؒͱͳͬͨ 75 -
GPT-3事前学習(規模が近い他システム 比 較②) (16͕ۙ͘͠ಉҰϞσϧɺ/8ଳҬ෯ಉҰͰͷൺֱ 0SHBOJ[BUJPO 4ZTUFN/BNF (16 .PEFM/BNF -BUFODZ NJO
4",63" JOUFSOFU 4",63"0/&@O )49.(# VOWFSJ fi FE /7*%*" &PT@O )49.(# &PT@OΛԾʹϊʔυͱ͢ΔͱཧࢉͰ NJO ͱͳΓɺ 4",63"0/&@Oͷֶश࣌ؒ ˞4",63"0/&ʹෆརͳ݅Ͱͷൺֱ ྆ऀ1PEʢ46ʣ ԣஅ௨৴͋Γ 76 -
学習ワークロードの代表的な 目 標性能指標 εϧʔϓοτ ܭࢉޮ .'6 .PEFM'MPQT6UJMJ[BUJPO Ϟσϧ͕ཧతʹ༻͢Δ '-014ͷ࣮ଌ
ϋʔυΣΞͷϐʔΫ'-014 ֶशεϧʔϓοτɹUPLFOTTFD TBNQMFTTFD ԋࢉεϧʔϓοτɹ'-014ʢ'MPBUJOHQPJOU0QFSBUJPOT1FS4FDPOEʣ ϨΠςϯγ 5JNFUP5SBJOɹֶश։͔࢝Βྃ·Ͱͷ࣌ؒ 77 -
GPT-3事前学習(さくらONEスケーリング評価) ϊʔυ 5JNFUP5SBJO ʢNJOʣ .'6
5'-014(16 5PLFOTTFD(16 ֶश࣌ؒॖɹɹഒ ϊʔυ͕ഒʹରͯ͠ )'1ࠞ߹ਫ਼Ͱͷԋࢉޮʢ.'6ʣͷ૬ ԋࢉޮ(16ɹɹɹ ରཧεέʔϦϯά 78 ʢԋࢉεϧʔϓοτͷ૬r5'-014(16ʣ -
H100 BF16/FP8混合精度 MFU w ϐʔΫ'-014ͱͯ͠ɺจݙͰ 5'-014Λ࠾༻͞Ε͍ͯΔ w '15FOTPS$PSF 5'-014ʢ˞ʣ͕ͩɺ4QBSTFͳ͠ͳΒ
˞/7*%*")5FOTPS$PSF(16%BUBTIFFUIUUQTSFTPVSDFTOWJEJBDPNFOVTIPQQFSBSDIJUFDUVSFOWJEJBUFOTPSDPSFHQV EBUBTIFFU ˞IUUQTDBUBMPHOHDOWJEJBDPNPSHTOWJEJBUFBNTEHYDCFODINBSLJOHSFTPVSDFTMMBNBCEHYDCFODINBSLJOHD ˞ -MBNB# .'6d ˞ ˞IUUQTTFNJBOBMZTJTDPNIDMVTUFSTQPXFSOFUXPSL .'6 ˞ USJMMJPOQBSBNFUFSUSBJOJOH -MBNB# ˞IUUQTTFNJBOBMZTJTDPNIWTHCOWMUSBJOJOHCFODINBSLT .'6 ˞ ˞IUUQTXXXEBUBCSJDLTDPNKQCMPHUVSCPDIBSHFEUSBJOJOHPQUJNJ[JOHEBUBCSJDLTNPTBJDBJTUBDLGQ .15CdC .'6d ˞ 79 -
GPT-3事前学習(パラメータの組み合せ) 51 11 %1 (MPCBM #4 .JDSP #4 '-014 (16
5JNFUP5SBJO ʢNJOʣ /PEBUB 51ςϯιϧฒྻ 11ύΠϓϥΠϯฒྻ %1σʔλฒྻ (MPCBM#4άϩʔόϧόοναΠζ .JDSP#4ϚΠΫϩόοναΠζ 96ノード શମͰݸͷύϥϝʔλͷ͏ͪදతͳͷΛൈਮ ςϯιϧฒྻͷ ௨৴Λαʔό /8Ͱ݁ͤͨ͞ ͍ͨΊ51 73".ʹऩ·Δൣ ғͰ%1Λ্͛Ε ͍͍ͱࢥ͍ͬͯ ͕ͨҙ֎ͱͦ͏Ͱ ͳ͍ 80 -
GPT-3事前学習の結果の考察 w ͘͞Β0/&Ͱ૬ͷൣғͷԋࢉޮΛୡͰ͖͍ͯΔɻ w ΠϯλʔίωΫτ௨৴͕ेߴɻࢄֶशͷνϡʔχϯά૬Ϩϕϧɻ w ҰํͰɺ͘͞Β0/&&04ͱϊʔυൺֱͰɺϊʔυࢉൺֱ Ͱͷੑೳͱͳͬͨɻ w ཁҼͷՄೳੑɿ&UIFSOFU
3P$&W ର*O fi OJCBOEɺ͋Δ͍୯ʹνϡʔχϯάෆ w ΠϯλʔίωΫτͷτϙϩδߏʢ3BJM0QUJNJ[FEʣಉҰͷͣ w ιϑτΣΞελοΫ04ͱΧʔωϧϞδϡʔϧʢυϥΠόͳͲʣҎ֎ͷόʔ δϣϯಉҰͷͣ 81 -
苦労したこと w .-1FSGެࣜͷϦϑΝϨϯε࣮ΑΓɺաڈͷϥϯυͰߘɾެ։͞Ε࣮ͨ ͷ΄͏͕ཧ͞Ε͍ͯΔɻϦϑΝϨϯε࣮͔Β࢝Ίͯ͠·ͬͨɻ w ίϯςφͰόʔδϣϯ͕ݻఆ͞Ε͍ͯͯɺཧߏͷඍົͳࠩҟʹΑͬͯಈ͔ ͳ͍ઃఆίʔυ͍͔ͭ͋͘Γɺमਖ਼ͷඞཁ͋Γ w ࢄֶशͷ֤छ֓೦ʢ%ฒྻɺूஂ௨৴ͳͲʣιϑτΣΞʢ4MVSNɺ /F.Pɺ.FHBUSPOʣΛ৽نʹֶͿඞཁ͕͋ͬͨ
w ϕϯνϚʔΫظؒݶΒΕΔͨΊɺ৸ΔલʹδϣϒΛෳݸೖͯ͠ே݁ՌΛΈ Δੜ׆Λ͍ͯͨ͠ ˞IUUQTHJUIVCDPNNMDPNNPOTUSBJOJOH@SFTVMUT@WUSFFNBJO/7*%*" ˞ 82 -
4章:まとめ w --.ֶशͰඞཁͱ͞ΕΔجຊతͳฒྻԽٕज़/8ٕज़ɺΫϥελߏΛ؆୯ʹ ղઆͨ͠ɻ w ͘͞ΒΠϯλʔωοτͰΫϥελཧ͕ϚωʔδυԽ͞Εͨεύίϯʮ͘͞Β 0/&ʯΛ։ൃ͠ɺ501ͰΦʔϓϯͳ/8ٕज़ͷൣᙝͰҐΛୡͨ͠ɻ w ͘͞Β0/&Ͱ(15ͷࣄલֶशϕϯνϚʔΫΛ࣮ࢪ͠ɺ૬ͷൣғͷԋࢉޮ Λୡɻνϡʔχϯάʹ՝ͷ༨͋Γɻ
w ʢ࣌ؒ߹ͰׂѪʣ-MBNBϑΝΠϯνϡʔχϯάͰϕϯνϚʔΫࢀՃاۀΒͱ ಉఔͷੑೳΛୡͨ͠ɻ 83 -
AIスパコンサービスのオブザーバビリティ Ϣʔβʔ ϓϩόΠμʔ ֶशॲཧੑೳ োɾނোཧ ܭࢉࢿݯͷར༻ ܭࢉࢿݯͷར༻ ඪࢦඪ ਂֶशͷॲཧͷ༁ ֶशɾԋࢉεϧʔϓοτ
ΞϓϦέʔγϣϯ σόΠε ঢ়ଶνΣοΫ ϦιʔεফඅྔɾΤϥʔ Ҽࢠղ ϫʔΫϩʔυ ੳ Ϧιʔε ੳ 85 -
責任境界による計装・収集の制約 Ϣʔβʔ ϓϩόΠμʔ 04 δϣϒ εέδϡʔϥ ڥք σόΠε ΞϓϦέʔγϣϯ υϥΠό
γεςϜϥΠϒϥϦ ΞϓϦέʔγϣϯ ϩάͷऔಘෆՄ ΞϓϦέʔγϣϯ ίʔυͷܭෆՄ 86 -
空間ビュー:パーティション別統計① ԋࢉεϧʔϓοτ ʢ%$(.ਪఆʣ (16༻ ςϯιϧίΞ༻ --.ֶशͰ͙ Β͍͍͑ͯΔͱྑ͍ ˞7 "OESFJ FUBM
4:45&.!4$"-&"*0CTFSWBCJMJUZ IUUQTBUTDBMFDPOGFSFODFDPNTZTUFNTDBMFBJPCTFSWBCJMJUZ ˞ Ͱ͋ͬͯ(16ͷԋ ࢉޮ͕ߴ͍ͱݶΒͳ͍ 90 -
データパイプラインの構成(全体像) (16/PEFT -PHJO/PEFT *OUFSDPOOFDU4XJUDIFT #BDLFOET 05F-$PMMFDUPS (BUFXBZ 05F-$PMMFDUPS
"HFOU 1ZSPTDPQF 7JDUPSJB.FUSJDT 7JDUPSJB-PHT .FUSJDT -PHT 1SP fi MFT 05-1 05-1 &YQPSUFST &YQPSUFST &YQPSUFST 4ZTMPH -PHT -PHT 4DSBQF ˠσʔλͷྲྀΕΛද͢ 7JTVBMJ[BUJPO (SBGBOB 99 -
GPUノードの構成 (16/PEFT 05F-$PMMFDUPS "HFOU *1.*&YQPSUFS +PVSOBME 3%."&YQPSUFS /PEF&YQPSUFS %$(.&YQPSUFS
-VTUSF&YQPSUFS 1SPDFTT&YQPSUFS 4DSBQF 1SPNFUIFVT 3FDFJWFS πʔϧΛগͳ͘͢ΔͨΊʹ 05F-$PMMFDUPSओମͰऩू +PVSOBME 3FDFJWFS WBSMPHTMVSN 'JMF-PH 3FDFJWFS ʢࣗ࡞ʣ ˞HJUIVCDPNZVVLJSENB@FYQPSUFS ˞ PQFOUFMFNFUSZ FCQGQSP fi MFS (BUFXBZ 05-1 ˞HJUIVCDPN(4*)1$MVTUSF@FYQPSUFS ˞ 100 -
ログとプロファイルに関する所感 まだ有効利 用 できていない w ཁ্݅ɺଟ͘ͷใؚ͕·ΕΔΞϓϦϩάΛऔಘෆՄ w ϓϥοτϑΥʔϜଆͰཧ͢ΔϛυϧΣΞ͕গͳ͍ w εέδϡʔϥʔʢ4MVSNʣڞ༗ετϨʔδʢ-VTUSF'4PO%%/ʣͷΈ
ϩά w (163%."௨৴ΛؚΉϓϩϑΝΠϧΛऔಘͰ͖ͳ͍ w ࢄτϨʔε͕ͳ͍ ϓϩϑΝΠϧ 101 -
深層学習の処理過程をトレースしたい ֶशδϣϒ ΤϙοΫ̍ ΠςϨʔγϣϯ̍ (16 (16 ΤϙοΫ̍ ΠςϨʔγϣϯ̍ ࣌ؒ ΠςϨʔγϣϯ
ΤϙοΫ ΠςϨʔγϣϯ ΤϙοΫ ܭࢉͱ௨৴ͷΦʔόʔϥοϓ ֤εύϯͷܦա࣌ؒϦιʔεফඅྔΛܭଌ ूஂ௨৴ ॱ ٯ ॏΈ ߋ৽ ूஂ௨৴ ॱ ٯ ॏΈ ߋ৽ 105 -
集団通信の処理過程をトレースしたい (16 (16 (16 (16 (16
(16 (16 / (16 / (16 / ࣌ؒ (16 (16 (16 / εΠον αʔό̍ αʔό αʔό/ 3JOHΞϧΰϦ ζϜͷҰྫ શ(16͕ಉ࣌ʹྡʹσʔλ Λૹ৴͠ଓ͚Ϧϯά্Λपճ αʔό/ -FBG /*$ /*$ /*$ /*$ -FBG 106 -
GPUプロファイリング 107 MLPerf Training GPT-3のベンチマーク中に取得 Pytorch Pro fi lerの結果をPerfettoで可視化 NT
ΠϯλʔίωΫτ௨৴ NT NT NT Ұൠతʹɺਂ'8ଂ/7*%*"͕ఏڙ͢ΔϓϩϑΝΠϥΛ͏ $615* /TJHIU4ZTUFNT 1Z5PSI1SP fi MFS ,JOFUP -
ギャップ① 現 行 GPUプロファイラの課題 ˞&:PVTFG[BEFI"TM.JBOEPBC FUBM l1SP fi MJOHBOE.POJUPSJOH%FFQ-FBSOJOH5SBJOJOH5BTLTz
&VSP.-4ZT Ϣʔβʔཧ ॏ͍Φʔόʔϔου Ϣʔβʔ͕༗ޮԽ͢Δඞཁ͕͋ΔͨΊɺ ϓϥοτϑΥʔϚʔཁ݅Λຬͨ͞ͳ͍ 1Z5PSDI1SP fi MFS͕ഒԆΛ૿Ճ ͤ͞Δใࠂ͋Γ˞ ΞϓϦέʔγϣϯʹରͯ͠ඇ৵ೖͳܗࣜͰ Φʔόʔϔουͷ;FSP$PEFܭΛ͍ͨ͠ 108 -
ギャップ① Zero Code計装 eBPFによるZero Code計装による分散トレーシング技術は確 立 しつつあるが… ˞IUUQTHJUIVCDPNHSBGBOBCFZMB ˞IUUQTEFFQ
fl PXJP • GPUの内部処理はOSカーネル内からはみえない • GPU間通信はOSカーネルのNWスタックを経由しない ˞˞˞ ˞IUUQTPQFOUFMFNFUSZJPEPDT[FSPDPEFPCJ (16ݻ༗ͷ͕ඞཁ #FZMB %FFQ'MPX 0#*ͳͲ ✘ 109 -
ギャップ① GPUゼロコード計装の最先端 $6%""1* (16υϥΠό ˞zF#1'5VUPSJBM5SBDJOH$6%"(160QFSBUJPOTz IUUQTFVOPNJBEFWUVUPSJBMTDVEBFWFOUT ˞lF#1'5VUPSJBMCZ&YBNQMF.POJUPSJOH(16%SJWFS"DUJWJUZXJUI,FSOFM5SBDFQPJOUTz IUUQTFVOPNJBEFWUVUPSJBMTYQVHQVLFSOFMESJWFS ˞l8SJUFBOE3VOF#1'PO(16XJUICQGUJNFz
IUUQTFVOPNJBEFWFOCQGUJNFEPDVNFOUTHQV VQSPCFT MJCDVEBSUTP (16ͷϝϞϦׂɾసૹɾಉظɺΧʔωϧىಈؔʹϑοΫ USBDFQPJOUT LQSPCFT ϥϯΩϡʔͷਂ͞9*%ΤϥʔΛܭଌՄೳ ˞ ˞ ˞ CQGUJNF ඇಉظ(16෦ͷৄࡉܭଌࠔ Ϣʔβʔͷ1ZUIPOϓϩηεͱͷඥ͚ͮՄೳ 04ΧʔωϧͷൣᙝͳͷͰɺҰൠతͳLQSPCFTͳͲͰܭଌՄೳ ඇಉظͰ(16ج४Ͱͷ࣌ࠁ͕Θ͔Δ (16ͷϫʔϓεϨου୯ҐཻͰͷܭଌ 159ʢ(16தؒදݱʣίʔυF#1'ίʔυΛೖ Ϣʔβʔۭؒ F#1'ϥϯλΠϜ <)%$4 F(16> <04%* CQGUJNF> (16෦ 110 -
ギャップ①:GPUゼロコード計装の課題 $6%""1* (16υϥΠό (16෦ ਂֶश'8ʢ1ZUIPOʣ ࢄτϨʔγϯάͷؼணʹ ֤ͷΠϕϯτΛ૬ؔͤ͞Δඞཁ͋Γ (16ϝϞϦؒ௨৴ݪཧతʹܭଌͰ͖Δ ͣʜ
ίϯςΩετͷൖΛͲ͏Δ͔ʁʁ ݱঢ়·ͩͦͷΑ͏ͳ πʔϧͳ͍ ݚڀ։ൃͷྖҬ 111 -
ギャップ② R-Pingmesh RNIC to RNICのアクティブプルービングによるRoCEネットワーク監視 114 ③ 継続的なプルービン グによるRTT・パケッ
トロスの常時計測 ②RoCEパケットに よるプルービング ① サービストラフィッ クとは独 立 したRNIC 単位のプルービング -
R-Pingmeshのシステム全体像 115 <-JV 4*($0..>'JHVSF31JOHNFTI'SBNFXPSLΛجʹվมͯ͠ܝࡌ 1. Agentが登録処理 2. ControllerからPinglistが届く 3. PinglistからProberがプルー
ブを送信 4. RTTなどを記録しAnalyzerへ 1. eBPFでサービスジョブの通 信の5-tupleを監視 2. 専 用 のPinglistへ追加 -
yuuki/rpingmeshの技術スタック 116 • 言 語:Go • RoCE通信:libibverbs • eBPF Kprobe,
cillium/ebpf • 要素間通信:gRPC • Registry: Rqlite • 計装:OpenTelemetry -
5章 まとめ ݱঢ় ੍ Ϊϟοϓ 05FM (SBGBOBͰϝτϦΫεɾϩάɾϓϩϑΝΠϧج൫Λߏஙͨ͠ɻ Ϧιʔεੳ͏·͍͍ͬͯ͘Δ͕ɺϫʔΫϩʔυੳ͕ະୡɻ ΞϓϦέʔγϣϯϩάίʔυͷܭɾऩूෆՄ ᶃֶशॲཧաఔͷࢄτϨʔε
ᶄΞϓϦ͔Πϯϑϥ͔ͷΓ͚ ᶅϚΠΫϩόʔετࢹ (16θϩίʔυܭʢF#1'Ͱ$6%"υϥΠό෦ͷΠϕϯτ૬ؔʣ ϝογϡঢ়ͷ3%."1JOHγεςϜͷ࣮ 119 -
σʔλۦಈΞϓϩʔν ߏతΞϓϩʔν ܭࢉϊʔυҎ֎ͷண .JOEFS - F"$(. --.1SJTN "FHJT 9165JNFS 4LFMFUPO)VOUFS
1"$& طଘͷςϨϝτϦʔσʔλʹର ͠ʮڭࢣͳֶ͠शʯΛద༻͠ɺ ෳࡶͳҟৗΛࣗಈݕ͢Δɻ ࢄֶशಛ༗ͷ௨৴ύλʔϯʢಉ ظɺू߹௨৴ʣͱ͍͏ʮυϝΠϯ ࣝʯΛ׆༻͠ɺϒϥοΫϘοΫε ͱͳΔڍಈΛղ໌͢Δɻ ܭࢉϊʔυҎ֎ͷΠϯϑϥʢίϯςφωοτϫʔΫɺϑΝγϦςΟʣͷෳࡶ ੑযΛͯΔɻ ੳख๏ ػցֶश׆༻ υϝΠϯࣝ׆༻ ϗετɾ ΞϓϦ ෦ ωοτ ϫʔΫɾ Πϯϑϥ ؍ଌ 主要な研究トレンド -
切り 口 ① 観測点 ーどこからシステムを観測するか "ωοτϫʔΫத৺ #࣮ߦτϨʔεɾ෦ঢ়ଶத৺ $ϊʔυத৺ %ͦͷଞʢϑΝγϦςΟɾ༧ଌʣ εΠον௨৴ϑϩʔʹணɻ
ιϑτΣΞελοΫ෦ͷڍಈ Λਂ͘ɻ --.1SJTN εΠονͷϛϥʔϦϯάσʔλ͔Β ϑϩʔΛੳ 4LFMFUPO)VOUFS ίϯςφؒͷ ௨৴ύλʔϯΛਪ͠ɺ1JOHͰোಛఆ 9165*.&3 ΧʔωϧͷϨδελΛτϨʔε F"$(. F#1'ͰϑϧελοΫใΛऔಘ "FHJT ௨৴ϥΠϒϥϦͷ෦ΧϯλʔΛར༻ 04(16͔Βग़ྗ͞Εͨ౷ܭ ใϩάΛੳɻ .JOEFSʢ$16(16ར༻ͳͲͷ࣌ܥྻσʔ λΛࢹʣ-ʢେͳςΩετϩάΛղੳʣ *5ػث֎෦ɺ࣮ଌҎ֎ͷσʔ λΛར༻ɻ 1"$&ʢྫྷ٫ஔిྗઃඋͳͲͷ ϑΝγϦςΟςϨϝτϦʔΛੳʣ ;IBOHFUBMʢϚΠΫϩϕϯνϚʔ Ϋʹجͮ͘ੑೳ༧ଌʣ -
切り 口 ② 障害診断のアルゴリズム "ڭࢣͳֶ͠शɾ౷ܭϞσϧ #ϧʔϧϕʔεɾཧਪ $ճؼੳɾ༧ଌ ਖ਼ৗύλʔϯͷֶश౷ܭతภࠩΛར༻ɻ .JOEFSʢ-45.7"&ͰϚγϯؒͷڍಈͷ ඇྨࣅΛଌఆʣɼF"$(.ʢࠞ߹Ψε
ϞσϧͰੑೳ͔ΒͷٯΛݕʣɼ 1"$&ʢάϨϯδϟʔҼՌੑݕఆͰҼՌά ϥϑΛߏஙʣɼ-ʢ*TPMBUJPO'PSFTUͰϩά ύλʔϯͷҟৗΛݕग़ʣ υϝΠϯࣝʹجͮ͘ϩδοΫͰঢ়ଶΛ ಛఆɻ "FHJT ௨৴Χϯτͷෆ߹ΛϧʔϧͰൺ ֱʣ9165*.&3 ௨৴Χʔωϧͷϧʔϓεςο ϓΛൺֱ --.1SJTN ௨৴ྔͱִ͔ؒΒฒ ྻԽઓུΛਪ 4LFMFUPO)VOUFSʢ௨৴όʔ ετͷपظੑ͔ΒεέϧτϯΛਪʣ ཧϞσϧʹΑΔੑೳ༧ଌɻ ;IBOHFUBMʢϥϯμϜϑΥϨετͰԋࢉࢠͷ ࣮ߦ࣌ؒΛ༧ଌʣ -
切り 口 ③ 侵 入 性 ー システム介 入 の要求度合い
ඇ৵ೖܕɾ ϒϥοΫϘοΫε θϩܭ ϥΠϒϥϦஔɾ ΤʔδΣϯτܕ Ϣʔβʔίʔυڥͷม ߋ͕Ұෆཁɻ֎෦͔Β؍ଌ ՄೳͳσʔλͷΈΛ༻ɻ --.1SJTN εΠονϛϥʔϦϯ άʣ.JOEFSʢطଘϝτϦΫ εʣɺ-ʢطଘϩάʣɺ1"$& ʢϑΝγϦςΟσʔλʣ ίʔυमਖ਼ෆཁ͕ͩɺ ࣮ߦϓϩηεͷհೖ ʢΞλονʣΛߦ͏ɻ F"$(. F#1'ϑοΫʣ 9165*.&3 τϨʔγϯάσʔ ϞϯΛΞλον γεςϜίϯϙʔωϯτͷ Ұ෦Λஔ͖͑Δ͔ɺαΠ υΧʔΛஔ͢Δɻ "FHJT ΧελϜ௨৴ϥΠϒ ϥϦʹஔʣ 4LFMFUPO)VOEFS αΠυ Χʔίϯςφͱͯ͠ΤʔδΣ ϯτΛஔʣ -
まとめ ᶃਂֶशͱܭࢉػΞʔΩςΫνϟ ᶄ͘͞Β0/&ͷߏங ᶅδϣϒੳͱϕϯνϚʔΩϯά ᶆՄ؍ଌੑͷ্ͱ՝ (16͕උ͑ΔଟͷίΞͱ)#.͕׆͖Δ େنϞσϧʹࢄֶशٕज़ʢ%1 11 51ʣ͕ඞਢ ߴΠϯλʔίωΫτ
ʢ/7-JOL 3%."ʣ 501ੈքҐɹҐҎͰΦʔϓϯٕज़ʢ40/*$04ʣΛ།Ұ࠾༻ ) ) #ΛͦΕͧΕ࠾༻ͨͭ͠ͷΫϥελ Ϧιʔεੳཱ֬ɺϫʔΫϩʔυੳʹʮΪϟοϓʯ Ϧιʔεফඅେنδϣϒ͕த৺͕ͩɺ։ൃ͕ਐΉͱখنԽ F#1'ʹΑΔθϩίʔυܭ3%."ϝογϡࢹͷݚڀ։ൃ͕ਐߦத ԋࢉޮʢ.'6ʣ