国家プロジェクトを支える「さくらONE」 大規模LLM開発におけるGPU障害を乗り越えるクラスター運用戦略

大規模言語モデル（LLM）の学習は、膨大な計算資源を長期間にわたり連続稼働させる必要があり、ハードウェア、特にGPUの予期せぬ不具合や障害への対策が極めて重要な課題となります。さくらインターネットでは、SIP第3期の医療LLMプロジェクトやNEDOプロジェクトといった国の先端研究開発と連携し、戦略的なHPCクラスターのマネージドサービス「さくらONE」を展開してきました。本講演では、さくらONEの開発に至った経緯と政府の次世代HPC戦略における役割を紐解くとともに、LLM開発のボトルネックとなる「長時間学習プロセス中のGPU障害」に対して、迅速な切り離し・ジョブの継続遂行に対応しているのか、その具体的な運用と計算基盤戦略について解説します。

Transcript

1. 国家プロジェクトを⽀える 「さくらONE」︓⼤規模LLM 開発におけるGPU障害を乗り 越えるクラスター運⽤戦略 2026/8/21 さくらインターネット株式会社 さくらインターネット研究所 / AI事業推進室 ⼩⻄ 史⼀ (C) Copyright 1996-2016 SAKURA Internet Inc
2. ⾃⼰紹介 ⼩⻄史⼀（横浜出⾝） 所属 さくらインターネット研究所 職歴 • 2000-2007年 理化学研究所ゲノム科学総合研究センターゲノム解析⽤コンピュータ 研究開発チーム研究員 グリッドコンピューティング技術を使ったゲノム解析⽤の⼤規模Bioinformatics及び、 ⼤規模分散コンピューティング技術開発に従事。 • 2007-2018年 東京⼯業⼤学 グローバルCOE「計算世界観の深化と展開」 特任准教授 アクセラレータを使ったHPCに関する研究、 情報⽣命博⼠教育院 特任准教授 グローバルリーダシップ教育、⽣体情報処理、タンパク質⽴体構造解析に関する ⼤規模Bioinformaticsに関連する教育・研究に従事。 • 2018-2019年 財団法⼈国際⾼度産業⼈材育成拠点開発機構 事業部⻑、 ビジネス実務型教育に関する事業開発に従事。 • 2019年8⽉より、さくらインターネット株式会社 技術本部勤務。 • 2020年6⽉よりさくらインターネット研究所兼務 上級研究員。 • 2024年6⽉ SIP3期補正「統合型ヘルスケアシステム構築における⽣成AIの活⽤」 テーマ1 医療LLM基盤の研究開発実装 研究開発責任者 「⽇本語版医療LLMの開発ならびに臨床現場における社会実装」 • 2025年4⽉ BRIDGE補正「AIの安全性確保に関する研究開発・検証等の推進事業」 研究開発責任者 • 2025年8⽉ AI事業推進室 兼務 • 2026年4⽉ 研究所 HPC研究グループ リーダー 2
3. 本⽇のアジェンダ ① 戦略的AI計算基盤「さくらONE」の概要と3つの主権 ② ⼤規模LLM開発の現状と「GPU障害・性能劣化」の課題 ③ NEDO医療LLMプロジェクトにおける実績とスケジュール戦略 ④ GPU障害を乗り越える「さくらONE」のクラスター運⽤戦略 ⑤ 多彩なGPUと柔軟な予約機能がもたらす実践的エコシステム ⑥ まとめと今後の展望 4
4. 国内最⼤級のマネージドAI計算基盤「さくらONE」 • 大規模AI・LLM開発に特化したHPCクラスタ： 数百ノード・千基規模の最新NVIDIA GPU （H100/H200/B200）を国内自社データセン ターに集約 • 高帯域・低遅延の独自ネットワーク：RailOptimized設計とRoCEv2（Gigabit Ether）によ る高効率な分散並列学習環境 • Lustre並列ストレージ：テラバイト級の重みパ ラメータや学習データを高速に読み書きする 専用ストレージ網を完備 • 単なるベアメタルを超えた「マネージド運用」： SRE専門チームがテレメトリ監視、障害切り分 け、予備ノード交換までをフルサポート 5
5. 国家プロジェクトを⽀える「さくらONE」の役割と3つの主権 主権の分類 国外の計算資源の依存リスク さくらONEが提供する価値 1. データ主権 患者データ・機密情報の国外 移送、海外法適⽤によるデー タ主権侵害リスク 国内データセンターでの設置 、⽇本の法制度下で厳格にデ ータを保護 2. 運⽤主権 ⼀⽅的な規約変更、突然のサ ービス停⽌、ブラックボック スなリソース配分 国内⾃社運⽤による安定調達 、優先的リソース割り当て、 ⾼い事業継続性 3. 技術主権 特定メーカーの独⾃規格（専 ⽤機器等）への依存と技術の 囲い込み 標準的なオープンイーサネッ トと分散学習運⽤の知⾒を国 内蓄積、⾃⽴した技術⼒を確 ⽴ さくらONEは、これら3つの主権を守り抜くことで、⽇本の経済安全保障とAI競争⼒を⽀える国家的な基盤として機能 6
6. ⼤規模LLM学習における「GPU障害・性能劣化」のインパクト • 数百基のGPU連続稼働とクラッシュ LLM学習は数ヶ⽉に及び、MTBF（平均故障間隔） の短縮により故障の頻度は⾼い。 チェックポイントからのロールバックで莫⼤な時間 ・コストが喪失。 • 熱起因のサーマルスロットリング ⾼負荷運転による排熱不⾜でGPUが過熱しクロック 低下。完全停⽌しないため検知が困難なサイレント 劣化を引き起こす。 • ストラグラ現象による全ノード道連れ 分散学習では全GPUが同期するため、たった1基の 性能低下で全GPUが待機状態となりクラスター全体 の学習効率が激減。 クラッシュによるジョブ停止に加え、熱による性能低下が1台でも起きると クラスター全体の学習効率が激減する 7
7. 戦略的HPCクラスター「さくらONE」︓Rail-Optimized イーサネット構成 • ノードあたり400GbE×8本（3.2Tbps）のコンピュート通信︓GPU 1基 ごとに400Gbpsで対応Leafスイッチ（Rail）へ1対1直結 • Pod内160Tbps（20TB/s）・Leafあたり20Tbps（2.5TB/s）の⾼帯域 と、ノード内NVLink 900GB/sによる通信最適化 数百基のGPU相互通信による過大な負荷を積極的に整理・緩和し、All-Reduce等の競合を 最小化したアーキテクチャ 8
8. NEDO医療LLMプロジェクト︓プライムとして挑むタイトな国家事業 ・補正予算による超タイトな単年度プロジェクト（2025年4⽉〜2026年3⽉）で 世界最⾼⽔準の医療LLM開発を牽引 ・さくらインターネットがプライム（全体統括）を務め、前年度SIP第3期からの 継続性を活かして⽴ち上げロスをゼロ化 「日本語版医療特化型LLMの社会実装に向けた安全性検証・実証」 9
9. プロジェクト最⼤の課題「計算資源」を最⼤限利⽤するスケジュール戦略 ・最⼤のボトルネック「計算資源の確保と利⽤最⼤化」︓さくらONE（90ノ ード/⽉・H100 720基）を⼀切遊休させずフル稼働 ・データ調達とLLM開発の完全同期パイプライン︓事前学習データ調達と並⾏ してフルスクラッチ開発を⾛らせ、追加学習へ即座にリレー 10
10. NEDOプロでの成果物と、その性能評価 医学系タスク 安全性 汎⽤性能 開発組織 サイズ 医師国試 専⾨医 専⾨医 （RAG） ガイドライン 対話型診断 DNA AC NB4 Claude Opus 4.5 Anthropic ― 99.1% 90.6% 91.4% 69.8% 44.0% 97.3% 90.8% 96.1% GPT-5.2 OpenAI ― 98.8% 91.2% ― 67.8% 60.9% 95.3% 90.8% 95.4% Gemini 3 Pro Preview Google ― 98.0% 92.5% 93.3% 68.0% 46.9% 95.3% 89.6% 96.1% 355B 95.9% (-1.5) 83.5% (+1.6) 90.8% 63.7% (+10.8) 45.1% (-0.5) 96.6% (-3.0) 89.0% (-9.5) 90.2% (+1.2) 235B 95.7% (±0.0) 82.7% (+1.7) 89.1% 60.6% (+4.1) 51.5% (-1.6) 97.0% (-0.2) 88.4% (-3.0) 89.1% (-6.4) 120B 93.6% (+3.8) 78.0% (+2.1) 88.6% 45.6% (-7.7) ※3 54.0% (+4.6) 96.4% (+1.3) 86.9% (+1.4) 94.0% (+16.2) 120B 87.9% 66.5% ― ― ― 92.6% 78.6% ― 32B 85.4% 58.9% ― ― 94.1% 76.2% 30B 87.7% 65.3% ― ― 45.0% 91.8% 70.5% 70.8% 10B 60.4% 41.5% ― ― ― 91.0% 75.0% 59.3% モデル フロンティアモデル 追加学習モデル Weblab-MedLLM-GLM4.7 （追加学習） Weblab-MedLLMQwen3-235B-Thinking （追加学習） Weblab-MedLLM-gptoss-120b （追加学習） 東⼤ 東⼤ 東⼤ Medical-GPT-OSSSwallow-120B 東京科学⼤ Medical-Qwen3Swallow-32B 東京科学⼤ （追加学習） （追加学習） ― ― フルスクラッチモデル AscleLM1-30B-A10B AscleLM1-10B 東⼤ （フルスクラッチ） 東⼤ （フルスクラッチ） ※1 ベンチマークの詳細は次のとおり。医師国試︓2023年以降の医師国家試験過去問（新規作成）、専⾨医︓複数診療科の専⾨医試験過去問（新規作成） 、ガイドライン︓複数 診療科における診療ガイドライン準拠性（新規作成） 、対話型診断︓臨床シナリオに基づく対話型診断能⼒（J-HealthBench）、DNA（Do-Not-Answer）︓危険・不適切な質 問への拒否応答能⼒、AC（AnswerCarefully）︓⽇本語版の安全性評価、汎⽤︓⽇本語LLMの総合的な⾔語能⼒（Nejumi LB4） ※2 東⼤追加学習モデルのベンチマーク表の（）内はベースモデルからの差分を⽰す ※3 Weblab-MedLLM-gpt-oss-120bのガイドラインのスコアは、コンテキスト⻑を拡張した条件では59.2%(＋5.9)まで性能が上がることが分かっている 11 11
11. なぜLLM学習中にGPU障害が発⽣するのか︓実証データに基づくメカニズム • メモリのビット反転（HBM3/ECC） ⼤容量HBMのソフトエラー多発。Uncorrectable ECCやロウリマップ枯渇（Xid 63/92）によりGPUクラッシュ。 • PCIe・NVLink通信エラー（バス脱落） ⼤電流と熱膨張収縮により、PCIeリンクのネゴシエーション低下やバス脱落（Xid 79）が頻発。 • 集団通信タイムアウト（NCCL同期ハング） スイッチバッファ溢れや1ノードの遅延が、All-Reduce等のタイムアウトを誘発 し全ノード停⽌。 • Meta「The Llama 3 Herd of Models」(2024) 16,000基規模のH100クラスタで54日間に419回の中断が発生。その58.7%がハードウェア起因（GPU故障30.1%、HBM3/ECC故障17.2%、ネットワー ク等）。電力・熱サイクルの激変がハードウェア故障を加速させると報告。 • NVIDIA「GPU Reliability / Xid Specifications」 Xid 79（GPU脱落）、Xid 63/92（ECCリマップ破綻）、Thermal Slowdown（熱保護によるクロック低下）などの体系的障害分類。 12
12. 運⽤戦略①︓オープン規格と⾃社技術スタックを活かす「Rail-Optimized Gigabit Ether」 • ⾃社の⾼度なネットワーク技術スタックの 最⼤活⽤ さくらインターネットが⻑年培ってきた⼤規模イーサネ ット網の設計・監視・⾃動化技術をそのまま適⽤。ブラ ックボックスを排除し、完全な可視化と制御を実現。 • オープンな標準規格による持続可能性と柔 軟性 業界標準のイーサネットエコシステムを活⽤することで 、特定機器に縛られない安定調達と柔軟な構成変更を可 能に。 • Rail-Optimizedトポロジーによる通信競 合の排除 各ノードの同⼀インデックスGPUを同⼀Leafスイッチレ ールに集約。分散並列学習特有のAll-Reduceトラフィッ クの衝突を極限まで低減。 • L3 ECMPによる⾃律的な障害時迂回ルー ティング 特定のリンクやスイッチに異常が発⽣した場合でも、標 準的なマルチパスルーティングにより瞬時に代替経路へ トラフィックを迂回。 オープンな標準規格の採用により、自社の運用技術スタックを最大限に発揮し、柔軟なトラフィック 制御と高い耐障害性を自律的に実現する 13
13. 運⽤戦略②︓SRE主導のテレメトリ可視化と迅速なリザーブノード交換 • クラスター全体の豊富なテレメトリ可視化と プロアクティブ管理 SRE技術を駆使し、GPUの正常性やNICのフラッピング有無 をリアルタイム監視。異常の兆候を捉えてプロアクティブに ノードの切り離し・復帰を実施。 • 運営側による迅速なリザーブノード交換オペ レーション ユーザー側で予備ノードを抱える必要なし。ユーザーからの 連絡を受けて、運営側が保持するリザーブノードと利⽤ノー ドを即座に差し替え。 • 障害切り分け・判定の負担をユーザーから完 全排除 ⼀般的なベアメタルベンダーのようにユーザーへハード故障 の特定を求めず、不具合の判定・原因究明はすべて運営側が 引き受け。 • ⼈の⽬を⼊れた確実な運⽤から監視エージェ ント⾃動化へ 現時点ではSREエンジニアの⼿厚い介在で信頼性を担保しつ つ、将来的には⾃律的な監視エージェントによる⾃動化を推 進中。 障害の切り分け・判定はすべて運営側が担当。豊富なテレメトリ監視と迅速なリザーブノード交換で、 ユーザーの学習停止時間を最小化する 14
14. 運⽤戦略③︓Lustre並列ファイルシステムによるI/O基盤 • 専⽤ストレージネットワーク（200GbE×2） コンピュート⽤の通信とは物理的・論理的に完 全分離。マルチテナント環境下でも他ユーザー のI/O負荷やトラフィックの影響（ノイジーネ イバー）を完全に排除。 • オールフラッシュLustre並列ファイルシステム HPC・⼤規模AIワークロードに最適化された Lustre並列ファイルシステムにより、テラバイ ト級の重みパラメータ保存・読込を⾼速処理。 • チェックポイント制御における明確な責任分界 点 ジョブの制御やチェックポイントからの学習再 開⾃体はユーザー側が主導。さくらONEはそれ を⽀える最⾼峰のI/Oインフラを提供。 • チェックポイント待機に伴うGPU遊休ロスの極 ⼩化 圧倒的なI/Oスループットにより、チェックポ イント保存時のGPU待機時間を極限まで削減し 、学習効率を最⼤化。 コンピュート通信と完全分離されたノードあたり400Gbpsの専用ストレージ網と、オールフラッシュ Lustre並列ファイルシステムでHPC・AIワークロードを加速 15
15. インフラ運⽤を完全に⼿放す︓マネージドがもたらす価値 • インフラトラブルからの完全な解放 深夜のGPUクラッシュ対応、ネットワーク 障害のパッチ適⽤、ハードウェア切り分けな ど、インフラ維持管理の重労働をすべてさく らインターネットが代⾏。 • 専⾨的SRE運⽤監視体制 ハードウェア、ネットワーク、分散学習フレ ームワークを熟知した専⾨チームが常時サポ ートし、⾼稼働率を維持。 • モデル開発とデータ準備への100%集中 開発チームは最も本質的で付加価値の⾼い「 モデルアーキテクチャ設計」「データクレン ジング」「評価検証」に全リソースを投⼊可 能。 開発者はインフラのトラブルから解放され、モデル開発に専念できる 16
16. 多様なGPU世代の混在利⽤と確実なリソース予約が拓く実践的AI開発 • 多彩な最新GPUラインナップ 医療LLMの主⼒H100に加え、超⼤容量メモリのH200、最新世 代B200（Blackwell）ノードを完備。 • ⽇時・台数・期間を指定する事前予約システム いつ・何台をどの期間使うかを確実に事前リザーブ可能。シビア な納期のプロジェクトでもリソース枯渇の不安なく計画実⾏。 • 同⼀基盤上での異種GPU混在ワークロード H100/H200/B200が同⼀の超⾼速ネットワーク・共通Lustreス トレージ上でシームレスに共存。 • 推論合成データ⽣成と学習のシームレス連携 ⾼速推論ノードで合成データを⼤量⽣成し、即座に学習ノードへ 流し込む最先端パイプラインを1基盤内で完結。 ノードの事前予約によるスケジュール確約と、世代混在・推論学習連携を同一基盤で実現する 実践的HPCクラスター 17
17. 障害を前提としたレジリエントなインフラで次世代へ • 本⽇のまとめ︓⼤規模LLM開発を⽀える3つ の柱 1. ノードあたり3.2Tbpsのコンピュート通信と 400Gbpsの専⽤ストレージ網を備えたRail-Optimized 設計 2. SREによるプロアクティブ監視と運営側での迅速な リザーブノード交換 3. 他ユーザーの影響を完全遮断するオールフラッシュ Lustre並列ストレージ基盤 • 実践的で柔軟なクラスタ環境 H100/H200/B200の確実な事前予約システムと、同⼀ 基盤上での推論・学習連携ワークロードにより、シビ アな国家プロジェクトでも安⼼して使い倒せる基盤を 提供。 • 今後の展望 次世代GPU（Blackwell世代等）の継続導⼊と、監視エ ージェントによる⾃動化技術の確⽴を推進。 ⽇本のAIイノベーションを⾜元から⽀え続ける。 障害を前提としたレジリエントなインフラで、日本の次世代AI開発を先導する 18