日本のソブリンAIを支えるエヌビディアの生成AIエコシステム

Weights & Biases Japan Fully Connected Tokyo 講演資料

Transcript

1. 日本のソブリン AI を支えるエヌビディアの生成 AI エコシステム Mana Murakami, Solution Architecture and Engineering, NVIDIA | Oct 31st 2025​
2. • Agentic AI とは？ • NVIDIA Nemotron • ソブリンAIの重要性 日本におけるソブリンAI支援 • まとめ AGENDA
3. AI の進化 エージェント AI が、より強力な AI アプリケーションを可能に AGENTIC AI PERCEPTION AI 音声認識 ディープ レコメンドシステム 医用画像処理 GENERATIVE AI デジタル マーケティング コンテンツ作成 コーディング アシスタント カスタマー サービス 患者ケア 2012 ALEXNET PHYSICAL AI 自動運転 ロボティクス
4. 7 専門分野向け AI の推進とオープンソース化 AI には解決すべき課題が存在 複数モデルによる AI システム 専門 AI AI 効率性
5. NVIDIA AI: フルスタックアプローチ NVIDIA AI Enterprise - エンドツーエンド生成 AI パイプラインの開発とデプロイを効率化 Kubernetes オペレータ Cluster Management AI アプリケーション SDK, フレームワークとライブラリ NVIDIA NIM, NeMo マイクロサービス NVIDIA AI Enterprise ソブリン AI サステナビリティ 安全性 NVIDIA Accelerated Computing Infrastructure Cloud | Data Center | Workstation | Edge GPU, Networking, 仮想化ドライバ コミュニティモデル NVIDIA モデル カスタムモデル Video Analytics Agent Virtual Lab Agent Software Security Agent Research Assistant Agent Customer Service Agent NVIDIA Blueprints
6. NVIDIA AI: フルスタックアプローチ NVIDIA AI Enterprise - エンドツーエンド生成 AI パイプラインの開発とデプロイを効率化 Kubernetes オペレータ Cluster Management AI アプリケーション SDK, フレームワークとライブラリ NVIDIA NIM, NeMo マイクロサービス NVIDIA AI Enterprise ソブリン AI サステナビリティ 安全性 NVIDIA Accelerated Computing Infrastructure Cloud | Data Center | Workstation | Edge GPU, Networking, 仮想化ドライバ コミュニティモデル NVIDIA モデル カスタムモデル Video Analytics Agent Virtual Lab Agent Software Security Agent Research Assistant Agent Customer Service Agent NVIDIA Blueprints
7. NVIDIA AI-Q AI Research Assistant Blueprint エージェンティック AI の例: リーズニングモデルを使用して AI エージェント、データ、ツールを接続する ユーザーまたは マシン プロンプト 報告 エージェント リーズニング Llama Nemotron ウェブ検索 Tavily Generate Llama Nemotron RAG Embedding NeMo Retriever Reranking NeMo Retriever Extraction NeMo Retriever Vector Database NVIDIA cuVS エンタープライズ ファイル リフレクション 計画 リファイン レポート生成 Llama 3.3 https://github.com/NVIDIA-AI-Blueprints/aiq-research-assistant • リサーチと報告のためのオープンソースの ブループリント • 可観測性と透明性を提供 • リーズニングによりエージェントの精度を向上 • お客様独自のデータソースをアップロード • 計画と報告をリアルタイムでガイド • レポート出力を動的に変更 • 数時間分の素材を数分で合成
9. NVIDIA AI-Q AI Research Assistant Blueprint エージェンティック AI の例: リーズニングモデルを使用して AI エージェント、データ、ツールを接続する ユーザーまたは マシン プロンプト 報告 エージェント リーズニング Llama Nemotron ウェブ検索 Tavily Generate Llama Nemotron RAG Embedding NeMo Retriever Reranking NeMo Retriever Extraction NeMo Retriever Vector Database NVIDIA cuVS エンタープライズ ファイル リフレクション 計画 リファイン レポート生成 Llama 3.3 https://github.com/NVIDIA-AI-Blueprints/aiq-research-assistant • リサーチと報告のためのオープンソースの ブループリント • 可観測性と透明性を提供 • リーズニングによりエージェントの精度を向上 • お客様独自のデータソースをアップロード • 計画と報告をリアルタイムでガイド • レポート出力を動的に変更 • 数時間分の素材を数分で合成
10. 13 オープンソースの AI モデルの急速な進歩が AI エージェントの進化を加速 Intelligence Index: MMLU-Pro, GPQA Diamond, Humanity's Last Exam, LiveCodeBench, SciCode, AIME, MATH-500. Source: Artificial Analysis GPT-3.5 GPT-4 o1 GPT-4o o3 Claude 2 Claude 3 Claude 3.7 Sonnet Claude 4 Sonnet Gemini Ultra Gemini 1.5 Pro Gemini 2.5 Pro Llama Llama 2 Mixtral 8X7B Mixtral 8x22B Llama 3 70B Llama 3.1 405B Mistral Large 2 DeepSeek R1 671B Llama Nemotron UltraQwen 3 235B Llama 4 Maverick Llama Nemotron Super 0 10 20 30 40 50 60 70 80 8/27/22 3/15/23 10/1/23 4/18/24 11/4/24 5/23/25 12/9/25 Artificial Analysis Intelligence Index Proprietary Model Open Model gpt-oss 120B GPT-5
11. 14 Nemotron NVIDIA Nemotron – オープンな AI モデル、データセット、ライブラリ群 NVIDIA Nemotron データ 9T tokens 30M samples 1M compute hrs モデル Nano, Super, Ultra 1000 derivatives ライブラリ NVIDIA Nemo-RL, Minitron, NAS 研究 200+ papers
12. NVIDIA Llama Nemotron Llama-Nemotron: Efficient Reasoning Models, Akhiad Bercovich et al. 2025 • Llama Nemotron Ultra: • 253B パラメータ • Llama 3.1 405B から蒸留 • 最高精度のエージェント向けモデル • Llama Nemotron Super: • 49B パラメータ • Llama 3.3 70B から蒸留 • 1 枚のデータセンター GPU で推論可能かつ最高の スループットと最高精度 • Llama Nemotron Nano: • 8B パラメータ • Llama 3.1 8B ベース • PC およびエッジで最高精度 Accuracy scores of the leading open-weight models on the Artificial Analysis – GPQA benchmark for evaluating scientific reasoning 5x Throughput Throughput (Tokens/s) Average Accuracy Across Agentic Tasks (%)
13. NVIDIA Nemotron Nano 2 NVIDIA Nemotron Nano 2: An Accurate and Efficient Hybrid Mamba-Transformer Reasoning Model Nemotron-H アーキテクチャで構築 (Hybrid Mamba-Transformer) 128K コンテクスト長に対応 マルチリンガルモデル 以下の 3 種類のモデルを HuggingFace で公開 • NVIDIA-Nemotron-Nano-9B-v2 • NVIDIA-Nemotron-Nano-9B-v2-Base • NVIDIA-Nemotron-Nano-12B-v2-Base Nemotron -Pre-Training-Dataset-v1、約 6.6 兆トークンによる事 前学習 (Nemotron-CC-v2、数学、コード、多言語 Q&A データ等) 同規模の主要オープンモデルと同等以上の精度を達成し、最大 6 倍の スループットを実現 (LiveCodeBench/GPQA Diamond/Humanity’s Last Exam,etc..) エッジでの高精度かつ高スループットな推論処理が可能 Benchmark scores compared to throughput for Nemotron-H 47B Reasoning and competing models. Nemotron Nano 2 Achieves Highest Reasoning Accuracy Among Open Small Models
14. NVIDIA Nemotron Nano 2 NVIDIA Nemotron Nano 2: An Accurate and Efficient Hybrid Mamba-Transformer Reasoning Model Nemotron-H アーキテクチャで構築 (Hybrid Mamba-Transformer) 128K コンテクスト長に対応 マルチリンガルモデル 以下の 3 種類のモデルを HuggingFace で公開 • NVIDIA-Nemotron-Nano-9B-v2 • NVIDIA-Nemotron-Nano-9B-v2-Base • NVIDIA-Nemotron-Nano-12B-v2-Base Nemotron -Pre-Training-Dataset-v1、約6.6兆トークンによる事前 学習 (Nemotron-CC-v2、数学、コード、多言語Q&Aデータ等) 同規模の主要オープンモデルと同等以上の精度を達成し、最大 6 倍の スループットを実現 (LiveCodeBench/GPQA Diamond/Humanity’s Last Exam,etc..) エッジでの高精度かつ高スループットな推論処理が可能 Benchmark scores compared to throughput for Nemotron-H 47B Reasoning and competing models. Nemotron Nano 2 Achieves Highest Reasoning Accuracy Among Open Small Models 日本語性能の確認は？
15. NVIDIA Nemotron の日本語性能評価 • Nejumi Leaderboard と wandb を用いて社内限定のクローズドなリーダー ボード環境を構築 • NVIDIA Nemotron を始めとするエヌビディアのモデルの簡易的な日本語性能評 価に使用 • 日本のソブリン AI モデルのベンチマークも独自に実施
16. ソブリン AI の重要性
17. ソブリン AI とは？ “生成 AI の台頭以来、国家がソブリン AI 能力に投資するこ とは、世界的にますます必須の取り組みになっています。 ソブリン AI とは、国が自国のインフラ、データ、労働力、ビジネ ス ネットワークを用いて人工知能を生み出すことができる能 力を指します。 ソブリン AI には、物理インフラとデータ インフラという 2 つの面 があり、後者にはソブリン基盤モデルが含まれます。ソブリン基 盤モデルの例としては、特定の方言、文化、慣習への対応を 強化できるよう現地のチームが開発して現地のデータセットで トレーニングさせた大規模言語モデル (LLM) などが挙げられ ます。” https://blogs.nvidia.co.jp/blog/nim-microservices-generative- ai/
18. ソブリン AI とは？ 日本語特有の文脈理解や、日本の地理、文化、法律の知識を強化したモデルの重要性 https://build.nvidia.com/stockmark/stockmark-2-100b-instruct https://build.nvidia.com/meta/llama-3_3-70b-instruct
19. ソブリン AI ファクトリー 「知能」を製造 AI 向けに設計された高速コンピューティング、ネットワーク、ストレージ AI プラットフォーム、ツール、専門知識へのアクセス 科学的発見の為の道具 人材の育成 基礎研究 産業イノベーション 経済成長の原動力 スタートアップエコシステム 新規雇用 新産業分野の創出 人材の確保 労働生産性の創出 公共サービス革新の為のプラット フォーム サービスへのアクセス向上 生活の質、持続可能性 国益の保護 データ AI ファクリー 知能
20. ソブリン AI の為の合成データ 文化的な背景に基づいたAIを、プライバシーを重視して設計された合成ペルソナを用いて構築 課題 • AIモデルは、学習データに多様性、現実性、または文化的ニュアンスが欠如している場合、性能が低 下する • 既存のウェブから収集されたペルソナデータセットは、偏りがあり、不完全で、根拠に乏しい • 価値の高いデータのほとんどは機密情報であるか、個人情報 (PII) を含んでいる 解決策 • 現実世界の統計（国勢調査、労働力、教育）に基づく 100% 合成データ • 地域、職業、ライフステージ、および特性 (OCEAN モデル) に基づいて構造化されている • NVIDIA NeMo Data Designer マイクロサービスを活用した、多段階複合型AIデータパイプライン 利用可能な Nemotron-Personas (CC BY 4.0 Licensed) 主権的で文化的に配慮したモデルおよびエージェントのファインチューニングに最適 : • US — 地域、職業、ライフステージを網羅した 10 万人のペルソナ（5400 万トークン） • Japan — 600 万人のペルソナ。農村部、都市部、高齢化社会の動態を反映（14 億トークン） • India — 多言語・多文字対応のペルソナ
21. ソブリン AI 基盤モデルのカスタマイズとデプロイの支援 NVIDIA NeMo: 企業文化や価値観を反映した基礎モデルのトレーニングとチューニングのためのプラットフォーム モデルの継続的改善 あなたの ソブリン基盤モデル モデルのカスタマイズ Start 事前学習済 基盤モデル Include ドメイン固有の知識 Exclude 機能ドメイン外のすべて Include 必要な機能的スキル Connect 最新の状態を維持する 為のソブリンデータソース 最新情報で知識を更新 事実の正確性と文化的整合性 バイアスと毒性の管理 独自のセキュリティ関連の質問に答える NVIDIA NIM デプロイ
22. NVIDIA AI: フルスタックアプローチ NVIDIA AI Enterprise - エンドツーエンド生成 AI パイプラインの開発とデプロイを効率化 Kubernetes オペレータ Cluster Management AI アプリケーション SDK, フレームワークとライブラリ NVIDIA NIM, NeMo マイクロサービス NVIDIA AI Enterprise ソブリン AI サステナビリティ 安全性 NVIDIA Accelerated Computing Infrastructure Cloud | Data Center | Workstation | Edge GPU, Networking, 仮想化ドライバ コミュニティモデル NVIDIA モデル カスタムモデル Video Analytics Agent Virtual Lab Agent Software Security Agent Research Assistant Agent Customer Service Agent NVIDIA Blueprints
23. NVIDIA NeMo / NVIDIA NIM 生成 AI モデルの構築、カスタマイズ、デプロイのためのエンドツーエンドのクラウドネイティブフレームワーク データ キュレーション 事前学習 事後学習 推論 ガードレール データ取得 RAG … デプロイメント 学習とカスタマイズ データ準備 NeMo Curator NVIDIA NeMo Data Designer Megatron- Bridge AutoModel NVIDIA NeMo RL NVIDIA NIM NVIDIA NeMo Retriever NeMo Guardrails
24. 日本におけるソブリンAI支援
25. 事例: LLM-JP 172B Developing a 172B LLM with Strong Japanese Capabilities Using NVIDIA Megatron-LM NVIDIA Megatron を使用したフルスクラッチ事前学習 • LLM-jp 172B は、日本語理解における高性能モデルの不足を解 消するために開発された、日本語能力に優れた最大規模のオー プンな大規模言語モデルの一つです • このモデルは、主に日本語と英語を含む 2.1 兆トークンの多言語 コーパスを用いて、Megatron-LM および Megatron-Core v0.6 を使用し、H100 GPU 上で FP8 ハイブリッドトレーニング によってゼロから学習されています • llm-jp/llm-jp-3-172b は Hugging Face で公開されています LLM-jp: A Cross-organizational Project for the Research and Development of Fully Open Japanese LLMs LLM-jp 172B achievd a training speed of 545-553 TFLOP/s with Megatron-Core v0.6.
26. 事例: Institute of Science Tokyo Llama 3.1 Swallow Megatron-LM / NVIDIA TensorRT-LLM Swallow LLMs Research and development of LLMs conducted by the members mainly in Okazaki Lab & Yokota Lab at Institute of Science Tokyo (formerly known as Tokyo Institute of Technology) https://swallow-llm.github.io/index.en.html
27. Sovereign AI NIM: Institute of Science Tokyo Swallow NIM https://build.nvidia.com/search?q=swallow • 2025 年 10月 現在以下のモデルが NIM としてbuild.nvidia.comに公 開中 • llama-3-1-swallow-70b-instruct-v01 • llama-3-1-swallow-8b-instruct-v01 • llama-3-swallow-70b-instruct-v01 以下のモデルもNIMとして公開予定 • tokyotech-llm/Llama-3.3-Swallow-70B-Instruct-v0.4 • tokyotech-llm/Llama-3.1-Swallow-8B-Instruct-v0.5
28. 事例: Stockmark 独自 LLM の社会実装 NeMo Aligner / NVIDIA TensorRT-LLM / NVIDIA NeMo Retriever NVIDIA AI Days Tokyo [AS111019] NVIDIA NeMo / TensorRT によるソブリン AI の社会実装より引用
29. Sovereign AI NIM: Stockmark2 100B Instruct NIM https://build.nvidia.com/stockmark/stockmark-2-100b-instruct • 従来比 (NIM OFF) で推論速度が最大 2.5 倍の向上 • GPU 最適化済の NIM コンテナをクラウドやオンプレミス環境にデプロイ する事で安全かつ柔軟な運用が可能に https://developer.nvidia.com/ja-jp/blog/stockmark-100b-japanese-full-scratch-llm-runs-2-5-faster-with-nim/ より引用 Stockmark-2-100B モデルの NIM による推論速度向上
30. Appendix. まとめ • NVIDIA NIM • https://build.nvidia.com/ • https://catalog.ngc.nvidia.com/search?filters=nimmcro_nvidia_nim • https://docs.nvidia.com/nim/index.html • NVIDIA NeMo Data Designer • https://catalog.ngc.nvidia.com/orgs/nvidia/teams/nemo-microservices/containers/data-designer • https://docs.nvidia.com/nemo/microservices/latest/design-synthetic-data-from-scratch-or-seeds/tutorials/index.html • Megatron-Bridge • https://github.com/NVIDIA-NeMo/Megatron-Bridge • https://docs.nvidia.com/nemo/megatron-bridge/latest/ • NVIDIA NeMo Retriever • https://developer.nvidia.com/nemo-retriever • [技術ブログ]リランキングモデルによる RAG の日本語検索精度の向上 • NVIDIA NeMo-RL • https://github.com/NVIDIA-NeMo/RL • https://docs.nvidia.com/nemo/rl/latest/index.html