生成AI新年会 エヌビディア合同会社 周神信也さん登壇資料一部

生成AI新年会2024@GMO Yours・フクラス（ https://algomatic.connpass.com/event/306870/ ）
の企業LTでエヌビディア合同会社の周神信也さんに登壇していただいた際の資料の一部になります。

Transcript

1. テーマ : 「自社からみた2024年の生成AIのトレンド予測」 様々なLLM実装を支えるNVIDIA NeMo ツール NVIDIA コンシューマーインターネットサービス事業本部 シニアマネージャー 周神 信也 （ちかがみ しんや）
2. 周神 信也 (ちかがみ しんや） シニアマネージャー コンシューマーインターネットサービス事業本部 NVIDIA
3. LLMモデル構築をEnd-to-Endで支援するNVIDIA NEMO AI モデルの構築、カスタマイズ、展開を支援するツールセット データ キュレーション 分散学習 モデル カスタマイズ 推論の高速化 ガードレール … Retrieval Augmented Generation NeMo Curator Megatron Core NeMo Aligner Triton & TensorRT-LLM NeMo Retriever NeMo Guardrails NVIDIA NeMo NVIDIA AI Enterprise ドメイン内の安全 な引用応答 ドメイン内クエリ モデル開発 エンタープライズアプリケーションの展開 NVIDIA DGX Cloud NeMo Framework NeMo Retriever NeMo Guardrails
4. 例）用途特化型 - ChipNeMo チップデザインに特化したカスタマイズLLM • 用途 • エンジニアのアシスタントとなるチャットボット • EDAのスクリプト生成 • バグ、問題の要約と分析 • NeMo Frameworkを使用して開発 • 事前学習済みの汎用モデルを開始点に • カスタムのトークナイザ • ドメイン適応事前学習 + ドメイン特化の指示チューニング • ドメイン適応検索モデル (RAG) • NVIDIA A100 * 128で7B, 13Bの学習に1-2日程度（ス クラッチ学習の場合は60-120日） https://arxiv.org/abs/2311.00176 https://blogs.nvidia.com/blog/llm-semiconductors-chip-nemo/
5. NVIDIA NeMo Framework AI Training Inference ✓データの収集、キュレーション ✓3D Parallelismによる分散学習 ✓最適なハイパーパラメータを見つけるための自動コンフィギュ レータツール ✓LLMモデルのカスタマイズ手法のサポート ✓オーケストレータのサポート: SLURM, Nephele, Kubernetes ✓推論高速化のためのモデル最適化 ✓GPUを最大限活用するサービング ✓充実したサンプルコードや補助スクリプト ✓モダリティを超えたサポートの拡大 ✓LLMs: BERT >100B, T5-MoE, T5, GPT-3, Llama ✓Multi-modal: StableDiffusion, ViT, ViT-CLIP, Instruct- Pix2Pix, Imagen NVIDIA DGX SuperPODs NVIDIA DGX Cloud NVIDIA DGX Systems https://developer.nvidia.com/nemo-framework
6. PaLM DRAGON E5 Retrieval Augmented Generation Text Embedding Vector Database User Data Framework for LLMs LLM Prompt Chroma Nemotron Llama-Index NVIDIA Retrieval QA Ada BM-25 Contriever GTR GTE FAISS Milvus Pinecone Redis Weaviate LangChain BLOOM Falcon LLM Llama-2 Mistral MPT Ranked Data Re-ranker or Personalize
7. NeMo Retriever NVIDIA NeMo Retriever - RAG • embedding reranking personalization NVIDIA AI Foundation • • PDF • SQL Tabular • TCO • GPU • NVIDIA Enterprise Support • API • NVIDIA AI Enterprise LLM Nemo Framework Embedding Retrieval, Reranking, Personalization </> Apply for Early Access
8. NVIDIA Guardrails - AI サービスの健全性を制御 LLM の正確さ、的確さ、およびセキュリティを確保 話題のガードレール 特定のドメイン内での対話を重視 安全性ガードレール ハルシネーション、有害な情報、 誤情報を防ぐ セキュリティ ガードレール 悪意のある呼び出しの実行を防ぎ、 第三者アプリへの権限移譲を避ける LLM App ツールキット (例： LangChain) LLM 第三者 アプリ エンタープライズ アプリケーション </> https://github.com/NVIDIA/NeMo-Guardrails
9. 生成 AI 活用のための第一歩 AI NVIDIA ハードウェア、ソフトウェア、サービス NeMo Framework LLM – PEFT – NVIDIA 技術ブログ
10. GTC 2024 / Japan AI Day – 開催概要 名称 : GPU Technology Conference 2024 (GTC 2024) 主催 : NVIDIA 開催日時 : 2024 年 3 月 18 日 (月) から 21 日(木) (米国時間) 開催形態 : ハイブリッド開催 (米国 San Jose Convention Center、およびオンライン) セッション数 : 650 以上のライブセッションとオンデマンドコンテンツ 参加費用 : 有償 (別紙参照)。オンライン参加は無償 (一部オンライン ワークショップ有償) 参加対象者 : 企業のビジネスリーダー、IT 関連の責任者や担当者、開発者、研究者、学生等 Japan AI Day : 2024 年 3 月 22 日 (金) 9:00 – 18:00 予定 (日本時間。GTC の一環としてオンライン開催) 公式サイト : www.nvidia.com/ja-jp/gtc/?ncid=GTC-NV0J4UUQ