affiliates. Hugging Face 機械学習のリファレンス・ オープンソースを活⽤し、 最先端の NLP モデルの構築、 トレーニング、デプロイ Open souese Datasets, Tokenizers, and Transformers Popular 56,000+ の GitHub Star (2022年1⽉時点) 1 か⽉あたり 100+ 万回のダウンロード Intuitive PyTorch または TensorFlow に基づいた NLP 特化の Python フロントエンド State of the art Transformer ベースのモデルは最先端で、転移学習とスケーラビリティを実現 Inclusive 10,000+ のモデルアーキテクチャ、240+ ⾔語を備えた Model Hub Hugging Face ライブラリの特徴
affiliates. Amazon SageMaker 分散学習ベンチマーク 36 ModelParallel training with T5-3B DataParallel training Model Instances Performance with modelparallel Performance without modelparallel T5-3B 8 P4d.24xlarge 299 seq/s OOM T5-3B 256 P4d.24xlarge 4.68 days OOM Model Instances Performance with dataparallel Speed up RoBERTa (1.3B) 30 P4d.24xlarge 1.85 iter/s 32.4% RoBERTa (1.3B) 16 P4d.24xlarge 2.00 iter/s 33.1%
EC2 Trn1 インスタンス The most cost-efficient DL instance in the cloud B F 1 6 / F P 1 6 F P 3 2 840 TFLOPS T F 3 2 3.4 PFLOPS 3.4 PFLOPS T R A N S I S T O R S P E R C H I P 55,000,000,000 Trn1 演 算 エ ン ジ ン 周 波 数 3 GHz ア グ リ ゲ ー ト ア ク セ ラ レ ー タ メ モ リ 512 GB ピ ー ク メ モ リ 帯 域 幅 13.1 TB/sec チ ッ プ 間 N E U R O N L I N K 帯 域 幅 768 GB/sec ネ ッ ト ワ ー ク コ ネ ク テ ィ ビ テ ィ 800 Gbps EFA プ レ ビ ュ ー