Slide 16
Slide 16 text
学習ライブラリ Heron
Heronのconfig例
15
各モジュールや学習設定を簡単なconfig
のみで⾃由に置換可能な学習ライブラリ
をOSSとして公開
● 様々なモデルを組み合わせて学習できる
○ 画像エンコーダ + アダプター + LLM
■ LLama-2, OPT, GPT-NeoX, StableLM, …
○ ⽇本語データセット/モデルも提供
● 分散学習にも対応
○ DeepSpeed ZeRO1/ZeRO2/ZeRO3
デモサイト
github.com/turingmotors/heron