Slide 8
Slide 8 text
8
Copyright 2023 NTT CORPORATION
事前学習データについて
• LLaMA 2の公開データのみで学習(その構成は不明).個⼈情報の削除やup-samplingを実施.
• LLaMA 1は CommonCrawl, C4, Github, Wikipedia, Books, ArXiv, StackExchange
• Chinchilla [Hoffman+, 2022/03] 基準では約20トークン/パラメータが必要(2Tトークンはこの基準の遥か上)
[Chao+,
2023/06/29(v11)]