5 はじめに 1 スライド中の用語を整理しておきます ● Word:単語 ( I am a Kaggle Grandmaster.) ○ 大体 sentence.split()で出てくるものと同義。 ● Character:文字 ( I a m a K a g g l e G r a n d m a s t e r . ) ● Token: tokenizerで文字を分割した単位。モデルによって様々。 ○ Robertaの場合:'I', 'Ġam', 'Ġa', 'ĠK', 'agg', 'le', 'ĠGrand', 'master', '.'