Slide 15
Slide 15 text
© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
トークン(基礎⽤語解説)
15
トークン、token
テキストを⽣成 AI に⼊⼒するために変換 (tokenization) したあとの基本的な単位。
⼊⼒したテキストがどのようにトークンとして分割されるかは⽣成 AI によって異なる。
⽣成 AI が扱えるテキストの⻑さは、⽣成 AI が対応するトークン数によって決まる。
This is a pen. This, is, a, pen, . 5 トークン
単語単位でトークン化する例
英語テキストをベースに作成された⽣成 AI の場合、同じ内容のプロンプトでも、
英語と⽐べて⽇本語の⽅がトークン数が多くなる傾向がある。
これはペンです。 これ, は, ペン, で, す, 。 6 トークン