Amazon Nova のトークナイザについて調べてみた

Transcript

1. クラウドで「ワクワク」を。 Excitement with the Cloud. Amazon Novaの トークナイザについて調べてみた 2025/1/10 田村 晃輝
2. © Cloud Centric Corporation 2 クラウドで「ワクワク」を。 自己紹介 田村 晃輝 クラウドセントリック 株式会社 インテグレーション技術部 JAWS-UG 富山支部 @koki46926199 元 富山県民 エンジニア歴 1年10ヵ月 AWS歴は1年ほど AWS汎用基盤における監視・運用設計、構築業務を担当 最近のトピック： エンジニアを始めるのと同時に太り始めました
3. © Cloud Centric Corporation 3 クラウドで「ワクワク」を。 re:Invent初参加！
4. © Cloud Centric Corporation 4 クラウドで「ワクワク」を。 re:Invent 何してた？ 肉と蟹を食べていました 2日目 最終日 Peter Luger Steak House Joe's
5. © Cloud Centric Corporation 5 クラウドで「ワクワク」を。 人生が変わる体験だった？
6. © Cloud Centric Corporation 6 クラウドで「ワクワク」を。 人生が変わる体験だった？ 人生を大きく変える(かもしれない)体験だったと感じています 現地の熱量や、社外のエンジニアとのネットワーキング等… ポジティブな刺激を多く受けました 次回もぜひ re:Invent に参加したいと感じましたし 今後は積極的にアウトプットを始めていきたいと思います
7. © Cloud Centric Corporation 7 クラウドで「ワクワク」を。 re:Invent で特に気になった新サービス CEO Keynote with Matt Garman：https://www.youtube.com/watch?v=LY7m5LQliAo
8. © Cloud Centric Corporation 8 クラウドで「ワクワク」を。 Amazon Nova のモデル種類 Amazon Nova：https://aws.amazon.com/jp/ai/generative-ai/nova/ Amazon Nova Micro 低コストかつ低レイテンシーなテキストのみを処理するモデル Amazon Nova Lite 抵コストかつ高速な、画像・動画・テキスト入力に対応しているマルチモーダルモデル Amazon Nova Pro 精度、速度、コストの最適な組み合わせを備えた高性能なマルチモーダルモデル Amazon Nova Canvas テキストや画像から画像を生成するモデル Amazon Nova Reel テキストや画像から動画を生成するモデル ※ 現在は6秒まで
9. © Cloud Centric Corporation 9 クラウドで「ワクワク」を。 Amazon Nova ローンチ予定のモデル Amazon Nova Premiere 複雑な推論やカスタムモデル抽出に最適な高性能マルチモーダルモデル speech-to–speech model 音声の入力に対して音声で回答してくれるモデル multimodal-to-multimodal model マルチモーダルの入力に対してマルチモーダルで回答してくれるモデル
10. © Cloud Centric Corporation 10 クラウドで「ワクワク」を。 ◦◦のシステムにチャットボット（Amazon Nova）を導入したいと思います！ …コストの件、確認します。 提案者 提案者 セキュリティは大丈夫？ それに、コストはどれくらいかかるの？ クライアント/上長 提案時に聞かれたことはありますか？
11. © Cloud Centric Corporation 11 クラウドで「ワクワク」を。 コストを見てもトークンベースで記載されていてよく分からない… Bedrock Pricing：https://aws.amazon.com/jp/bedrock/pricing/ Prompt Caching：https://docs.aws.amazon.com/bedrock/latest/userguide/prompt-caching.html バッチ推論：https://docs.aws.amazon.com/bedrock/latest/userguide/batch-inference-data.html
12. © Cloud Centric Corporation 12 クラウドで「ワクワク」を。 言語モデルが言語を理解するためのプロセス 今日は雪が降っている 今日 は 雪 が 降っている 1 2 Token 3 4 5 [[0.1, 0.2, ...], [0.3, 0.4, ...], [0.5, 0.6, ...], [0.7, 0.8, ...], [0.9, 1.0, ...]] トークナイザによるトークン変換 （tokenization） ベクトル化（Embedding）
13. © Cloud Centric Corporation 13 クラウドで「ワクワク」を。 トークナイザにも種類がある - 単語単位 英語のように単語がスペースで区切られている言語では簡単に分割可能だが 日本語のように単語の区切りがない言語では、判断する仕組みが必要。 例: 「今日は雪が降っている」 → 「今日」「は」「雪」「が」「降って」「いる」 - 文字単位 例: 「今日は雪が降っている」 → 「今」「日」「は」「雪」「が」「降」「っ」「て」「い」「る」 - サブワード単位 単語をさらに細かい単位に分割する手法 例: 「今日は雪が降っている」 → 「今日」「##は」「雪」「##が」「降」「##って」「いる」 ※分割された単位をサブワードと呼び、「##」は前のトークンに続くサブワードを示している
14. © Cloud Centric Corporation 14 クラウドで「ワクワク」を。 気になっていたこと 各モデルってどんな感じでトークン分割されているんだろう…？ 特に日本語は…？ 日本語で質問を入力したときにどんな分割になるのか見てみよう
15. © Cloud Centric Corporation 15 クラウドで「ワクワク」を。 今回調査してみたモデルの紹介 Amazon Bedrock提供モデル - Amazon Nova Micro - Amazon Nova Lite ‐ Amazon Nova Pro - Claude 3.5 Sonnet v2 - Claude 3.5 Haiku OpenAI - ChatGPT 4o - ChatGPT 4o mini ※ Claude 3.5 Haiku は推論プロファイルの必要ないオレゴンリージョン（us-west-2） それ以外は、バージニア北部リージョン（us-east-1）にて確認
16. © Cloud Centric Corporation 16 クラウドで「ワクワク」を。 Amazon Bedrock : トークン数の確認方法（コンソール） Chat / Text playground にて確認可能 ※ 1度に比較できるのは、比較モードを使用して2つまで
17. © Cloud Centric Corporation 17 クラウドで「ワクワク」を。 Amazon Bedrock : トークン数の確認方法（Cloud Watch） Amazon Bedrockコンソールの設定画面から 「モデル呼び出しログの記録」を設定すると 入出力トークンとレイテンシーをCloudWatchメトリクス上でモデル別に参照することができます
18. © Cloud Centric Corporation 18 クラウドで「ワクワク」を。 { “id”: “msg_bdrk_012cB1hStJLVPoy86PhDU5G8”, "type": "message", "role": "assistant", "model": "claude-3-5-sonnet-20240620", "content": [ { "type": "text", “text”: ‘“Bedrock”は…’ #回答 } ], "stop_reason": "end_turn", "stop_sequence": None, "usage": { "input_tokens": 18, # 質問文のトークン数 "output_tokens": 354, # 回答文のトークン数 "total_tokens": 372, # 合計トークン数 }, } Amazon Bedrock : トークン数の確認方法（Boto3） invoke_model を実行し 取得したパラメータの [“body”] に右のように データが格納されています
19. © Cloud Centric Corporation 19 クラウドで「ワクワク」を。 Amazon Nova Micro / Lite / Pro 質問文：AWS re:Inventについて簡単に教えてください。 Model Input Tokens Output Tokens Total Tokens 実行時間(s) Nova Pro 9 410 419 5.4 Nova Lite 9 484 493 4.02 Nova Micro 9 460 469 2.85 AWS re : Invent について 簡単に 教えて ください 。 Input Tokensの分割イメージ（推測）
20. © Cloud Centric Corporation 20 クラウドで「ワクワク」を。 Model Input Tokens Output Tokens Total Tokens 実行時間(s) Claude 3.5 Sonnet 23 409 432 8.21 Claude 3.5 Haiku 23 320 343 6.35 質問文：AWS re:Inventについて簡単に教えてください。 Claude 3.5 Sonnet / Haiku A W S re : In vent に つい て 簡 単 に 教 え て くだ さい 。 Input Tokensの分割イメージ（推測）
21. © Cloud Centric Corporation 21 クラウドで「ワクワク」を。 ChatGPT 4o / 4o mini 質問文：AWS re:Inventについて簡単に教えてください。 OpenAI トークナイザ：https://platform.openai.com/tokenizer
22. © Cloud Centric Corporation 22 クラウドで「ワクワク」を。 比較結果まとめ（2025/1/10 時点） Model Input Tokens Output Tokens Total Tokens 実行時間(s) Nova Pro 9 410 419 5.4 Nova Lite 9 484 493 4.02 Nova Micro 9 460 469 2.85 Claude 3.5 Sonnet 23 409 432 8.21 Claude 3.5 Haiku 23 320 343 6.35 GPT 4o / 4o mini 12 481 493 11.88 質問文：AWS re:Inventについて簡単に教えてください。
23. © Cloud Centric Corporation 23 クラウドで「ワクワク」を。 Model Input Tokens Output Tokens Total Tokens 実行時間(s) Nova Pro 9 410 419 5.4 Nova Lite 9 484 493 4.02 Nova Micro 9 460 469 2.85 Claude 3.5 Sonnet 23 409 432 8.21 Claude 3.5 Haiku 23 320 343 6.35 GPT 4o / 4o mini 12 481 493 11.88 トークン分割数が少ない・・・！（2025/1/10 時点） 質問文：AWS re:Inventについて簡単に教えてください。
24. © Cloud Centric Corporation 24 クラウドで「ワクワク」を。 Model Input Tokens Output Tokens Total Tokens 実行時間(s) Nova Pro 9 410 419 5.4 Nova Lite 9 484 493 4.02 Nova Micro 9 460 469 2.85 Claude 3.5 Sonnet 23 409 432 8.21 Claude 3.5 Haiku 23 320 343 6.35 GPT 4o / 4o mini 12 481 493 11.88 Nova Microの実行時間がとても短い…！（2025/1/10 時点） 質問文：AWS re:Inventについて簡単に教えてください。
25. © Cloud Centric Corporation 25 クラウドで「ワクワク」を。 Amazon Nova の最大トークン数（コンテキストウインドウ）の多さも魅力的…! Amazon Nova：https://aws.amazon.com/jp/ai/generative-ai/nova/
26. © Cloud Centric Corporation 26 クラウドで「ワクワク」を。 API料金 ＝ 入力トークン数 × 利用単価 ＋ 出力トークン数 × 利用単価 となるので、トークン数が少ない方がコスト面的には有利ですし モデルに渡す質問の文章量も多くすることが可能となります コスト計算について
27. © Cloud Centric Corporation 27 クラウドで「ワクワク」を。 注意いただきたいこと 言語や、文章の表記方法などでトークン数は大きく変動します また、精度・品質など考慮事項はほかにもありますので ユースケースに合わせて調査し、モデルを選択しましょう
28. © Cloud Centric Corporation 28 クラウドで「ワクワク」を。 まとめ Amazon Novaのトークナイザの日本語理解能力が高い とにかく実行時間が短い（特にNova Micro） 最大トークン数（コンテキストウインドウ）が多いため、長い会話でも有用 回答速度を求められるサービスなどでは第一候補に挙がるのでは無いかと思いました まだまだ気になることはあるので、さらに検証を進めていきます