独断と偏見による俺的プロンプトTierリスト

キャラクターの性格や口調のような表面的な特徴だけでなく、癖やキャラクター自身の経験のような内面的な特徴までを再現するプロジェクト『AIアイネスフウジン』の開発に1年以上取り組んできた私が、『AIアイネスフウジン』の開発で得たノウハウを説明しながら著名なモデルのプロンプトフォーマットをランク付けします。

1. 俺的 プロンプトTierリスト 独断と偏見による Sakusakumura (さくさくむら)
2. 2 自己紹介 • さくさくむら @sakkusakumura • AIアイネスフウジン 『推しと自由に話したい！』 『推しの世界を観察したい！』の実現を目指して • Chat with Aines AIアイネスとの1v1チャットアプリ • Saezuri Writer 二次創作向け会話作成ツール
3. 3 AIアイネスの機能 マルチロール マルチターン ・「あの子とこの子がこんな会話してたらいいな・・・」 「このキャラクターと話してみたいな・・・」 を実現します の対話を生成 ・プロンプトによる指定＆過去のエピソード埋め込み キャラクターの性格、考え、癖、記憶の全てを再現
4. 4 Chat with AInes
5. 5 Saezuri Writer
6. 6 AIアイネスの機能 Chat with Aines Saezuri Writer プロンプトフォーマットの工夫が不可欠 どうすればモデルが理解しやすいか？ １つのモデル で実現 機能面、混乱させにくさの面からTier表を作成
7. 7 見たことあるやつ https://tiermaker.com/create/prompt-format-multi-turn-conversation-tier-list-maker-17351732
8. 8 Alpaca Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request. ### Instruction: {Instruction} ### Input: {Input} ### Response: {Output}
9. 9 Alpaca ・Markdownに似ているのでモデルが理解しやすい ・データセットの形状がそのままプロンプトで 扱いやすいし、見やすい（人にとって） ・Markdownの見出しと区別ができない ・マルチターンの場合、会話の終わりが分かりにくい
10. 10 会話の終わりと</s> ### Instruction: ... ### Input: ... ### Response: ... </s> ### Instruction: ... ### Input: ... ### Response: ... ### Instruction: ... ### Input: ... ### Response: ...</s> Responseの後</s>を出力しない 場合がある？？？ ①と②を区別できるか？ ① ② ・①はResponseの後</s>を出力 ・②はResponseの後</s>を出力せず Instructionが続く
12. 12 同時期のモデルたち 以下のモデルも同じ問題を抱えている • Vicuna • rinna/bilingual-gpt-neox • RWKV raven
13. 13 Vicuna USER: {input} ASSISTANT: {output} USER: {input} ASSISTANT: {output} ... bilingual-gpt-neox ユーザー: {input} システム: {output} ユーザー: {input} システム: {output} ... RWKV raven USER: {input} ASSISTANT: {output} USER: {input} ASSISTANT: {output} ... ※Alpacaよりも混同しやすい
14. 14 同Tier内：左の方がより良い
15. 15 Llama 2 [INST] <<SYS>> {system prompt} <</SYS>> {input} [/INST] {output} [INST] {input} [/INST] {output}</s> ※Special tokenは<s>, </s>, <unk>のみ
16. 16 Llama 2 ・システムとユーザ入力が明確に分離されている <<sys>> ... <</sys>> [INST] ... [/INST] ・改行を含む入出力に強い（囲まれているため） ・拡張性が少ない（ユーザー&アシスタントのみ） ・[INST]が複数トークンで分割されている →学習難易度の増加 ・どこで止まるのか不明瞭
18. 18 Mistral Instruct v0.1-0.2 {system} [INST] {input} [/INST] {output} </s> [INST] {input} [/INST] {output} </s> [INST] {input} [/INST] {output} </s> ...
19. 19 Mistral Instruct v0.1-0.2 ・入力だけでなく出力も明確に分離されている ・出力の最後に</s>を出力するので１ターンで止まる ・拡張性が少ない（ユーザー&アシスタントのみ） ・[INST]が複数トークンで分割されている →学習難易度の増加 （Llama 2と同じ問題）
21. 21 Llama 3 <|begin_of_text|><|start_header_id|>system<|end_header_id|> {system}<|eot_id|><|start_header_id|>user<|end_header_id|> {input}<|eot_id|><|start_header_id|>assistant<|end_header_id|> {output}<|eot_id|><|start_header_id|>user<|end_header_id|> ... <|begin_of_text|>, <|start_header_id|>, <|end_header_id|>, <|eot_id|>は 全て1トークン
22. 22 Llama 3 Positive： ・入出力に加えロールが明確に分離されている ・改行を含む入出力に強い（囲まれているため） ・<|eot_id|>がストップワードのように機能する ・Special Tokenが１トークンとして扱われているため モデルが理解しやすい ・特に無し
24. 24 Gemma / Gemma 2 <bos><start_of_turn>user {input}<end_of_turn> <start_of_turn>model {output}<end_of_turn><eos> ※bos, start_of_turn, end_of_turn, eosは全て1トークン
25. 25 Gemma / Gemma 2 Positive： ・入出力が明確に分離されている ・改行を含む入出力に強い（囲まれているため） ・<end_of_turn>がストップワードのように機能する ・Special Tokenが１トークンとして扱われているため モデルが理解しやすい Negative: ・ロールが囲まれていないため、Llama 3よりも若干 不安定か？
26. 26 CALM 3 <|im_start|>system {system}<|im_end|> <|im_start|>user {input}<|im_end|> <|im_start|>assistant {output}<|im_end|> ※ <|im_start|>, <|im_end|>は1トークン Gemma 2と同様の利点/欠点
28. 28 Mistral Instruct v0.3 [INST] {input} [/INST] {output} [INST] {input} [/INST] {output} ... [INST], [/INST] → 1トークン [TOOL_CALLS], [AVAILABLE_TOOLS], [/AVAILABLE_TOOLS], [TOOL_RESULTS], [/TOOL_RESULTS] も追加されていて１トークンで処理できる
29. 29 Mistral Instruct v0.3 Positive： ・特殊なトークン列は１トークンにまとめてある →学習難易度の低下 ・llama 3よりは柔軟性に劣る
31. 31 AInes v3 <s>{system instruction} [CONTEXT_START] <instruction>{Description of context section}</instruction> <character_information: {role1}>{description1}</character_information> <character_information: {role2}>{description2}</character_information> ... <background>{situation of this conversation}</background> [CONTEXT_END] [CHAT_START] <instruction>{description of chat section}</instruction> <voiceline: {role}>{content}</voiceline> <voiceline: {role}>{content}</voiceline> ... <final_turn_indicator> <voiceline: {role}>{content}</voiceline> </final_turn_indicator> [CHAT_END]</s>
32. 32 AInes v3 <s>{system instruction} [CONTEXT_START] <instruction>{Description of context section}</instruction> <character_information: {role1}>{description1}</character_information> <character_information: {role2}>{description2}</character_information> ... <background>{situation of this conversation}</background> [CONTEXT_END] [CHAT_START] <instruction>{description of chat section}</instruction> <voiceline: {role}>{content}</voiceline> <voiceline: {role}>{content}</voiceline> ... <final_turn_indicator> <voiceline: {role}>{content}</voiceline> </final_turn_indicator> [CHAT_END]</s> 登場人物の説明 会話の状況指定 会話部分
33. 33 AInes v3 [CONTEXT_START] <instruction>{このセクションの説明}</instruction> <character_information: {role1}>{description1}</character_information> <character_information: {role2}>{description2}</character_information> ... <background>{situation of this conversation}</background> [CONTEXT_END] ・Llama 3と同じ要領で、タグの役割と内容を明確に ・htmlのように内部に属性として名前を持たせる →様々なroleに柔軟に対応
34. 34 AInes v3 [CHAT_START] <instruction>{description of chat section}</instruction> <voiceline: {role}>{content}</voiceline> <voiceline: {role}>{content}</voiceline> ... <final_turn_indicator> <voiceline: {role}>{content}</voiceline> </final_turn_indicator> [CHAT_END]</s> 書き言葉ではなく話し言葉なので「voiceline」を使用 （学習データ量の少なさにより、１トークンでは上手くいかなかった） 最後のターンを示す目印
35. 35 AInes v3 Positive： ・最新LLMの工夫が全て入っている （トークン追加以外 ・とても高い柔軟性 様々なロール名、キャラ設定、シチュエーションに対応 ・複数ターン/1ターンの生成の切り替えが可能 Negative： ・Special Tokenが1トークンになっていないため 1. 学習難易度の増加 2. 推論コストの上昇
37. 37 ちなみに・・・ AInes v3: 2024/01 Llama 3: 2024/04
38. 38 AInes 今後の予定 指示チューニング済みモデルのファインチューニング →2023/07 基盤モデルのファインチューニング →2023/11 基盤モデルの追加学習＆ファインチューニング →2024/11 ? 追加学習の学習データ作成中です！ 手が足りてないのでご協力をお願いします！ 詳しくはスレッド『 Common Crawlを落としたい』へ
39. Thank you! Twitterのフォローお願いします！ @Sakkusakumura