キャラクターAI開発におけるLLMの活用

Slide 1

Slide 1 text

Last Update: 2024年 01月25日キャラクターAI開発におけるLLMの活⽤ Spiral.AI 佐々⽊雄⼀

Slide 2

Slide 2 text

Conﬁden'al Copyright @ Spiral.AI Inc. All Rights Reserved. 2 日本から世界で勝負ができる領域で、日常生活で使えるサービスを目指す AIキャラクター事業を展開⼈格を再現したAIとの、対話を通じたサービス作り 1 ⾳声等を⽤いた⾃然で便利なコミュニケーション 2 3 利⽤者1⼈1⼈の会話内容にあわせたパーソナライズ体験 [IQ] 会話の正確性 [EQ] 会話の楽しさビッグテックが取り組みにくい領域 + “⽇本”が活きる領域圧倒的なリソースの差で追いつくことは難しい + 「正しさ」ユースケースは国境を越えやすい⽂化特性が強く、ビッグテックが⽴ち回りにくい + ⽇本の強み: 豊富な IPコンテンツが活きる対話の「個性」「楽しさ」に着⽬

Slide 3

Slide 3 text

Conﬁden'al Copyright @ Spiral.AI Inc. All Rights Reserved. 3 10月に、AIキャラクター商用プロダクト第一弾をローンチ真島なおみ Instagram/X/TikTok: SNSフォロワー 180万⼈超概要芸能⼈・IPコンテンツを公式で許諾取得した、 AI⾳声チャット商⽤サービスは⽇本初所属事務所公式のAIチャットサービス⾳声+テキストでやり取り可能 9⽉に公式プレスリリース; 10/31にサービスローンチ (当社調べ) デモ動画/LPリンク↓↓

Slide 4

Slide 4 text

Conﬁden'al Copyright @ Spiral.AI Inc. All Rights Reserved. 4 より深い、自由な会話の実現に向けて独自LLM開発にも取り組む Q: 他人の違いや多様性をどのように受け入れ、尊重しますか？ A: 受け入れられないのって、なんだろうね。自分のことが好きじゃないから、他人も同じ気持ちでいるって勝手に決めつけちゃって、だから受け入れられなくなっちゃうのかな。わかんないけど、自分のことを好きになってみたらどうですか。自分が好きだったら、自分と同じ気持ちでいてくれてるって思えるから、なんか受け入れられるんじゃないかな。尊重って難しいね、違いを認めるってことでいいんじゃない。現在開発中のAIキャラクター用独自LLM 【参考】 GPT-4に同じ質問をした場合の解答例

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Conﬁden'al Copyright @ Spiral.AI Inc. All Rights Reserved. 8 評価指標の設計(1) | A/Bテストで「似ているのはどちらか？」を評価評価指標の設計学習データ収集学習・評価デプロイ・ホスティング • 過去のBest Modelと、新しく作った Modelをブラインドテストで評価 (思想・口調・事実) • その結果、Best Modelを更新するかを判断

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Conﬁden'al Copyright @ Spiral.AI Inc. All Rights Reserved. 10 評価指標の設計(2) | “評価指標”の”評価” • 本物9件+ダミー1件の計10件の文章の中から、GPT-4にダミーの1件を見つけ出させるタスク • 単純にやると見つからないので、 Few-Shot ExamplesやChain of Thoughtなどで補強 • キャラクターの強さ次第だが、ある程度キャラクターの特性を見抜く評価器が出来た → これを用いて、TwinLLMの性能を評価していく (実施中) 評価器の性能が最強の場合/ 生成した文章がダメダメの場合 = 評価器がダミー文章を完璧に発見する評価器の性能が駄目な場合/ 生成した文章が完璧な場合 = 評価器がダミー文章を全く見つけられない (当てずっぽうになってしまう) 評価指標の設計学習データ収集学習・評価デプロイ・ホスティング

Slide 11

Slide 11 text

Confidential Copyright @ Spiral.AI Inc. All Rights Reserved. 11 デプロイ・ホスティング | 課題評価指標の設計学習データ収集学習・評価デプロイ・ホスティング 70bn.モデルをホスティングする場合のコスト • コストがそもそも法外・・・常時呼ばれている素晴らしいサービスならまだしも、過疎っている状態で月85万円は苦しい • ロードに数分かかる・・・人格ごとに複数モデルを使い分けなくてはいけない場合、ユーザーを待たせてしまう • 文章の生成完了に数分かかる・・・接続元からのコネクション切れる可能性など、余分な悩みが増える

Slide 12

Slide 12 text

Conﬁden'al Copyright @ Spiral.AI Inc. All Rights Reserved. 12 デプロイ・ホスティング | 利用しているソリューション評価指標の設計学習データ収集学習・評価デプロイ・ホスティング • サーバレスでモデルをホスティング。呼び出し頻度少ない場合はコストが安い • モデルロードも速く、モデルの使い分けが可能 • 生成処理が終わったら、Webhookを呼んで結果を返してくれる