Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ローカルAITuber勢の現在地と未来
Search
Sald ra
June 06, 2023
Technology
0
400
ローカルAITuber勢の現在地と未来
2023/06/06に開催された「第二回AITuberLT大会 」での登壇資料です。
Sald ra
June 06, 2023
Tweet
Share
More Decks by Sald ra
See All by Sald ra
AIキャラについての諸考察
sr2mg4
1
230
2023 AIAD忘年会LT 資料
sr2mg4
0
620
2023/09/23 「AIキャラクターの言動に深みを持たせる」
sr2mg4
2
950
AIキャラクター開発の側面から見る 新機能実装・検証の高速化の必要性
sr2mg4
1
840
Other Decks in Technology
See All in Technology
エンジニアリングマネージャーが紐解く、事業視点から組織文化まで、包括的アプローチの探求 / READYFOR
9ma3r
14
2.3k
Oracle Base Database Service:サービス概要のご紹介
oracle4engineer
PRO
0
13k
なぜクラウドサービスで Web コンソールを提供するのか
shuta13
4
1.9k
MySQLユーザ会なにやってるの?とおさそいと / たいへんなのw
sakaik
1
110
音声AIエージェントの世界とRetell AI入門 / Introduction to the World of Voice AI Agents and Retell AI
rkaga
4
820
MySQLのあらたしいリリースモデル LTSとIR
sakaik
1
130
データウェアハウス製品のSnowflakeでPythonが動くって知ってました?
foursue
1
160
React Aria で実現する次世代のアクセシビリティ
ryo_manba
4
890
スーパーマリオRPGのリメイク版の変更点からみるUX
nishiharatsubasa
1
270
セキュリティ監視の内製化 効率とリスク
mixi_engineers
PRO
7
820
LLM を現場で評価する
asei
4
700
Dive Deep in Cloud Run: Automatic Base Image update
aoto
PRO
0
900
Featured
See All Featured
The World Runs on Bad Software
bkeepers
PRO
64
11k
Fontdeck: Realign not Redesign
paulrobertlloyd
80
5.1k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
27
7.4k
Why You Should Never Use an ORM
jnunemaker
PRO
53
8.9k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
103
47k
KATA
mclloyd
27
13k
Testing 201, or: Great Expectations
jmmastey
35
6.9k
Thoughts on Productivity
jonyablonski
66
4.2k
Rebuilding a faster, lazier Slack
samanthasiow
78
8.5k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
157
15k
Into the Great Unknown - MozCon
thekraken
28
1.4k
Git: the NoSQL Database
bkeepers
PRO
425
64k
Transcript
ローカルAITuber勢 の現在地と未来 Sald_ra(サルドラ) 2023/06/05
自己紹介 サルドラ • Web系出身のエンジニア • AITuber「さくら」開発・運営 • あいちゅーばーわーるど運営 • AITuberLT大会運営
• 「ローカルLLMに向き合う会」会長 • ローカルAITuber勢 • LLM転職者
ローカルAITuber勢とは?
ローカルAITuber勢とは? AIとの応答部分を、OpenAIやRinnaのAPIを用いず自前で用意、 手元のPCで応答させるAITuber勢のこと うちの子である「さくら」はローカルAITuber勢です
メリットとデメリット
一般的に知られている メリットとデメリット メリット • 通信失敗がなく安定している • APIの値段がかからないので、かなり格安で運用できる デメリット • 精度が悪い。会話にならないようなことを話してしまう
• 参入難易度が高い
自分が感じてる メリットとデメリット メリット • 通信失敗がなく安定している • 特定のモデルに依存しない • APIでないので、モデルが手元にあればずっと運用できる デメリット
• 精度が「少し」悪い • 参入難易度が高い • 部屋が暑くなる
「精度」って なんだろう?
AIにおける「精度」ってなんだろう 自分は「あるタスクを達成するための精度」だと考えている 分類や翻訳、生成等… 例えば「ChatGPT」は「自然と感じる回答の生成」がタスク 対話文生成が主な機能だったが、出力結果の情報精度が良すぎて別の使われ方をされている気はする
AITuberの「精度」って なんだろう?
AITuberの「精度」って 「キャラに沿った発言をしてくれること」
AITuberの「精度」 AITuberの「精度」は「キャラに沿った発言をしてくれること」 語尾が「にょ」のAITuberに「お勧めの九州のスポットは?」と聞いたとき、 どっちの方が「精度が良い」だろう? 1. お勧めの九州のスポットは福岡です。昔からある寺院を見に行けます。 2. 最近この辺に来たからよくわからないにょ!今度うさだに聞いておくにょ!
ローカルAITuberの精度について ここ数か月でローカルAITuberの精度は変化している! 課題点はあるが、 一問一答形式であれば問題なく雑談ができるレベルに到達している。 上記ツイートは30億パラメータ(1b-rinna)
精度が良くなったきっかけは? 「ファインチューニング時に食わせたデータの質」が大事! 同じパラメータ数のモデルでも、 データセットの質を上げるだけで一気に精度が上がる。 上記は左がデータセットにこだわる前、右がこだわりだした後 どちらも10億パラメータ これでも本当に「精度は悪い」?
とにかくデータセットが大事
現行の日本語データセットの特徴 日本語のデータセットは少しだけ問題を抱えている • 日本語のデータセットは主に以下の特徴がある ◦ 膨大で汎用的だが、質が凄い高いわけではない ▪ dollyやoasst1 ◦ 高品質だが全てお嬢様による回答になる
▪ OjousamaTalkScriptDataset 「小規模で良いので高品質なデータ」の需要が上がる一方で、 ニュートラルな口調且つ高品質なデータセットがない
ないなら作るしかない
小規模高品質データセット製作PJ 「sakura_dataset」
sakura_dataset(鋭意製作中) • 超小規模(500)データセット • MITライセンスのデータセットをDeepLで翻訳、手動修正 • ニュートラルな口調の回答に統一 • AITuberに最適
sakura_dataset sakura_datasetに加えて100セット程度の台詞データを付け足すと、 AITuber用のデータセットが完成するようになる →気軽にローカルAITuberが作れるように!
結局ローカルAITuber勢の未来は どうなるの?
少なくともお先真っ暗ではない
ただし、もう少し 「自分で」やりたいことを やっていく必要がある
今後とも頑張っていきましょう