Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ローカルAITuber勢の現在地と未来
Search
Sald ra
June 06, 2023
Technology
0
370
ローカルAITuber勢の現在地と未来
2023/06/06に開催された「第二回AITuberLT大会 」での登壇資料です。
Sald ra
June 06, 2023
Tweet
Share
More Decks by Sald ra
See All by Sald ra
AIキャラについての諸考察
sr2mg4
1
160
2023 AIAD忘年会LT 資料
sr2mg4
0
510
2023/09/23 「AIキャラクターの言動に深みを持たせる」
sr2mg4
2
900
AIキャラクター開発の側面から見る 新機能実装・検証の高速化の必要性
sr2mg4
1
800
Other Decks in Technology
See All in Technology
VSCodeの拡張機能を作っている話
ebarakazuhiro
1
290
AWSに詳しくない人でも始められるコスト最適化ガイド
yuhta28
0
150
Azure Container Apps + Bicep 〜 こんな感じで運用しています
kaz29
2
450
開発生産性向上サービスを作るFindyが自分たちで開発生産性を爆上げした組織づくりの歩み / Findy's path to boosting its own development productivity 2024-04-17
ma3tk
3
630
レガシーをぶっ壊せ。AEONで始めるDevRelの話 / Qiita Night 2024-2-22
aeonpeople
3
1.3k
家族アルバム みてねにおけるGrafana活用術 / Grafana Meetup Japan Vol.1 LT
isaoshimizu
1
430
反実仮想機械学習とは何か
usaito
PRO
11
4k
Vertex AI を中心に 生成AIのアップデートを共有します
kaz1437
0
300
私が trocco を推す理由
__allllllllez__
1
210
ChatGPT for IT Service Management (IT Pro)
dahatake
7
1.5k
Next'24 事例セッションの紹介とクラウド資格を活用したキャリア形成について語りMuscle
yasumuusan
1
430
Azure犬駆動開発の記録/GlobalAzureFukuoka2024_20240420
nina01
1
200
Featured
See All Featured
What the flash - Photography Introduction
edds
64
11k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
155
14k
Being A Developer After 40
akosma
57
580k
The Power of CSS Pseudo Elements
geoffreycrofte
60
5k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
78
42k
Become a Pro
speakerdeck
PRO
11
4.5k
Fireside Chat
paigeccino
21
2.6k
Clear Off the Table
cherdarchuk
84
310k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
9
8.3k
Fashionably flexible responsive web design (full day workshop)
malarkey
398
65k
Testing 201, or: Great Expectations
jmmastey
28
6.3k
What’s in a name? Adding method to the madness
productmarketing
PRO
16
2.6k
Transcript
ローカルAITuber勢 の現在地と未来 Sald_ra(サルドラ) 2023/06/05
自己紹介 サルドラ • Web系出身のエンジニア • AITuber「さくら」開発・運営 • あいちゅーばーわーるど運営 • AITuberLT大会運営
• 「ローカルLLMに向き合う会」会長 • ローカルAITuber勢 • LLM転職者
ローカルAITuber勢とは?
ローカルAITuber勢とは? AIとの応答部分を、OpenAIやRinnaのAPIを用いず自前で用意、 手元のPCで応答させるAITuber勢のこと うちの子である「さくら」はローカルAITuber勢です
メリットとデメリット
一般的に知られている メリットとデメリット メリット • 通信失敗がなく安定している • APIの値段がかからないので、かなり格安で運用できる デメリット • 精度が悪い。会話にならないようなことを話してしまう
• 参入難易度が高い
自分が感じてる メリットとデメリット メリット • 通信失敗がなく安定している • 特定のモデルに依存しない • APIでないので、モデルが手元にあればずっと運用できる デメリット
• 精度が「少し」悪い • 参入難易度が高い • 部屋が暑くなる
「精度」って なんだろう?
AIにおける「精度」ってなんだろう 自分は「あるタスクを達成するための精度」だと考えている 分類や翻訳、生成等… 例えば「ChatGPT」は「自然と感じる回答の生成」がタスク 対話文生成が主な機能だったが、出力結果の情報精度が良すぎて別の使われ方をされている気はする
AITuberの「精度」って なんだろう?
AITuberの「精度」って 「キャラに沿った発言をしてくれること」
AITuberの「精度」 AITuberの「精度」は「キャラに沿った発言をしてくれること」 語尾が「にょ」のAITuberに「お勧めの九州のスポットは?」と聞いたとき、 どっちの方が「精度が良い」だろう? 1. お勧めの九州のスポットは福岡です。昔からある寺院を見に行けます。 2. 最近この辺に来たからよくわからないにょ!今度うさだに聞いておくにょ!
ローカルAITuberの精度について ここ数か月でローカルAITuberの精度は変化している! 課題点はあるが、 一問一答形式であれば問題なく雑談ができるレベルに到達している。 上記ツイートは30億パラメータ(1b-rinna)
精度が良くなったきっかけは? 「ファインチューニング時に食わせたデータの質」が大事! 同じパラメータ数のモデルでも、 データセットの質を上げるだけで一気に精度が上がる。 上記は左がデータセットにこだわる前、右がこだわりだした後 どちらも10億パラメータ これでも本当に「精度は悪い」?
とにかくデータセットが大事
現行の日本語データセットの特徴 日本語のデータセットは少しだけ問題を抱えている • 日本語のデータセットは主に以下の特徴がある ◦ 膨大で汎用的だが、質が凄い高いわけではない ▪ dollyやoasst1 ◦ 高品質だが全てお嬢様による回答になる
▪ OjousamaTalkScriptDataset 「小規模で良いので高品質なデータ」の需要が上がる一方で、 ニュートラルな口調且つ高品質なデータセットがない
ないなら作るしかない
小規模高品質データセット製作PJ 「sakura_dataset」
sakura_dataset(鋭意製作中) • 超小規模(500)データセット • MITライセンスのデータセットをDeepLで翻訳、手動修正 • ニュートラルな口調の回答に統一 • AITuberに最適
sakura_dataset sakura_datasetに加えて100セット程度の台詞データを付け足すと、 AITuber用のデータセットが完成するようになる →気軽にローカルAITuberが作れるように!
結局ローカルAITuber勢の未来は どうなるの?
少なくともお先真っ暗ではない
ただし、もう少し 「自分で」やりたいことを やっていく必要がある
今後とも頑張っていきましょう