Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AIに私たちの人格を憑依させパラレルワールドを生きる
Search
Masahiro Nishimi
July 05, 2023
Programming
0
650
AIに私たちの人格を憑依させパラレルワールドを生きる
LLM Meetup Tokyo #3 LT
Masahiro Nishimi
July 05, 2023
Tweet
Share
More Decks by Masahiro Nishimi
See All by Masahiro Nishimi
Devinで実践する!AIエージェントと協働する開発組織の作り方
masahiro_nishimi
6
3.7k
【AIエージェント開発】LLMアプリ開発の1stステップと論文キャッチアップ - 論文を活用したAIエージェント開発の始め方
masahiro_nishimi
6
910
日経電子版 x AIエージェントの可能性とAgentic RAGによって提案書生成を行う技術
masahiro_nishimi
2
1.2k
Azure OpenAI Service Dev Day / LLMでできる!使える!生成AIエージェント
masahiro_nishimi
4
3.4k
AIエージェントを現場に導入する目線とは
masahiro_nishimi
3
5.3k
AIエージェントが変えるソフトウェアのパラダイム
masahiro_nishimi
2
1.7k
AIエージェントとLangChain
masahiro_nishimi
3
4.8k
LangChainキャッチアップ - LangChain Expression Languageを完全に理解する
masahiro_nishimi
12
11k
LangChainもくもく会ガイダンス
masahiro_nishimi
1
620
Other Decks in Programming
See All in Programming
フロントエンド開発に役立つクライアントプログラム共通のノウハウ / Universal client-side programming best practices for frontend development
nrslib
7
3.8k
uniqueパッケージの内部実装を支えるweak pointerの話
magavel
0
880
iOS 17で追加されたSubscriptionStoreView を利用して5分でサブスク実装チャレンジ
natmark
0
480
CSS Linter の現在地 2025年のベストプラクティスを探る
ryo_manba
10
3.2k
Pythonスレッドとは結局何なのか? CPython実装から見るNoGIL時代の変化
curekoshimizu
4
1.2k
ててべんす独演会〜Flowの全てを語ります〜
tbsten
1
220
monorepo の Go テストをはやくした〜い!~最小の依存解決への道のり~ / faster-testing-of-monorepos
convto
2
160
2分台で1500examples完走!爆速CIを支える環境構築術 - Kaigi on Rails 2025
falcon8823
3
2.8k
そのpreloadは必要?見過ごされたpreloadが技術的負債として爆発した日
mugitti9
2
2.8k
Чего вы не знали о строках в Python – Василий Рябов, PythoNN
sobolevn
0
150
私達はmodernize packageに夢を見るか feat. go/analysis, go/ast / Go Conference 2025
kaorumuta
2
460
Swift Concurrency - 状態監視の罠
objectiveaudio
2
430
Featured
See All Featured
The Straight Up "How To Draw Better" Workshop
denniskardys
237
140k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
17k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
48
9.7k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Bash Introduction
62gerente
615
210k
Navigating Team Friction
lara
189
15k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
30
2.9k
Building Better People: How to give real-time feedback that sticks.
wjessup
368
20k
What's in a price? How to price your products and services
michaelherold
246
12k
The Cult of Friendly URLs
andyhume
79
6.6k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Transcript
AIに私たちの人格を憑依させ パラレルワールドを生きる LLM Meetup Tokyo #3 2023.7.5
「コミュニケーションを圧縮したい」
人同士の会話はシリアル通信である
シリアル通信である以上、時間短縮には限界がある パラレル通信は できない
本当にコミュニケーションを圧縮する方法はないのか? 高度な高速通信 プロトコルを発明する パラレルワールドを MapReduceする
AIであれば可能かも知れない 高度な高速通信 プロトコルを発明する パラレルワールドを MapReduceする
「高度な高速通信プロトコル」案 • transformerモデル同士であれば埋め込みベクトルやニューロン活性を利用す ることによってコミュニケーションを取り合うことが可能かも知れない? ◦ OpenAIが「言語モデルに言語モデルを説明」させるデモンストレーションツールを公開 • とりあえずデータを突っ込んでも良いが、それをどう理解して何を返してい るかは外部から観察が困難。手を動かして検証するにはちょっとSFすぎる。
「パラレルワールドをMapReduce」案 • ちょっと前にtwitterのアーカイブデータからgpt-neoxやOpenCALMをファイ ンチューニング(LoRA)してみる試みが流行っていた。 • それなりにそれっぽくなるらしく、このチューニング済みモデルをパラレル ワールドに分散配置してみたらどうなるか? • シリアル通信の高速化が難しいのであれば、パラレル通信を実現することで コミュニケーションの圧縮に寄与するのではなかろうか?
パラレルワールドを開発する
AI人格を用意する • ベースモデルにはrinna/japanese-gpt-neox-3.6b-instruction-ppoを使用 • 8名の方にtwitterアーカイブを提供頂き、データ加工の上でファインチューン ◦ 試験的パラレルワールドでは100個のお題についてランダムにつぶやいてもらう設計なので、 各twitterのつぶやきがどのお題に近いか類似検索し、inputがお題、outputがtwitterつぶやきと なるようにデータ加工した。 •
LoRA作成にあたってはPEFTを利用 ◦ learning_rate: 3e-5 ◦ epoch: 3 ◦ これでA6000で5〜6時間程度
ランダムに誰かのつぶやきに反応する • 候補を与えて自己選択させたかったが、生rinnaには難しいタスクだった ◦ このタスク向けにもチューニングする必要あり • よってランダムに抽出されたつぶやきに反応するメカニズムを加える
できたもの(デモ)
ふりかえり • かなりデータをクレンジングしたのに出力が荒れてしまう問題 ◦ もうちょいlossを抑えないとダメだろうか(現在でもA6000で5時間ぐらいかかっているんだけ ど・・・) • スペシャルトークンの残骸のようなものが出てしまう問題 ◦ 今回はppo版をファインチューニングしたが、インストラクションチューニングされていない
モデルをファインチューニングした方が良かった? 分からん・・・ • 次は会話を発生させていきたい ◦ 会話スレッドはかなり面白そう • 男子ばかりなので女子のデータも欲しい ◦ 誰か・・・