Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
AIに私たちの人格を憑依させパラレルワールドを生きる
Search
Masahiro Nishimi
July 05, 2023
Programming
760
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
AIに私たちの人格を憑依させパラレルワールドを生きる
LLM Meetup Tokyo #3 LT
Masahiro Nishimi
July 05, 2023
Transcript
13 slides
AIに私たちの人格を憑依させ パラレルワールドを生きる LLM Meetup Tokyo #3 2023.7.5
「コミュニケーションを圧縮したい」
人同士の会話はシリアル通信である
シリアル通信である以上、時間短縮には限界がある パラレル通信は できない
本当にコミュニケーションを圧縮する方法はないのか? 高度な高速通信 プロトコルを発明する パラレルワールドを MapReduceする
AIであれば可能かも知れない 高度な高速通信 プロトコルを発明する パラレルワールドを MapReduceする
「高度な高速通信プロトコル」案 • transformerモデル同士であれば埋め込みベクトルやニューロン活性を利用す ることによってコミュニケーションを取り合うことが可能かも知れない? ◦ OpenAIが「言語モデルに言語モデルを説明」させるデモンストレーションツールを公開 • とりあえずデータを突っ込んでも良いが、それをどう理解して何を返してい るかは外部から観察が困難。手を動かして検証するにはちょっとSFすぎる。
「パラレルワールドをMapReduce」案 • ちょっと前にtwitterのアーカイブデータからgpt-neoxやOpenCALMをファイ ンチューニング(LoRA)してみる試みが流行っていた。 • それなりにそれっぽくなるらしく、このチューニング済みモデルをパラレル ワールドに分散配置してみたらどうなるか? • シリアル通信の高速化が難しいのであれば、パラレル通信を実現することで コミュニケーションの圧縮に寄与するのではなかろうか?
パラレルワールドを開発する
AI人格を用意する • ベースモデルにはrinna/japanese-gpt-neox-3.6b-instruction-ppoを使用 • 8名の方にtwitterアーカイブを提供頂き、データ加工の上でファインチューン ◦ 試験的パラレルワールドでは100個のお題についてランダムにつぶやいてもらう設計なので、 各twitterのつぶやきがどのお題に近いか類似検索し、inputがお題、outputがtwitterつぶやきと なるようにデータ加工した。 •
LoRA作成にあたってはPEFTを利用 ◦ learning_rate: 3e-5 ◦ epoch: 3 ◦ これでA6000で5〜6時間程度
ランダムに誰かのつぶやきに反応する • 候補を与えて自己選択させたかったが、生rinnaには難しいタスクだった ◦ このタスク向けにもチューニングする必要あり • よってランダムに抽出されたつぶやきに反応するメカニズムを加える
できたもの(デモ)
ふりかえり • かなりデータをクレンジングしたのに出力が荒れてしまう問題 ◦ もうちょいlossを抑えないとダメだろうか(現在でもA6000で5時間ぐらいかかっているんだけ ど・・・) • スペシャルトークンの残骸のようなものが出てしまう問題 ◦ 今回はppo版をファインチューニングしたが、インストラクションチューニングされていない
モデルをファインチューニングした方が良かった? 分からん・・・ • 次は会話を発生させていきたい ◦ 会話スレッドはかなり面白そう • 男子ばかりなので女子のデータも欲しい ◦ 誰か・・・
More Decks by Masahiro Nishimi
See All by Masahiro Nishimi
AIエージェントのキホンから学ぶ「エージェンティックコーディング」実践入門
masahiro_nishimi
7
2.1k
DSPy Meetup Tokyo #1 - はじめてのDSPy
masahiro_nishimi
1
560
はじめてのDSPy - 言語モデルを『プロンプト』ではなく『プログラミング』するための仕組み
masahiro_nishimi
4
26k
Devinで実践する!AIエージェントと協働する開発組織の作り方
masahiro_nishimi
6
4.6k
【AIエージェント開発】LLMアプリ開発の1stステップと論文キャッチアップ - 論文を活用したAIエージェント開発の始め方
masahiro_nishimi
6
1.1k
日経電子版 x AIエージェントの可能性とAgentic RAGによって提案書生成を行う技術
masahiro_nishimi
2
1.8k
Azure OpenAI Service Dev Day / LLMでできる!使える!生成AIエージェント
masahiro_nishimi
4
3.9k
AIエージェントを現場に導入する目線とは
masahiro_nishimi
3
6.1k
AIエージェントが変えるソフトウェアのパラダイム
masahiro_nishimi
2
2.1k
Other Decks in Programming
See All in Programming
선언형 햅틱 라이브러리 진동을 소개합니다
l2hyunwoo
1
320
エラーチャンネルのボールを拾い続けて鍛えるエンジニアの地力 / phpcon-niigata2026
meihei3
1
430
動画プレイヤーはなぜカクつくのか 〜Flutterのレンダリングとネイティブの境界を解剖する〜
naruogram
0
340
Proxmox x Talos Linux x Terraform で実現するなんかいい感じの Kubernetes クラスタ / A Sleek Kubernetes Cluster Powered by Proxmox, Talos Linux, and Terraform
nnaka2992
0
250
Vue.jsで作る空間解析アプリとCapacitorプラグインのData Bridge
hal_spidernight
1
180
疎結合とは何か?ソフトウェア設計における結合バランスについて考える #phpcon_niigata
kajitack
2
320
Secure Your Coding Agent Like It’s Malware (v1.5) 🇬🇧 @Code.talks 2026
richargh
0
170
Kotlin JVM用に作られたライブラリのKMPを前提とした再設計
jsoizo
0
150
AI時代のシニアエンジニアとは
yosuke_furukawa
PRO
15
12k
RaspberryPi 5で軽くはじめるk3sとtailscaleを用いたホームサーバー構築 (1)
nasum
0
390
社内AIエージェント「Askワンバン」における コストチューニングの取り組み
t0yohei
0
170
テストだけで見つかる? Rubyでつくるメソッド発掘器
izawa
0
110
Featured
See All Featured
Designing Experiences People Love
moore
143
24k
Taking LLMs out of the black box: A practical guide to human-in-the-loop distillation
inesmontani
PRO
3
2.5k
KATA
mclloyd
PRO
35
16k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
4.6k
Primal Persuasion: How to Engage the Brain for Learning That Lasts
tmiket
0
520
Utilizing Notion as your number one productivity tool
mfonobong
4
640
B2B Lead Gen: Tactics, Traps & Triumph
marketingsoph
1
300
Gemini Prompt Engineering: Practical Techniques for Tangible AI Outcomes
mfonobong
2
640
Building an army of robots
kneath
307
47k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.9k
[Rails World 2026] Durable orchestration on Rails: from continuation to workflow
palkan
4
1.3k
AI Search: Implications for SEO and How to Move Forward - #ShenzhenSEOConference
aleyda
1
1.4k