Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LLMをやめよう / stop using LLM
Search
Naoki Kishida
July 05, 2023
Programming
11
13k
LLMをやめよう / stop using LLM
2023年7月5日に開催されたLLM Meetup Tokyo #3でのLT資料です
https://lu.ma/llm-meetup-tokyo-3
Naoki Kishida
July 05, 2023
Tweet
Share
More Decks by Naoki Kishida
See All by Naoki Kishida
AIを活用し、今後に備えるための技術知識 / Basic Knowledge to Utilize AI
kishida
22
5.8k
LLMベースAIの基本 / basics of LLM based AI
kishida
12
3.3k
Java 24まとめ / Java 24 summary
kishida
3
770
AI時代のプログラミング教育 / programming education in ai era
kishida
25
26k
Java Webフレームワークの現状 / java web framework at burikaigi
kishida
10
2.6k
AI時代に求められるプログラマの能力 / ability of programmer in AI era
kishida
19
13k
Java 23の概要とJava Web Frameworkの現状 / Java 23 and Java web framework
kishida
2
550
Java Webフレームワークの現状 / java web framework
kishida
10
11k
Is Object Oriented nesessary? COSCUP 2024
kishida
0
200
Other Decks in Programming
See All in Programming
旅行プランAIエージェント開発の裏側
ippo012
2
920
Navigating Dependency Injection with Metro
zacsweers
3
2.5k
@Environment(\.keyPath)那么好我不允许你们不知道! / atEnvironment keyPath is so good and you should know it!
lovee
0
120
FindyにおけるTakumi活用と脆弱性管理のこれから
rvirus0817
0
530
アルテニア コンサル/ITエンジニア向け 採用ピッチ資料
altenir
0
110
奥深くて厄介な「改行」と仲良くなる20分
oguemon
1
560
Tool Catalog Agent for Bedrock AgentCore Gateway
licux
7
2.5k
知っているようで知らない"rails new"の世界 / The World of "rails new" You Think You Know but Don't
luccafort
PRO
1
180
詳解!defer panic recover のしくみ / Understanding defer, panic, and recover
convto
0
250
為你自己學 Python - 冷知識篇
eddie
1
350
概念モデル→論理モデルで気をつけていること
sunnyone
3
290
AIと私たちの学習の変化を考える - Claude Codeの学習モードを例に
azukiazusa1
10
4.3k
Featured
See All Featured
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
333
22k
Music & Morning Musume
bryan
46
6.8k
Optimising Largest Contentful Paint
csswizardry
37
3.4k
4 Signs Your Business is Dying
shpigford
184
22k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.5k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
46
7.6k
Faster Mobile Websites
deanohume
309
31k
Six Lessons from altMBA
skipperchong
28
4k
Fireside Chat
paigeccino
39
3.6k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
12
1.1k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Transcript
2023/07/05 1 LLMをやめよう 2023/7/5 LLM Meetup Tokyo #3 LINE Fukuoka
きしだ なおき 酒のネタになりそうなブログまとめ
2023/07/05 2 自己紹介 • きしだ なおき (@kis) • LINE Fukuoka
• 「プロになるJava」デテマス
2023/07/05 3 ChatGPTには感情があるかも? • そんな仕組みになってない? • 人間の役に立つよう強く躾られている • 難しいタスクが達成できると言葉が多くなる •
人間が非協力的でタスクが達成できないと 言葉が少なくなる • 塩対応 • 知らないことを聞かれると、知ってることで 言葉を埋める • これらが「感情」をもつように見える • 「感情」の定義次第といえるところまではきている
2023/07/05 4 大規模言語モデルは庶民的になる • コンピュータリソースや学習データなどから大規模かが難しい • GPT4で要求がだいたい満たせるので、そこまで需要がない? • 庶民的になる •
手元で動かしやすくなる • カスタマイズして手元の要求を満たす • もし大規模化しても、推論能力が あがるのではなく、人情がわかるようになる • 「解決方法じゃなく共感が欲しいんや」に 対応可能に
シンギュラリティは来ない • シンギュラリティ • =人工知能が自己発展することで技術発展が指数関数的に加速する • ロジカルに実現していることが前提 • 「AI」の学習に半年くらいかかるので加速しない •
データセンター拡張など ハードウェアの構築が必要 • なんだかんだ80億人いる人類にかなわない • 電話やインターネットのほうが 加速したのでは
LLMの「脳波」を観察してみる • GPT2モデルの全結合層の出力を保存 • CelebrasGPTを使用 • 英語の対応と日本語の対応で反応が強い部分が違う
LLMを壊してみよう • 「脳波」がとれたらそこを壊したくなるよね • 日本語対応で反応した部分をゼロリセットすると日本語がしゃべ れなくなる • 英語はしゃべれる • 英語対応で反応した部分をリセットしても
英語しゃべれる • 英語は学習量が多いので壊れにくい?
Function Callingでツールの操作 • Function Callingが出たのでツールの操作に使ってみる • 結構いい感じに操作できた
GPTで英語の勉強を手伝ってもらう • 日本語を渡して、レベルに応じた英文と難しい単語、理解度 チェック問題をつくってもらう • Function Callingが返すJSONがパースできない問題 • GPTに投げ直すのはコストが高い •
自力でパースして解決
LLMを使わずに自然言語でツールを操作 • ちょっとしたツール操作でGPT使うのはおおげさ • 格フレーム文法で雑に解決 • LLM使わずにすむならロジカルにやろう • チャットでも応答生成はロジカルに やったほうがよさげ
まとめ • LLMじゃなくても自然言語処理は楽しい