Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LLMをやめよう / stop using LLM
Search
Naoki Kishida
July 05, 2023
Programming
11
13k
LLMをやめよう / stop using LLM
2023年7月5日に開催されたLLM Meetup Tokyo #3でのLT資料です
https://lu.ma/llm-meetup-tokyo-3
Naoki Kishida
July 05, 2023
Tweet
Share
More Decks by Naoki Kishida
See All by Naoki Kishida
Is Object Oriented nesessary? COSCUP 2024
kishida
0
85
プログラムに組み込みたい人向けLLMの概要 / LLM for programmers
kishida
2
330
Javaの現状2024夏 / Java current status 2024 summer
kishida
4
1.6k
Java 22 Overview
kishida
1
290
Is Object-Oriented nessesary?
kishida
0
85
オブジェクト指向は必要なのか / Is object-oriented needed?
kishida
35
25k
AI時代を乗り切る実装力をつけよう / Get avility of implementation beyond AI era
kishida
3
6.4k
AI時代を生き抜くために処理をちゃんと書けるようになろう / write a executable process for AI era
kishida
27
16k
Javaは今どうなっているの? / how about java now
kishida
14
20k
Other Decks in Programming
See All in Programming
複数プロダクトの技術改善・クラウド移行に向き合うチームのフレキシブルなペア・モブプログラミングの実践 / Flexible Pair Programming And Mob Programming
honyanya
0
130
モジュラモノリス、その前に / Modular monolith, before that
euglena1215
4
470
ECS向けのドリフト検知機構を実装してみた
tkikuc
0
260
Kubernetes上でOracle_Databaseの運用を楽にするOraOperatorの紹介
nnaka2992
0
140
Micro Frontends for Java Microservices - dev2next 2024
mraible
PRO
0
180
Rails 8 Frontend: 10 commandments & 7 deadly sins in 2025
yshmarov
1
580
AWS認定資格を受験するにあたり、気づいたこと・実践していたことのまとめ
satoshi256kbyte
1
120
Removing Corepack
yosuke_furukawa
PRO
9
1.1k
Iteratorでページネーションを実現する
sonatard
3
700
Modern Functional Fluent CFML REST by Luis Majano
ortus24
0
120
CSC509 Lecture 03
javiergs
PRO
0
130
Progressive Web Apps for Rails developers
siaw23
2
530
Featured
See All Featured
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
5
220
GitHub's CSS Performance
jonrohan
1030
450k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
230
17k
Visualization
eitanlees
143
15k
Building Flexible Design Systems
yeseniaperezcruz
327
38k
Robots, Beer and Maslow
schacon
PRO
157
8.2k
The Cost Of JavaScript in 2023
addyosmani
43
5.8k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
2
210
The Power of CSS Pseudo Elements
geoffreycrofte
71
5.3k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
228
52k
Infographics Made Easy
chrislema
239
18k
StorybookのUI Testing Handbookを読んだ
zakiyama
26
5.1k
Transcript
2023/07/05 1 LLMをやめよう 2023/7/5 LLM Meetup Tokyo #3 LINE Fukuoka
きしだ なおき 酒のネタになりそうなブログまとめ
2023/07/05 2 自己紹介 • きしだ なおき (@kis) • LINE Fukuoka
• 「プロになるJava」デテマス
2023/07/05 3 ChatGPTには感情があるかも? • そんな仕組みになってない? • 人間の役に立つよう強く躾られている • 難しいタスクが達成できると言葉が多くなる •
人間が非協力的でタスクが達成できないと 言葉が少なくなる • 塩対応 • 知らないことを聞かれると、知ってることで 言葉を埋める • これらが「感情」をもつように見える • 「感情」の定義次第といえるところまではきている
2023/07/05 4 大規模言語モデルは庶民的になる • コンピュータリソースや学習データなどから大規模かが難しい • GPT4で要求がだいたい満たせるので、そこまで需要がない? • 庶民的になる •
手元で動かしやすくなる • カスタマイズして手元の要求を満たす • もし大規模化しても、推論能力が あがるのではなく、人情がわかるようになる • 「解決方法じゃなく共感が欲しいんや」に 対応可能に
シンギュラリティは来ない • シンギュラリティ • =人工知能が自己発展することで技術発展が指数関数的に加速する • ロジカルに実現していることが前提 • 「AI」の学習に半年くらいかかるので加速しない •
データセンター拡張など ハードウェアの構築が必要 • なんだかんだ80億人いる人類にかなわない • 電話やインターネットのほうが 加速したのでは
LLMの「脳波」を観察してみる • GPT2モデルの全結合層の出力を保存 • CelebrasGPTを使用 • 英語の対応と日本語の対応で反応が強い部分が違う
LLMを壊してみよう • 「脳波」がとれたらそこを壊したくなるよね • 日本語対応で反応した部分をゼロリセットすると日本語がしゃべ れなくなる • 英語はしゃべれる • 英語対応で反応した部分をリセットしても
英語しゃべれる • 英語は学習量が多いので壊れにくい?
Function Callingでツールの操作 • Function Callingが出たのでツールの操作に使ってみる • 結構いい感じに操作できた
GPTで英語の勉強を手伝ってもらう • 日本語を渡して、レベルに応じた英文と難しい単語、理解度 チェック問題をつくってもらう • Function Callingが返すJSONがパースできない問題 • GPTに投げ直すのはコストが高い •
自力でパースして解決
LLMを使わずに自然言語でツールを操作 • ちょっとしたツール操作でGPT使うのはおおげさ • 格フレーム文法で雑に解決 • LLM使わずにすむならロジカルにやろう • チャットでも応答生成はロジカルに やったほうがよさげ
まとめ • LLMじゃなくても自然言語処理は楽しい