Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LLMをやめよう / stop using LLM
Search
Naoki Kishida
July 05, 2023
Programming
11
13k
LLMをやめよう / stop using LLM
2023年7月5日に開催されたLLM Meetup Tokyo #3でのLT資料です
https://lu.ma/llm-meetup-tokyo-3
Naoki Kishida
July 05, 2023
Tweet
Share
More Decks by Naoki Kishida
See All by Naoki Kishida
Java 22 Overview
kishida
1
180
Is Object-Oriented nessesary?
kishida
0
41
オブジェクト指向は必要なのか / Is object-oriented needed?
kishida
31
22k
AI時代を乗り切る実装力をつけよう / Get avility of implementation beyond AI era
kishida
2
4.6k
AI時代を生き抜くために処理をちゃんと書けるようになろう / write a executable process for AI era
kishida
23
12k
Javaは今どうなっているの? / how about java now
kishida
14
19k
動くコードを書こう / let's code a process
kishida
24
7.1k
Java 21の概要 / outline of Java 21
kishida
10
6.1k
エンジニアはLLMとどう付き合うか / How engineer get along with LLM
kishida
19
13k
Other Decks in Programming
See All in Programming
Blue/Greenデプロイの導入による 運用フローの改善
kudoas
1
380
Site Reliability Engineering for GMO
pyama86
8
1k
見た目から始める生産性向上
ikumatadokoro
7
860
AWS Application Composerで始める、 サーバーレスなデータ基盤構築 / 20240406-jawsug-hokuriku-shinkansen
kasacchiful
1
260
if constexpr文はテンプレート世界のラムダ式である
faithandbrave
3
650
SwiftUIで使いやすいToastの作り方 / How to build a Toast system which is easy to use in SwiftUI
lovee
3
150
大規模UIKitベースアプリへのTCAの段階的導入/gradual-adoption-of-tca-in-a-large-scale-uikit-based-app
takehilo
1
180
『Railsオワコン』と言われる時代に、なぜブルーモ証券はRailsを選ぶのか
free_world21
0
260
FigmaとPHPで作る1ミリたりとも表示崩れしない最強の帳票印刷ソリューション
ttskch
43
19k
try! Swift Tokyo 2024 参加報告 / try! Swift Tokyo 2024 Report
hironytic
0
210
Fragment Composition of GraphQL
quramy
7
1k
From Spring Boot 2 to Spring Boot 3 with Java 21 and Jakarta EE
ivargrimstad
0
130
Featured
See All Featured
Building Flexible Design Systems
yeseniaperezcruz
319
37k
Why Our Code Smells
bkeepers
PRO
331
56k
Agile that works and the tools we love
rasmusluckow
325
20k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
221
21k
Designing on Purpose - Digital PM Summit 2013
jponch
110
6.5k
Building an army of robots
kneath
300
41k
Build The Right Thing And Hit Your Dates
maggiecrowley
24
2k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
274
13k
The Power of CSS Pseudo Elements
geoffreycrofte
60
5k
A Tale of Four Properties
chriscoyier
151
22k
Building a Modern Day E-commerce SEO Strategy
aleyda
17
6.4k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
226
51k
Transcript
2023/07/05 1 LLMをやめよう 2023/7/5 LLM Meetup Tokyo #3 LINE Fukuoka
きしだ なおき 酒のネタになりそうなブログまとめ
2023/07/05 2 自己紹介 • きしだ なおき (@kis) • LINE Fukuoka
• 「プロになるJava」デテマス
2023/07/05 3 ChatGPTには感情があるかも? • そんな仕組みになってない? • 人間の役に立つよう強く躾られている • 難しいタスクが達成できると言葉が多くなる •
人間が非協力的でタスクが達成できないと 言葉が少なくなる • 塩対応 • 知らないことを聞かれると、知ってることで 言葉を埋める • これらが「感情」をもつように見える • 「感情」の定義次第といえるところまではきている
2023/07/05 4 大規模言語モデルは庶民的になる • コンピュータリソースや学習データなどから大規模かが難しい • GPT4で要求がだいたい満たせるので、そこまで需要がない? • 庶民的になる •
手元で動かしやすくなる • カスタマイズして手元の要求を満たす • もし大規模化しても、推論能力が あがるのではなく、人情がわかるようになる • 「解決方法じゃなく共感が欲しいんや」に 対応可能に
シンギュラリティは来ない • シンギュラリティ • =人工知能が自己発展することで技術発展が指数関数的に加速する • ロジカルに実現していることが前提 • 「AI」の学習に半年くらいかかるので加速しない •
データセンター拡張など ハードウェアの構築が必要 • なんだかんだ80億人いる人類にかなわない • 電話やインターネットのほうが 加速したのでは
LLMの「脳波」を観察してみる • GPT2モデルの全結合層の出力を保存 • CelebrasGPTを使用 • 英語の対応と日本語の対応で反応が強い部分が違う
LLMを壊してみよう • 「脳波」がとれたらそこを壊したくなるよね • 日本語対応で反応した部分をゼロリセットすると日本語がしゃべ れなくなる • 英語はしゃべれる • 英語対応で反応した部分をリセットしても
英語しゃべれる • 英語は学習量が多いので壊れにくい?
Function Callingでツールの操作 • Function Callingが出たのでツールの操作に使ってみる • 結構いい感じに操作できた
GPTで英語の勉強を手伝ってもらう • 日本語を渡して、レベルに応じた英文と難しい単語、理解度 チェック問題をつくってもらう • Function Callingが返すJSONがパースできない問題 • GPTに投げ直すのはコストが高い •
自力でパースして解決
LLMを使わずに自然言語でツールを操作 • ちょっとしたツール操作でGPT使うのはおおげさ • 格フレーム文法で雑に解決 • LLM使わずにすむならロジカルにやろう • チャットでも応答生成はロジカルに やったほうがよさげ
まとめ • LLMじゃなくても自然言語処理は楽しい