Link
Embed
Share
Beginning
This slide
Copy link URL
Copy link URL
Copy iframe embed code
Copy iframe embed code
Copy javascript embed code
Copy javascript embed code
Share
Tweet
Share
Tweet
Slide 1
Slide 1 text
2023/07/05 1 LLMをやめよう 2023/7/5 LLM Meetup Tokyo #3 LINE Fukuoka きしだ なおき 酒のネタになりそうなブログまとめ
Slide 2
Slide 2 text
2023/07/05 2 自己紹介 ● きしだ なおき (@kis) ● LINE Fukuoka ● 「プロになるJava」デテマス
Slide 3
Slide 3 text
2023/07/05 3 ChatGPTには感情があるかも? ● そんな仕組みになってない? ● 人間の役に立つよう強く躾られている ● 難しいタスクが達成できると言葉が多くなる ● 人間が非協力的でタスクが達成できないと 言葉が少なくなる ● 塩対応 ● 知らないことを聞かれると、知ってることで 言葉を埋める ● これらが「感情」をもつように見える ● 「感情」の定義次第といえるところまではきている
Slide 4
Slide 4 text
2023/07/05 4 大規模言語モデルは庶民的になる ● コンピュータリソースや学習データなどから大規模かが難しい ● GPT4で要求がだいたい満たせるので、そこまで需要がない? ● 庶民的になる ● 手元で動かしやすくなる ● カスタマイズして手元の要求を満たす ● もし大規模化しても、推論能力が あがるのではなく、人情がわかるようになる ● 「解決方法じゃなく共感が欲しいんや」に 対応可能に
Slide 5
Slide 5 text
シンギュラリティは来ない ● シンギュラリティ ● =人工知能が自己発展することで技術発展が指数関数的に加速する ● ロジカルに実現していることが前提 ● 「AI」の学習に半年くらいかかるので加速しない ● データセンター拡張など ハードウェアの構築が必要 ● なんだかんだ80億人いる人類にかなわない ● 電話やインターネットのほうが 加速したのでは
Slide 6
Slide 6 text
LLMの「脳波」を観察してみる ● GPT2モデルの全結合層の出力を保存 ● CelebrasGPTを使用 ● 英語の対応と日本語の対応で反応が強い部分が違う
Slide 7
Slide 7 text
LLMを壊してみよう ● 「脳波」がとれたらそこを壊したくなるよね ● 日本語対応で反応した部分をゼロリセットすると日本語がしゃべ れなくなる ● 英語はしゃべれる ● 英語対応で反応した部分をリセットしても 英語しゃべれる ● 英語は学習量が多いので壊れにくい?
Slide 8
Slide 8 text
Function Callingでツールの操作 ● Function Callingが出たのでツールの操作に使ってみる ● 結構いい感じに操作できた
Slide 9
Slide 9 text
GPTで英語の勉強を手伝ってもらう ● 日本語を渡して、レベルに応じた英文と難しい単語、理解度 チェック問題をつくってもらう ● Function Callingが返すJSONがパースできない問題 ● GPTに投げ直すのはコストが高い ● 自力でパースして解決
Slide 10
Slide 10 text
LLMを使わずに自然言語でツールを操作 ● ちょっとしたツール操作でGPT使うのはおおげさ ● 格フレーム文法で雑に解決 ● LLM使わずにすむならロジカルにやろう ● チャットでも応答生成はロジカルに やったほうがよさげ
Slide 11
Slide 11 text
まとめ ● LLMじゃなくても自然言語処理は楽しい