Slide 1

Slide 1 text

2023/07/05 1 LLMをやめよう 2023/7/5 LLM Meetup Tokyo #3 LINE Fukuoka きしだ なおき 酒のネタになりそうなブログまとめ

Slide 2

Slide 2 text

2023/07/05 2 自己紹介 ● きしだ なおき (@kis) ● LINE Fukuoka ● 「プロになるJava」デテマス

Slide 3

Slide 3 text

2023/07/05 3 ChatGPTには感情があるかも? ● そんな仕組みになってない? ● 人間の役に立つよう強く躾られている ● 難しいタスクが達成できると言葉が多くなる ● 人間が非協力的でタスクが達成できないと 言葉が少なくなる ● 塩対応 ● 知らないことを聞かれると、知ってることで 言葉を埋める ● これらが「感情」をもつように見える ● 「感情」の定義次第といえるところまではきている

Slide 4

Slide 4 text

2023/07/05 4 大規模言語モデルは庶民的になる ● コンピュータリソースや学習データなどから大規模かが難しい ● GPT4で要求がだいたい満たせるので、そこまで需要がない? ● 庶民的になる ● 手元で動かしやすくなる ● カスタマイズして手元の要求を満たす ● もし大規模化しても、推論能力が あがるのではなく、人情がわかるようになる ● 「解決方法じゃなく共感が欲しいんや」に 対応可能に

Slide 5

Slide 5 text

シンギュラリティは来ない ● シンギュラリティ ● =人工知能が自己発展することで技術発展が指数関数的に加速する ● ロジカルに実現していることが前提 ● 「AI」の学習に半年くらいかかるので加速しない ● データセンター拡張など ハードウェアの構築が必要 ● なんだかんだ80億人いる人類にかなわない ● 電話やインターネットのほうが 加速したのでは

Slide 6

Slide 6 text

LLMの「脳波」を観察してみる ● GPT2モデルの全結合層の出力を保存 ● CelebrasGPTを使用 ● 英語の対応と日本語の対応で反応が強い部分が違う

Slide 7

Slide 7 text

LLMを壊してみよう ● 「脳波」がとれたらそこを壊したくなるよね ● 日本語対応で反応した部分をゼロリセットすると日本語がしゃべ れなくなる ● 英語はしゃべれる ● 英語対応で反応した部分をリセットしても 英語しゃべれる ● 英語は学習量が多いので壊れにくい?

Slide 8

Slide 8 text

Function Callingでツールの操作 ● Function Callingが出たのでツールの操作に使ってみる ● 結構いい感じに操作できた

Slide 9

Slide 9 text

GPTで英語の勉強を手伝ってもらう ● 日本語を渡して、レベルに応じた英文と難しい単語、理解度 チェック問題をつくってもらう ● Function Callingが返すJSONがパースできない問題 ● GPTに投げ直すのはコストが高い ● 自力でパースして解決

Slide 10

Slide 10 text

LLMを使わずに自然言語でツールを操作 ● ちょっとしたツール操作でGPT使うのはおおげさ ● 格フレーム文法で雑に解決 ● LLM使わずにすむならロジカルにやろう ● チャットでも応答生成はロジカルに やったほうがよさげ

Slide 11

Slide 11 text

まとめ ● LLMじゃなくても自然言語処理は楽しい