[YGBK#5]夜も眠れなくなるLLMのおはなし

Yabbaru-Ganbaru-Benkyo-Kai#5
MarimoをつかってGPT２likeなllmをつくるコードについての解説です。
そもそもLLMってなんやねん、何ができるの？と言うところから、コードまで解説しました！
https://connpass.com/event/397975/

Transcript

1. 夜も眠れなくなる LLMのおはなし marimoでGPT２likeなLLMを作ろう 2026/6/20
2. はじめに
3. 今日は土曜日ですので ゆるくやる所存です よろしくお願いしますm
4. 結論：ここみるとわかりやすい https://youtu.be/y7NQiNER6r4?si=k7M- aOqKaMFIxJfq https://poloclub.github.io/transformer- explainer/
5. LLMって聞いたことありますかね
6. ChatGPT みたいなもん ラー ジな ラングエッジ モデ ル Transformer のお化け
7. 今日は わかりそうでわからない LLMのお話をします もやもやして、 きっと眠れなく なると思います！
8. アジェンダ 1. LLMとは 2. LLM自作しよう 3. QA
9. Large Language Model
10. Model ぎおん しょう じゃの
11. Model ぎおん しょう じゃの かねの こえ
12. Model はるは あけぼの
13. Model はるは あけぼの やうやう しろく
14. いっぱい音読(training)して 次の単語が言える(inference) ようになった
15. 小学生 中学生だった あの国語の時間を 思い出してください、、、
16. あれは、 暑い夏の日 だった、、
17. 祇園精舎の 鐘の声 諸行無常の 響あり したじき 次の単語 なんだっ け？ 国語の教科書 そうそう、 XXXだ！ 次は間違 えない 頭の中 テスト前
18. [???]を埋めなさい 祇園精舎の[???] 次は 「鐘の声」 国語のテスト 頭の中 テスト本番 次はうー、 「がうるさい」 以降 大喜利
19. 次の 単語 予測 ぎおん しょう じゃの 正解 との 誤差 重み 調整 Training LM
20. 次の 単語 予測 ぎおん しょう じゃの Inference LM 次の 単語 予測 次の 単語 予測
21. Large Language Model
22. 何がLargeなんでしょうか
23. パラメー タ 学習デ ー タ がでかい
24. もう少し LM (NN)を見てみる
25. 点と点のつながりの 度合いをパラメータとする 祇園 精舎 の 次の単語の 確率 「鐘」 「柿」 0.9 0.1
29. https://arxiv.org/pdf/2001.08361 誤差が少ない =精度高い 精度に３つ 影響する
30. https://arxiv.org/pdf/2001.08361 誤差が少ない =精度高い 大きい Paramsで いっぱい学習 させるのが良 い
31. https://arxiv.org/pdf/2001.08361 誤差が少ない =精度高い LSTMより Transformer の方が Context多い場 合精度良い
32. https://arxiv.org/pdf/2001.08361 誤差が少ない =精度高い 小さいPramsで 学習量が大きい とか学習する
33. https://arxiv.org/pdf/2001.08361 誤差が少ない =精度高い Layer数 Head数 モデル構成 どうすれば精度良いか
34. 1957: パ ー セプトロン １９86: Backpropagation 2012:AlexNet（DL） 2017:Transformer 2018:GPT 2022:ChatGPT 計算機の 向上
35. LLMは、 計算機の向上と 研究者の 長年の知見と結晶
36. https://github.com/tyukei/deeplearning-llm/blob/main/colab_launcher.ipynb
37. Appendix https://www.manning.com/books/build-a-large- language-model-from-scratch https://www.oreilly.co.jp/books/9784814401611/ https://amzn.asia/d/0cBLQp9k
38. Appendix https://youtu.be/y7NQiNER6r4?si=k7M- aOqKaMFIxJfq https://poloclub.github.io/transformer- explainer/ https://bbycroft.net/llm