わかったつもりの Transformer 入門

2026年8月11日に開催された、
「Godot x AI Beyond ゲームジャム in 広島 #1」で発表したスライドです。

イベント詳細 : https://hirouni.connpass.com/event/388323/
広島Unity勉強会Webページ : https://hiro-uni.github.io

Transcript

1. わかったつもりの Transformer 入門 広島Unity勉強会 ナカオクタカヒロ Godot x AI Beyond ゲームジャム in 広島 #1
2. ナカオク タカヒロ @kamera25 広島Unity勉強会 をやりたいって言って立ち上げた人 ・CoderDojo 紙屋町 / 西条メンター ・ゲームジャム 高梁実行委員会 (動画作成/YouTube管理など) ・本職は インターネット 屋さん (ゲーム以外) ・登壇スライド https://speakerdeck.com/kamera25 ・SNS(X) https://x.com/csc_kamera25 2
3. おことわり このスライドには ハルシネーション が大量に含まれてます 人間は意図的に嘘をつきます。AIよりも意図的に。 > 3
4. バイブコーディング The use of artificial intelligence prompted by natural language to assist with the writing of computer code コンピュータコード の 記述を支援するため 自然言語による指示 に 基づく人工知能 の活用 4 【引用】https://www.collinsdictionary.com/jp/dictionary/english/vibe-coding
5. こいつ、なんやねん？ 🤔 凄すぎやろ… 凄すぎやろ… ☝ 5
6. AI の仕組み 次にくる文字を 予測すること これだけ。 6
7. AIの仕組み 7
8. AIの仕組み ユーザ「チャッピー、おはようございます」 ここに入る次の文字は？ AI「 AIの応答サーバ 8
9. ⬇次にくる、文字の候補 ⬇ 9 https://poloclub.github.io/transformer-explainer/
10. AIの仕組み ユーザ「チャッピー、おはようございます」 AI「おはよう ここに入る次の文字は？ ユーザ「チャッピー、おはようございます」 AI「おはようございます ここに入る次の文字は？ ユーザ「チャッピー、おはようございます」 AI「おはようございます、 ここに入る次の文字は？ 10 これを繰り返す！！
11. AI の仕組み 11
12. https://ja.wikipedia.org/wiki/%E6%97%A5%E6%9C%AC%E8%AA%9E%E5%85%A5%E5%8A%9B%E 3%83%97%E3%83%AD%E3%82%B0%E3%83%A9%E3%83%A0_(macOS) 確率高 仕組みは同じ！ 12 確率 低
13. Transformer トランスフォーマ 13
14. 14 https://poloclub.github.io/transformer-explainer/
15. アテンション機構 を ポジションエンコー ディング とかで実現した、 Transformerを考えたよ。 Transformerは翻訳精 度を向上させたよ。 他のタスクも転用可能しか も賢く、ぶち早いよ。 15 引用 : https://arxiv.org/abs/1706.03762
16. アテンション と ポジションエンコーディング 16
17. 私 は 犬 に 噛まれた が ? 次の文字はなんじゃろな？ ⬆ 17 人類は 安い 早い 品質が良い この箱が欲しいっ！▶ 何百兆円かけて、ね。 次の文字が出るボックス
18. 私 は 犬 に 噛まれた が まず、「私」を 入れよう 18 次の文字が出るボックス
19. 私 は 犬 に 噛まれた が …… 処理ガ オワリマシタ 19 次の文字が出るボックス
20. 私 は 犬 に 噛まれた が つぎに「は」 20 次の文字が出るボックス
21. 私 は 犬 に 噛まれた が …… 処理ガ オワリマシタ 21 次の文字が出るボックス
22. 私 は 犬 に 噛まれた が つぎに「犬」 22 次の文字が出るボックス
23. 夕焼け〜 小焼で〜 23
24. 夕焼け〜 小焼で〜 日がくれる前にどうにかしたい。 24
25. 私 は 犬 に 噛まれた が 最初に一気に まとめて入れて ば〜！ 、と計算できんかな。 25
26. 私 は 犬 に 噛まれた が まずは 箱の中身の処理を考えよう 26
27. 私 は 犬 に 噛まれた が この文章があった時に 関係を考えてみよう。 27
28. 私 は 犬 に 噛まれた が 「噛まれた」は 「私」と「犬」に強く繋がる。 28 【原則その1】 単語として関係性が強ければ、結びつきは強くなる。
29. 私 は 犬 に 噛まれた が この関係性を 「アテンション」としよう！ 29
30. 私 は 犬 に 噛まれた が 犬 は 私 に 噛まれた が ただ、アテンションには、 文字の順番も大切だ… 30 【原則その2】 文字と文字が近ければ、結びつきは強くなる。 ※これは 非常に正確な表現ではありません が、意図的にハルってます。
31. 私 は 犬 に 噛まれた が つまり、箱に入れる前に 文字の順番を考慮 する必要があるな でも入れる順にすると、最初と同じ問題が… 31
32. 私 は 犬 に 噛まれた が そうか！ 文字の中に 順番のデータ を 組み込めば いいんだ！ 32
33. 私 33 1番目 フュージョン！
34. 私 1番目 ここに新しい文字が完成した 34
35. 私 2番 は犬 に 噛まれた が 1番 3番 4番 5番 6番 これを ポジション エンコーディング と名付けよう！ 35 ＼ Transformer箱 ／
36. GPT(ジェネラル パーパス Transformer)は たった 200行 の Python コードで実現可能？！ Andrej Karpathy (Original) / Nyohoさん (modification for Japanese) 36 https://gigazine.net/news/20260314-microgpt-explained-interactively/
37. タスク : 食べ物の名前を予測しよう！ 【参考】予測から、実際にある食材名 sample 4（あら） ：魚のあら / 高級魚クエ sample 5（まん） ：肉まん・あんまん sample 8（こうな） ：小魚（コウナゴ） sample 10（あんどう） ：あんドーナツ sample 12（びん） ：ビンチョウマグロ sample 16（ちょう） ：ホルモンの腸（マルチョウ等） 食べ物の名前を大量に学習すれば… 37 食べ物の名前 (ぽい)のを予測できる！
38. パラメータを変えてみると … 学習回数自体を減らしてみると ▶日本語としてみると、変な出力 文字長っ。小さい「つ」が2回？ 38 食べ物データを減らして 「あいうえおか」が頭文字となるデータのみにする ▶出力に偏りが出る
39. パラメータを変えてみると … 学習 も データの品質 も どっちも大切！ 学習回数自体を減らしてみると ▶変な食べ物の名前が出やすくなる 39 食べ物データを減らして 「あいうえおか」が頭文字となるデータのみにする ▶出力に偏りが出る
40. これを もっと 、 もっと！ 大量のデータを蓄積＆学習すると？ 40
41. 大規模言語モデル Large Language Model / LLM 41
42. 42 https://arxiv.org/abs/2001.08361
43. スケーリング則の発見 学習時間・データ数を 増やせば増やす ほどAIは賢くなる。 チャットUIの発明 AIの応答を チャットUI にしたら ユーザは喜んで使うんじゃ、ないか。 ChatGPT が誕生 43
44. まとめ AIは 単に「次の文字を予測」するだけ 5万年前に生まれた人類の叡智である「言語」。 蓄積された言語を用いて、コンピュータによって、次の単語を予測 するだけ。 魔法みたいだが、魔法じゃない。 Transformer の革命が世界を変えた Attention Is All You Need (アテンションは必要な物の全て) は まさに、私たちの人生をも変えた。 44