基礎教養系-AIはどうやって言葉を紡ぐのか

今、DeepLearningをベースとするLLMではどのようなことをして人間が応えるような動きをするのでしょうか。
理解しやすくまとめてみた資料になります。

Transcript

1. 今のAIはどうやって言葉を紡ぐのか？ 基本的なAIの動きを追いかけてみよう
2. 自己紹介：ゆうい  Yuichi Tominaga/Male to X-Gender(MtX)   X.com: @yue_neg_631  Facebook: https://www.facebook.com/utrans1978 芸歴23年（ITインフラ 18年、AIリサーチ 5年）  神経難病になって杖ついて約8年、男をやめて4年目  2003年から社会人。最初の職場は東京、2012年から九州に帰って活動中 (日鉄日立SE→ICTコンストラクション→IIJ→フリー)  気づいたらもうアラフィフに入ってた（昭和5X年生まれ。)。  主な領域：オンプレミスLLM  よく使う推論エンジンはllama.cpp(python版ではない方)  会社員時代、社内向けに推論基盤・運用基盤を構築して動かしてた  他にはDifyを魔改造して社内展開したり、更新運用してみたり
3. 今どきのAIってそもそも何なん？ 「変換器」です ぶっちゃけ言うと 夢のない話をしてスマン・・・
4. 変換器としてわかりやすい例  音声書き起こしで有名な「Whisper」は 「音声」を「画像化」して「テキスト」に「変換」する 画像 言語 音 あ い 人間の耳の知覚特性（低い周波数に敏感で、 高い周波数に鈍感）を反映した「メル尺度」 に基づいて音声を画像化したもの →メルスペクトログラム 音の高さ：縦軸 音の強さ：色 時系列 ：横軸
5. LLMは入力された言葉から「次の言葉に変換する」システム  厳密には、入力された言葉の次にどんな言葉が来るかを「予測する」→つまりは「空気を読む」システムです。  空気を読んだ結果、どんな言葉が来るかは「学習してきた内容次第」  ただし、1ターンで予測できるものは1トークン(単語のようなもの)だけ  重視して考えてる内容は以下の2点です。 どの単語がどの単語とどのように 関係するかを決定する （見合わせる） 内部知識の適用・表現再構築 （考える）
6. AIの頭の中、多分こんな風 (AIは人のように何らかの「イメージができる」と考える) AIはそのマス目を決めら れたデータ型で緻密に足 し算・掛け算などしなが ら作り上げた「イメージ」 を丸っと読み取って状況 を認識します。 計算は緻密に 認識はざっくり 青い空・白い雲・綺麗な川のせせらぎが聞こえる かのような風景ですね
7. user message <|BOS|> 今日は <|BOS|> 天気 が 良い ですね 。 <|EOS|> Decoder Only Transformer
8. 文の先頭には Begin Of Sequence 文の先頭には End Of Sequence user message <|BOS|> 今日は 天気 が 良い <|BOS|> 回答を促すために、BOSトーク ンまでを初期状態で打ってお く ですね 。 結果として選定された次の1 トークン <|EOS|> Decoder Only Transformer モデルアーキテクチャに通さ れて、予測トークンを1トーク ン選定する はい
9. <|BOS|> 今日は 天気 が 良い ですね 。 <|EOS|> Decoder Only Transformer <|BOS|> <|BOS|> 今日は <|BOS|> 天気 はい が 良い ですね 。 <|EOS|> はい 予測トークンを末尾に くっつけて再推論する Decoder Only Transformer 。
10. <|BOS|> 今日は 天気 が 良い ですね 。 <|EOS|> <|BOS|> <|BOS|> 今日は <|BOS|> <|BOS|> が 良い ですね 。 天気 はい が 。 良い ですね 。 はい Decoder Only Transformer 。 Decoder Only Transformer 明日 <|EOS|> はい 今日は <|BOS|> 天気 Decoder Only Transformer <|EOS|>
11. <|BOS|> 今日は 天気 が 良い ですね 。 <|EOS|> <|BOS|> <|BOS|> 今日は <|BOS|> <|BOS|> <|BOS|> 天気 はい 今日は <|BOS|> が 良い ですね 。 が ですね 。 が 。 良い 明日 ですね 。 Decoder Only Transformer 。 Decoder Only Transformer 明日 Decoder Only Transformer も <|EOS|> 。 天気 はい 良い はい <|EOS|> はい 今日は <|BOS|> 天気 Decoder Only Transformer <|EOS|>
13. AIの言葉の紡ぎ方  因果モデル（Causal model)と言います  現在のLLMにおけるトレンド  1トークン紡ぎだすごとに連結している過程も含めて推論させる →後続する内容の一貫性・方向性を強化する  実は、すぐに答えてるように見えて 「しゃべりながら考えている」 ことがわかる   所謂「超高速穴埋めゲーム」をしている 故に、昔のモデルは 結論からしゃべることが「ものすごく苦手」 でした。
14. AIの仕組みのこれから  AIの仕組みはめまぐるしく変化していて、   出力高速化手法  トークン投機予測（MTP)・非因果モデルとの連携（DFlash）  非因果モデルの登場（Stable Diffusionのように一括でババーンとトークンを出力するモデル） ワーキングメモリの能力強化  ハイブリッド構造を用いた超長コンテキストへの対応（ハイブリッドアテンション）  コンテキスト圧縮技術をアプリレイヤーで実装（Coding Agentの「圧縮ツール」） など、様々な技術を駆使して新しいモデルが登場してきています。 新しいモデルが登場したとき、 これはどんな仕組みがどのように改良されているのかな？とかに目を向けてみると面白いかもしれません
15. AIの中身も たまには覗こう YUICHI TOMINAGA LOCALYOUSER@GMAIL.COM
16. ポートフォリオ  WWW.BLUECORE.NET  株式会社ハイレゾの技術ブログ  Dev.to https://www.bluecore.net https://zenn.dev/p/highreso https://dev.to/oooocean66 個人技術ブログ 仕事としてのブログ 仕事としてのブログ（英語版） 自己検証環境として構築してるもの llama.cpp/vLLMで使用するモデル - Swift-1.5-Qwen3.8-27B - Liquid-AI LFM2.5-2.6B-JP - ruri v3-310m (embedding) - bge m3-v2 (reranker) CPU RAM SSD GPU GPU Power : Intel Core i7-9700 : 48GB DDR4 UDIMM : 400GB + 2000GB ( + NVMe 500GB) : Intel Arc PRO B70 (32GB GDDR6) : NVIDIA RTX 3060 (12GB GDDR6) : Antec NE750 (80 plus GOLD) Software OS Docker LLM-Engine : Ubuntu 24.04 + Kernel 6.17.0-42 : Dify + Langfuse : llama.cpp (SYCL/CUDA 各コンパイル実装）
17. AIの実際の構造はこんな風になっている  LLMはこのループをぐるぐる回しながら文を生み出し、つなげ続けていく仕組み きっと次はこれなん じゃないかリスト ものすごくズームインした映像を 徐々にズームアウトするように 全体を把握していく コンピュータにわかる 表現に変換 tok 探索・見合わせ GQA Emb dense 考える GQA dense 1つに抽選後、 人間にわかる 表現に逆変換 ・・・・・・・・・・・・・・・・・・・・・・ GQA dense GQA dense ・・・ LNR Soft Max DeTok (sampler) RoPE Input strings Predicted strings