LLMベースのAIの基本 2025-05-22 地域リーディング・イノベーター講座 きしだ なおき https://speakerdeck.com/kishida/basic-of-llm-base-ai 

05/22/2025 2 自己紹介 ● きしだ なおき ● LINEヤフー ● X(twitter): @kis ● blog: きしだのHatena ● (nowokay.hatenablog.com) ● 「プロになるJava」というJavaの本を書いてます 

3 AIをうまく使うために仕組みを知る ● AIは使い方によって能力が決まる ● うまく使えば高い能力を発揮する ● 仕組みを知ってうまく使う ● なんでもできると期待して、できないことをやらせようとしても無駄 ● 仕組みを知っていれば、どうやれば良い返答が引きだせるかもわかる ● 仕組みを知っていれば、何ができないかもだいたいわかる ● AIは能力をブーストするツール ● だれでも同じことができるようになるわけではない ● むしろ差が開いていく ※講義後追記 

4 LLMってなに？ ● 現在の「AI」の中心部 ● 大規模言語モデル ● 言語を扱う大規模なニューラルネットワーク ● Transformerを基本とする ● 仕組み的には、文章の続きを生成 

Transformer ● 2017にGoogleが発表 ● Attention is All You Need ● アテンション ● 文章中の単語がどの単語を注目しているか 

埋め込み行列 ● 文章を数千次元のベクトルで表現 ● 近い意味の文章は近いベクトルになる ● マルチモーダル ● 画像の特徴と文章の特徴を同じベクトル空間で表現 

埋め込み行列を考えたときLLMとは ● 入力した文章のベクトルが決まる ● 出力として適切な文章のベクトルがなんらかあるはず ● 目的ベクトルに近づくように単語を追加していく ● 賢いLLMは最短距離で目的の文章に到達 ● 賢くないと迷いながら目的の文章に到達 ● 目的に達したこともよくわかってないので、いろいろ文章を足していく 

LLMの学習 ● 大量の文章で学習 ● 大量の計算資源が必要 

スケーリング則 ● 言語モデルの性能がパラメータ数、データセットサイズ、計算予 算を変数としたべき乗になる ● OpenAIが予算をつぎ込むキッカケになった Scaling Laws for Neural Language Models (Jared Kaplan, Sam McCandlish et al., 2020-01-23) 

データセット ● LLMの性能はデータセットの質が影響 ● Webサイトのクロール、書籍、論文など ● 最近はクロールが厳しくなってきている ● 既存の文章は学習しつつある 

ファインチューニング ● 学習済みLLMに調整を加える ● 指示応答調整 / RLHF ● LLMは文の続きを出す仕組み ● 対話のためには、対話形 式で文を生成する調整が必要 ● 指示応答 ● user / assistantの形 式 ● RLHF ● 人間の 評価を使う 

知 識蒸留 ● 大きなモデルの対応を使って 小さなモデルを学習 

推論 時スケーリング ● CoT( Chain of Thought) ● 「 段階的に考えて」 ● ユー ザーに応答を出す 前に考 慮過程をいれる ● 考 慮過程で コン ピュータを使うことで 思考力が 向上 ● 学習に コン ピュータを使うことと対 比して 推論 時スケーリングと 呼ば れる ● トランスフ ォーマに知 識を 投入する仕組みではないか 

PCでLLMを 動かす ● LLMの性能があがって 小さいLLMが 実用的になってきた ● データセットの質が高くなっている ● データ 漏洩の 危険がない ● パラメータ数でサイズをあらわす ● 10B→100億パラメータ ● 量 子化 ● 16bit 実数が 標準だけど、 8bitなどにしても性能があま り劣化しない ● 8bitや 4bit、 2bitに変 換することを量 子化という ● 8bitなら BをGに 置き 換えたサイズ( 10 Bなら10G B) 

オープン ウェイトLLM ● Google ● Gemma 3 ( 27B) ● Microsoft ● Phi 4( 14B) ● Meta ● Llama 4 Maverick( 400B MoE 17B active) ● Alibaba ● Qwen 3 ( 32B、 235B MoE 22B active) MoE: Mix of Experts 小さなエキスパートをたくさん 切り替えて使うので実行効率がいい 

● G PU ● RTX 5090など ● 性能がいい ● メモリも 少ない( 50 90でも 32G B) ● CPU/G PU/N PU混載So C ● Macなど ● 効率がいい 。 ● メモリが 多い ● こ ちらがお そらく 主流に LLMを 動かす ハー ドウェア 

LLMの 課題 ● ハルシネーション ● 与えた文章を 正しいと 想定する ● つじつまがあうように生成を 進めてしまう ● 倫理的 問題 ● 暴力的にならないように ● 犯罪支援にならないように ● 依存 させすぎないように 

倫理問題への対 策 ● モデルを学習 させる ● 小さなLLMで入出力をチ ェック 

AIとは ● LLMをベースにした応答システ ム ● 検索など 外部 連携が必要になっている ● ユー ザーインタフ ェースが 重要 ● 倫理チ ェックの仕組みが必要