Upgrade to Pro — share decks privately, control downloads, hide ads and more …

そのAI、呼ぶだけになっていませんか? 〜正しいローカルLLMの育てかた〜

Sponsored · SiteGround - Reliable hosting with speed, security, and support you can count on. →

そのAI、呼ぶだけになっていませんか? 〜正しいローカルLLMの育てかた〜

KOF2026でお話したスライドです。
すごいURLつけられちゃいましたけど、ようは強い(?)LLMを学習させるにはどうしたらよいか?というお話です。

Masahiko Hashimoto

November 20, 2026

Transcript

45 slides
  1. 自己紹介 Name: はしもとまさひこ(鹿さん) @shikanotsukimi • • • • • 東海道らぐ

    (Tokaido LinuxUesrGruop) OSC名古屋の中の人 日本openSUSEユーザ会 なんとなくかな漢字変換を実装してる人 一応本業もAI屋さん。←某研究所で連合学習(?)のお仕事してる人 そういえば最近「物理文芸部の活動報告」って小説を全く書いてないような?? 2/45
  2. で、このYuinoで追加学習を行いたい。どこを学習させる!? Previous words Yuinoは特殊な 入力・出力を持っていて そもそもトークナイザーと 呼ばれるものが 存在しません Yuino LLM

    (transformer model) lm_head Next word あまり弄りたくないような? ※主に実装的な意味で 出力部を担う1層のレイヤー →ここなら楽では!? 19/45
  3. Yuinoだってみんなで学習したい! かな漢字変換もみんなで学習させたらより強いかな漢字変換になるはず! だけども変換結果は個人情報!! そんな時に有力な手段が連合学習というわけです! 前の単語 私 わたし xxxx 令和 れいわ

    yyyy 平成 へいせい zzzz Yuino LLM (Transformer model) 辞書 (text-based) 次の単語(予測) この部分を より強いAIに したい! そのためには もっとデータを 学習させたい 30/45
  4. というわけで作ってみました(ぇ 実用性を最優先にして、それでいてFlowerよりも 扱いやすいものを目指していく(つもり)です。 https://github.com/shikatsukicafe/tsukimiso • • • WebSocket + Protobuf

    による通信 デプロイまでをいかに早くできるかを考慮 まだつくりかけですが… 今日はこれを使っていろいろ実験してみます! 32/45
  5. データ偏り有無に関する結果 (最後少しごちゃごちゃしてますが) 偏りの小さい partition_alpha= 10.0 の方がスコアはいいです! CIFAR10 ResNet18 ~Accuracy~ 0.5

    0.45 0.4 0.35 0.3 Hetero=1. Hetero=10. 0.25 0.2 0.15 偏りが小さい →平均化しやすい ので、当然と言えば 当然ですね 0.1 0.05 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 37/45
  6. 対策:差分プライバシーとは? 連合学習の手法として は DP-SGD と呼ばれ る手法が使われます。 PyTorchを使用してい る場合は、Opacus と いう拡張ライブラリが

    あり、それを用いると簡 単に扱うことができま す。 が、「大量に集めれば」 とはいったものの…… 40/45
  7. 差分プライバシーには課題あり? ……こないじゃないか〜!! ノイズを加えすぎた結果です。 パラメータ調整がうまくいかな いと容易にこうなります。 CIFAR10 Resnet ~Accuracy~ 0.35 0.3

    0.25 実はDP-SGDにはもう一つ問題 があり、データサンプル単位で勾 配を計算する箇所があり、GPUメ モリをかなり消費します。 0.2 0.15 0.1 対策もあるにはありますが、まだ 日々研究が続いてます。 0.05 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 42/45

More Decks by Masahiko Hashimoto

Other Decks in Technology