AIの最新技術＆テーマをつまんで紹介＆フリートークするシリーズ：はじめてのローカルLLM

本資料は次のイベントの投影資料です。

＜イベント名＞
IBM Tech Developer/Dojo 「AIの最新技術＆テーマをつまんで紹介＆フリートークするシリーズ：はじめてのローカルLLM」

＜イベントページ＞
https://ibm-developer.connpass.com/event/363094/

＜概要＞
本セッションでは、オープンソースLLMをローカル環境で動かすローカルLLMの基本から、実際に動かしてみた体験談、活用事例までをコンパクトにご紹介します。
「クラウドに頼らず、手元でAIを動かしたい」「データを安全に使いたい」といった方におすすめの内容です。

Transcript

1. AI の最新技術/テーマを つまんで紹介＆ フリートークするシリーズ #5 はじめてのローカル LLM Copyright ©2025 NS Solutions Corporation, IBM Corporation.
2. スナップショット 録画 資料公開 SNS拡散 ◯ × 後日公開します ◯ ◯ #IBMTechXchange #Dojo #AI 注意事項 Copyright ©2025 NS Solutions Corporation, IBM Corporation.
3. オープニング Copyright ©2025 NS Solutions Corporation, IBM Corporation.
4. 17:00-17:05 オープニング 17:05-17:35 技術テーマの紹介/デモ 17:35-17:55 質疑応答・フリートーク 17:55-18:00 クロージング 本日のアジェンダ Copyright ©2025 NS Solutions Corporation, IBM Corporation.
5. 当イベントは日本 IBM および日鉄ソリューションズの有志エンジニアによって企画された勉強会です。 クラウドネイティブやマイクロサービスなどのテーマを中心に、今後も色々な勉強会・イベントを開催する予定です。 本勉強会の内容は、エンジニア個人の見解であり、所属する企業の公式見解ではありません。 セッション中はマイクミュートでの参加にご協力お願いします。 本イベントは録画してアーカイブ公開する予定ですので、その点ご了承ください。 本発表で利用している製品の名称およびロゴは下記の個人、組織または企業の商標となります。 IBM は、 世界の多くの国で登録された International Business Machines Corporation の商標です。他の製品名およびサー ビス名等は、それぞれ IBM または各社の商標である場合があります。現時点での IBM の商標リストについては、 www.ibm.com/legal/copytrade.shtmlをご覧ください。 NS（ロゴ）、NSSOL、NS Solutions は、日鉄ソリューションズ株式会社の登録商標です。 GPT は OpenAI 社の商標または登録商標です。 Ollama は Ollama 社の商標または登録商標です。 その他本⽂記載の会社名及び製品名は、それぞれ各社の商標⼜は登録商標です。 ※本資料で参照している URL は2025 年 9 月 15 日時点のものです。 はじめに Copyright ©2025 NS Solutions Corporation, IBM Corporation.
6. • ゴール • ローカル LLM とは何か理解する • 自身の PC でローカル LLM を開始するための道筋が分かる • 注意 • スピーカーは LLM の専門家ではありません • （普段はクラウドネイティブ技術や SRE を取り扱っています） • 対象者 • AI の最新動向に興味のある方（初心者歓迎） • ローカル LLM を知らない、知っているが導入したことはない方 このセッションについて Copyright ©2025 NS Solutions Corporation, IBM Corporation.
7. アンケートのご協力をお願いします Copyright ©2025 NS Solutions Corporation, IBM Corporation. https://app.sli.do/event/wtyRnSDByoau6hCNMJURT1
8. 喜多 司(きた つかさ) kita.tsukasa.7ef@jp.nssol.nipponsteel.com <所属> 日鉄ソリューションズ システム研究開発センター <経歴> 2019 年に日鉄ソリューションズに入社。 Azure 上にシステム構築するクラウドネイティブ案件に参画し、 アーキテクトや DevOps・SRE 等を経験。 <趣味など> （フレッシュで酸のある）日本酒が好き （長崎県のスーパーで売られている、甘い）ごま豆腐が好き （マルチプレイで仲間とドキドキを共有できる）FPS が好き メインスピーカー自己紹介 Copyright ©2025 NS Solutions Corporation, IBM Corporation.
9. 技術テーマの紹介/デモ Copyright ©2025 NS Solutions Corporation, IBM Corporation.
10. LLM（Large Language Model）とは、 膨大なテキストデータを使って訓練された AI モデル 特徴 • 人間のように自然言語を理解・生成する能力を持つ • プロンプト（テキスト入力）→ →レスポンス（テキスト出力） 例 • OpenAI 社の GPT シリーズ、Meta 社の Llama シリーズ、 Google 社の Gemma シリーズ、…etc 主な用途 • ⽂章生成、要約、翻訳、質疑応答、コード生成など LLM とは Copyright ©2025 NS Solutions Corporation, IBM Corporation.
11. • Transformer と呼ばれるニューラルネットワークを用いたアーキテクチャ が基本構造として広く採用されています • （GPT も Generative Pretraining Transformer の略） • アテンションヘッド・フィードフォワード・正規化・残差接続などで構 成される層を何度も積み重ねた構造 • FYI：LLM 大規模言語モデル講座2024講義スライド - 東京大学松尾・岩澤 研究室（松尾研）- Matsuo Lab LLM の仕組み Copyright ©2025 NS Solutions Corporation, IBM Corporation.
12. • ステップ 1: 層への入力を作成 • 「日本」「の」「首都」「は」「？」というトークンに分割 • 更に、各トークンを「単語の意味や⽂脈」を表すベクトルに変換 「日本の首都は？」を LLM がどう処理するか① Copyright ©2025 NS Solutions Corporation, IBM Corporation.
13. • ステップ 2: アテンションで関係性を捉える • 「⽂法的関係」「意味的関係」など複数の異なる観点（アテンション ヘッド）で、どのトークンが互いに関係しているかを分析 • 「日本」のベクトルが「首都」に関連する⽂脈を強く反映され更新 • ステップ 3: フィードフォワード層で情報加工 • モデルが学習済みの「日本の首都は東京」という情報から、 「日本」のベクトルが「東京と結びついた情報」として更新 • ステップ 4: 正規化と残差接続 • 処理を安定化させる • 入力を足し合わせて情報の欠落を防止 「日本の首都は？」を LLM がどう処理するか② Copyright ©2025 NS Solutions Corporation, IBM Corporation.
14. • ステップ 5: 層（ステップ 2-4）の繰り返し • 初期層では単語の基本的な意味を捉え、後半の層では質問全体の⽂脈や 答えの生成に必要な情報を整理 • ステップ 6: 出力の生成 • 「日本」「の」「首都」「は」「東京」「です」といったように トークンを一つ一つ順に予測しながら回答を生成 「日本の首都は？」を LLM がどう処理するか③ Copyright ©2025 NS Solutions Corporation, IBM Corporation.
15. • トークンを表すベクトルの次元数（単語の持つ情報量） • アテンションヘッドの数（単語同士を比較する観点の多さ） • フィードフォワード層のサイズ（トークンの意味を深める能力） • 層の繰り返し数（文脈を洗練させる推敲の回数） が多いということ LLM のパラメータ数が多いということ① Copyright ©2025 NS Solutions Corporation, IBM Corporation.
16. • メリット • 汎化能力の向上：未知のデータにも柔軟に対応 • パフォーマンス向上：自然な⽂章生成や高度な推論が可能 • 多様なタスクへの適応：翻訳、要約、感情分析など幅広く対応 • デメリット • 計算コスト増加：GPU やメモリの消費が大きくなる • 過学習のリスク：データ量とのバランスが重要 LLM のパラメータ数が多いということ② Copyright ©2025 NS Solutions Corporation, IBM Corporation.
17. 自分の PC やサーバ上で動作する LLM のこと 特徴 • インターネット接続不要のためオフラインでも動作する • データが外部に送信されない • モデルの調整や拡張が可能 • 使うモデルによっては高性能な GPU やメモリが必要 ローカル LLM とは Copyright ©2025 NS Solutions Corporation, IBM Corporation.
18. • PC に Ollama をインストールしてローカル LLM 使ってみた • naisho-master/practice/ollama at main · tofuchic/naisho-master • 余談：なぜ Ollama か？ • Ollama は MIT license の オープンソースのプラットフォーム • 私の PC には AMD 製の RX6900XT というグラボが積まれています • 私が調べた限り Ollama だけが、対応を明言していました • ollama/docs/gpu.md at main · ollama/ollama デモ Copyright ©2025 NS Solutions Corporation, IBM Corporation.
19. • 以下が肝要 • モデル選定 • 日本語に対応しているかどうか • 処理させたいタスクに対して十分な推論能力を持っているか • （他サービスと連携する場合）インタフェース • 積んでいる GPU のメモリサイズ >> モデルのサイズ 所感・まとめ
20. • 「LLM 勉強会」という組織が日本語 LLM（日本語を中心に学習された LLM）についてまとめてくれています • Llm-jp/awesome-Japanese-llm: 日本語LLMまとめ – Overview of Japanese LLMs 日本語 LLM まとめ
21. 質疑応答・フリートーク Copyright ©2025 NS Solutions Corporation, IBM Corporation.
22. 田中 俊介（Shunsuke Tanaka） <所属> 日本IBM カスタマーサクセスマネージャー <経歴> 2013- 主にWebシステムの開発に携わる 2022- 日本IBMに中途入社 Automation、特にObservability製品のカスタマーサクセスマネージャーとして、業種・業態問わずサポート <趣味> スポーツ(観るのもやるのも)、旅行 パネルスピーカー自己紹介
23. 藤原 円央（ふじわら まお） fujiwara.mao.ad5@jp.nssol.nipponsteel.com ＜所属＞ 日鉄ソリューションズ システム研究開発センター ＜経歴＞ 2024年に日鉄ソリューションズに入社。 クラウドネイティブ技術について学習中 ＜趣味など＞ 卓球、野球観戦（ホークスファン）、麻雀、旅行（温泉） パネルスピーカー自己紹介 Copyright ©2024 NS Solutions Corporation, IBM Corporation.
24. • 事前にいただいた質問 • Granite についても触れていただけると嬉しいです • ローカル LLM＋オンプレミス RDB で非クラウド RAG を構築したいと考 えているのでヒントを探しています • 製造業におけるローカル LLM 活用 • トークデッキ • Ollama 対応のモデル • 他サービスとの連携 フリートーク Copyright ©2025 NS Solutions Corporation, IBM Corporation.
25. クロージング Copyright ©2025 NS Solutions Corporation, IBM Corporation.
26. アンケートのご協力をお願いします Copyright ©2025 NS Solutions Corporation, IBM Corporation. https://app.sli.do/event/wtyRnSDByoau6hCNMJURT1
27. 日鉄ソリューションズでは、 クラウドネイティブ技術を用いてお客様のDXを推進する仲間を募集中です。 ご興味ある方は、ぜひお問い合わせください。 弊社人事より、ご連絡を差し上げます。 We are hiring!! 「NSSOL キャリア採用」 採用ページ： https://www.nssol.nipponsteel.com/recruiting Copyright ©2025 NS Solutions Corporation, IBM Corporation.