Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
DeepSeekを使ったローカルLLM構築
Search
西岡 賢一郎 (Kenichiro Nishioka)
February 22, 2025
Technology
0
200
DeepSeekを使ったローカルLLM構築
機械学習の社会実装勉強会第44回 (
https://machine-learning-workshop.connpass.com/event/346001/
) の発表資料です。
西岡 賢一郎 (Kenichiro Nishioka)
February 22, 2025
Tweet
Share
More Decks by 西岡 賢一郎 (Kenichiro Nishioka)
See All by 西岡 賢一郎 (Kenichiro Nishioka)
ローカルLLMでファインチューニング
knishioka
0
190
自作MCPサーバ入門
knishioka
0
16
成功と失敗の実像と生成AI時代の展望
knishioka
0
50
MCPが変えるAIとの協働
knishioka
1
190
LangFlowではじめるRAG・マルチエージェントシステム構築
knishioka
0
170
業務ツールをAIエージェントとつなぐ - Composio
knishioka
1
240
LangGraphを使ったHuman in the loop
knishioka
0
300
AIシステムの品質と成功率を向上させるReflection
knishioka
0
56
LangGraph Templatesによる効率的なワークフロー構築
knishioka
0
190
Other Decks in Technology
See All in Technology
「クラウドコスト絶対削減」を支える技術—FinOpsを超えた徹底的なクラウドコスト削減の実践論
delta_tech
4
180
VS CodeとGitHub Copilotで爆速開発!アップデートの波に乗るおさらい会 / Rapid Development with VS Code and GitHub Copilot: Catch the Latest Wave
yamachu
2
190
ビギナーであり続ける/beginning
ikuodanaka
3
790
対話型音声AIアプリケーションの信頼性向上の取り組み
ivry_presentationmaterials
1
400
AI専用のリンターを作る #yumemi_patch
bengo4com
6
4.4k
Delegating the chores of authenticating users to Keycloak
ahus1
0
160
60以上のプロダクトを持つ組織における開発者体験向上への取り組み - チームAPIとBackstageで構築する組織の可視化基盤 - / sre next 2025 Efforts to Improve Developer Experience in an Organization with Over 60 Products
vtryo
2
490
面倒な作業はAIにおまかせ。Flutter開発をスマートに効率化
ruideengineer
0
400
事例で学ぶ!B2B SaaSにおけるSREの実践例/SRE for B2B SaaS: A Real-World Case Study
bitkey
1
160
American airlines ®️ USA Contact Numbers: Complete 2025 Support Guide
airhelpsupport
0
390
SRE不在の開発チームが障害対応と 向き合った100日間 / 100 days dealing with issues without SREs
shin1988
1
410
cdk initで生成されるあのファイル達は何なのか/cdk-init-generated-files
tomoki10
0
110
Featured
See All Featured
It's Worth the Effort
3n
185
28k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
30
2.1k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
The Cost Of JavaScript in 2023
addyosmani
51
8.5k
Documentation Writing (for coders)
carmenintech
72
4.9k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
Practical Orchestrator
shlominoach
189
11k
Automating Front-end Workflow
addyosmani
1370
200k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Designing Experiences People Love
moore
142
24k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Transcript
DeepSeekを使ったローカルLLM構築 機械学習の社会実装勉強会 第44回 (2025/02/22) 1
自己紹介 名前: 西岡 賢一郎 10年以上にわたり、データ分析や機械学習の分 野でスタートアップの経営に携わる。現在は、 日本とマレーシアを拠点に活動中。 SNS X: @ken_nishi
LinkedIn: https://www.linkedin.com/in/kenichiro- nishioka/ Facebook: https://www.facebook.com/kenichiro.nishioka note: https://note.com/kenichiro YouTube: https://www.youtube.com/@kenichiro- nishioka 経歴 東京大学で位置予測アルゴリズムを研究し博 士 (学術) を取得 東京大学の博士課程在学中にデータサイエン スをもとにしたサービスを提供する株式会社 トライディアを設立 トライディアを別のIT会社に売却し、CTOと して3年半務め、2021年10月末にCTOを退職 株式会社データインフォームド (CEO)・株式 会社ディースタッツ (CTO)・CDPのスタート アップ (Sr. Solution Architect) 自社および他社のプロダクト開発チーム・デ ータサイエンスチームの立ち上げ経験 2
アジェンダ 1. Local LLMが求められる背景 2. Local LLMで使えるオープンソースモデル 3. Local LLMを動かすプラットフォーム
4. まとめ 3
Local LLMが求められる背景 4
Local LLMの戦略的必要性 1. データセキュリティとプライバシー 社内に機密データを留めたまま AI 活用が可能 クラウド型と異なり、外部への情報送信が不要 製品開発情報や顧客データの漏洩リスクを最小化 2.
レスポンス時間の改善 インターネット接続に依存しない安定した応答 エッジでの処理によるレイテンシの最小化 リアルタイム性が求められる製造ラインでの活用に対 応 3. コスト面での利点 APIコール課金が不要 利用量に関係なく固定費での運用が可能 大規模な文書処理での優位性 5
産業別活用事例 金融業界での活用 機密性の高い投資戦略文書の分析 非公開の取引データを用いた不正検知 顧客の資産情報を含む文書要約 製造業での実装 製造ラインでのリアルタイム異常検知 社外秘の設計図面からの情報抽出 工場内の閉域ネットワークでの稼働分析 医療分野での展開
患者の個人情報を含むカルテ分析 院内システムでの処方箋チェック 医療画像の即時診断支援 6
Local LLMで使えるオープンソースモデル 7
主要なオープンソースモデル Meta Llama, Google Gemma, Microsoft Phi, DeepSeek など様々なモデルがオープンソースで利用可能となって いる
同じモデルでもパラメータ数が異なるバージョンが提 供されている (例: llama3.2:3b, llama3.2:1b) パラメータ数が多いほどモデルサイズが大きくなり賢 くなる 同じパラメータ数でもモデルによって得意・不得意分 野が異なる 出典: https://ollama.com/library/llama3.2 8
Deepseek 中国DeepSeek社のV3/R1シリーズは、MoE(Mixture of Experts)アーキテクチャとMLA(Multi-head Latent Attention)技術を組み合わせ、GPT-4o同等性能を低コ ストで実現 数学・コーティング・推論タスクで高性能 モデルが公開されており商用利用可能 出典:
https://ollama.com/library/deepseek-r1 9
Local LLMを動かすプラットフォーム 10
主要プラットフォームの比較 特徴 Ollama LM Studio vLLM 利用方式 CLI + API
GUI API モデル 多数のOSS LLM 60以上のOSS LLM HuggingFaceモデル ライセンス オープンソース クローズド オープンソース 商用利用 可能 要リクエスト 可能 選定のポイント CLIベース開発:Ollama GUI操作重視:LM Studio 高速処理重視:vLLM 11
Ollama 主な特徴 ローカル実行: プライバシー保護、オフライン利用可能 使いやすさ: マルチプラットフォーム、CLIインターフェ ース 高度な機能: GPUアクセラレーション、REST API対応
多様なモデル: Llama 2, Code Llama等をサポート オープンソース: 無料で利用可能、カスタマイズ可能 12
Ollamaを選ぶ理由 1. インストールの簡単さ: MacならHomebrewでインストール可能 brew install ollama 2. モデルの管理が用意 ollama
pull deepseek-r1:8b # モデルの取得 ollama list # インストール済みモデルの表示 ollama rm deepseek-r1:8b # モデルの削除 3. モデルをすぐに実行可能 ollama run deepseek-r1:8b 4. APIアクセス可能 url -X POST http://localhost:11434/api/generate -d '{ "model": "deepseek-r1:8b", "prompt":"Why is the sky blue?" }' 5. Modelfileを使ったモデルのカスタマイズも可能 (次のページ参照) 13
Ollama Modelfile カスタムAIモデルを作成・管理するための設定ファイル 主な構文 FROM <base-model> :ベースモデルを指定 SYSTEM "<text>" :システムプロンプトを設定
PARAMETER key=value :モデルのパラメータ(例: temperature=0.7 )を設定 TEMPLATE "<prompt-template>" :入力フォーマットをカスタマイズ ADAPTER <adapter> :LoRAや追加学習済みモデルを適用 特徴 カスタマイズ可能:プロンプトやパラメータを自由に設定可能 軽量な記述:Dockerfileのようなシンプルな形式 ローカル実行対応:PC上で簡単にモデルを管理・実行可能 14
CLIで複数モデルの連携が可能 pipeで入出力をつなぐことで異なるモデルを簡単に連携可能 ollama run planner-model "<タスク>" | ollama run solver-model
| ollama run translator-model System Promptを指定して独自モデルを作る Modelfile内でSystem Promptを設定し特定の挙動に特化したモデルを作成 # llama3.1-planner.modelfile FROM llama3.1 SYSTEM """ あなたは別のAIへの指示を作成するアシスタントです。 与えられた質問に答えるためのプランニングをしてください。 """ Modelfileから独自モデルを作成 ollama create llama3.1-planner -f llama3.1-planner.modelfile 15
デモ Ollamaの基本操作 OllamaでDeepSeekを実行 Modelfileでカスタマイズ 16
まとめ 1. Local LLMはセキュリティ・速度・コストのメリットがある 2. オープンソースの公開やLocal LLMを動かす技術基盤の成熟により導入障壁が低下 3. マシンスペックに合わせて大小様々なモデルを選択可能 4.
Ollamaを用いて簡単にモデルを管理 5. Ollamaをpipeで利用することで複数のモデルを連携可能 17
お問い合わせ お仕事の依頼・機械学習・LLMの実装のご相談は、X, LinkedIn, Facebookなどで DMをください 機械学習を社会実装する仲間も募集中!! 18