Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
DeepSeekを使ったローカルLLM構築
Search
西岡 賢一郎 (Kenichiro Nishioka)
February 22, 2025
Technology
0
220
DeepSeekを使ったローカルLLM構築
機械学習の社会実装勉強会第44回 (
https://machine-learning-workshop.connpass.com/event/346001/
) の発表資料です。
西岡 賢一郎 (Kenichiro Nishioka)
February 22, 2025
Tweet
Share
More Decks by 西岡 賢一郎 (Kenichiro Nishioka)
See All by 西岡 賢一郎 (Kenichiro Nishioka)
Conductor: Git Worktreeで実現する並列AIコーディング
knishioka
0
72
ローカルLLMでファインチューニング
knishioka
0
430
自作MCPサーバ入門
knishioka
0
27
成功と失敗の実像と生成AI時代の展望
knishioka
0
57
MCPが変えるAIとの協働
knishioka
1
200
LangFlowではじめるRAG・マルチエージェントシステム構築
knishioka
0
210
業務ツールをAIエージェントとつなぐ - Composio
knishioka
1
250
LangGraphを使ったHuman in the loop
knishioka
0
320
AIシステムの品質と成功率を向上させるReflection
knishioka
0
61
Other Decks in Technology
See All in Technology
Autonomous Database Serverless 技術詳細 / adb-s_technical_detail_jp
oracle4engineer
PRO
18
52k
React Server ComponentsでAPI不要の開発体験
polidog
PRO
0
350
LLM 機能を支える Langfuse / ClickHouse のサーバレス化
yuu26
9
2.7k
Claude Code x Androidアプリ 開発
kgmyshin
1
270
LLM時代の検索とコンテキストエンジニアリング
shibuiwilliam
2
740
Intro to Software Startups: Spring 2025
arnabdotorg
0
280
プロダクトエンジニアリングで開発の楽しさを拡張する話
barometrica
0
210
結局QUICで通信は速くなるの?
kota_yata
9
7.5k
文字列の並び順 / String Collation
tmtms
1
110
Amazon Qで2Dゲームを作成してみた
siromi
0
170
AIエージェントを現場で使う / 2025.08.07 著者陣に聞く!現場で活用するためのAIエージェント実践入門(Findyランチセッション)
smiyawaki0820
7
1.3k
Infrastructure as Prompt実装記 〜Bedrock AgentCoreで作る自然言語インフラエージェント〜
yusukeshimizu
1
160
Featured
See All Featured
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
How to Think Like a Performance Engineer
csswizardry
25
1.8k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
183
54k
Building Applications with DynamoDB
mza
96
6.6k
[RailsConf 2023] Rails as a piece of cake
palkan
56
5.8k
Building Adaptive Systems
keathley
43
2.7k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
810
Designing Experiences People Love
moore
142
24k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
Bash Introduction
62gerente
614
210k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
9
770
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
283
13k
Transcript
DeepSeekを使ったローカルLLM構築 機械学習の社会実装勉強会 第44回 (2025/02/22) 1
自己紹介 名前: 西岡 賢一郎 10年以上にわたり、データ分析や機械学習の分 野でスタートアップの経営に携わる。現在は、 日本とマレーシアを拠点に活動中。 SNS X: @ken_nishi
LinkedIn: https://www.linkedin.com/in/kenichiro- nishioka/ Facebook: https://www.facebook.com/kenichiro.nishioka note: https://note.com/kenichiro YouTube: https://www.youtube.com/@kenichiro- nishioka 経歴 東京大学で位置予測アルゴリズムを研究し博 士 (学術) を取得 東京大学の博士課程在学中にデータサイエン スをもとにしたサービスを提供する株式会社 トライディアを設立 トライディアを別のIT会社に売却し、CTOと して3年半務め、2021年10月末にCTOを退職 株式会社データインフォームド (CEO)・株式 会社ディースタッツ (CTO)・CDPのスタート アップ (Sr. Solution Architect) 自社および他社のプロダクト開発チーム・デ ータサイエンスチームの立ち上げ経験 2
アジェンダ 1. Local LLMが求められる背景 2. Local LLMで使えるオープンソースモデル 3. Local LLMを動かすプラットフォーム
4. まとめ 3
Local LLMが求められる背景 4
Local LLMの戦略的必要性 1. データセキュリティとプライバシー 社内に機密データを留めたまま AI 活用が可能 クラウド型と異なり、外部への情報送信が不要 製品開発情報や顧客データの漏洩リスクを最小化 2.
レスポンス時間の改善 インターネット接続に依存しない安定した応答 エッジでの処理によるレイテンシの最小化 リアルタイム性が求められる製造ラインでの活用に対 応 3. コスト面での利点 APIコール課金が不要 利用量に関係なく固定費での運用が可能 大規模な文書処理での優位性 5
産業別活用事例 金融業界での活用 機密性の高い投資戦略文書の分析 非公開の取引データを用いた不正検知 顧客の資産情報を含む文書要約 製造業での実装 製造ラインでのリアルタイム異常検知 社外秘の設計図面からの情報抽出 工場内の閉域ネットワークでの稼働分析 医療分野での展開
患者の個人情報を含むカルテ分析 院内システムでの処方箋チェック 医療画像の即時診断支援 6
Local LLMで使えるオープンソースモデル 7
主要なオープンソースモデル Meta Llama, Google Gemma, Microsoft Phi, DeepSeek など様々なモデルがオープンソースで利用可能となって いる
同じモデルでもパラメータ数が異なるバージョンが提 供されている (例: llama3.2:3b, llama3.2:1b) パラメータ数が多いほどモデルサイズが大きくなり賢 くなる 同じパラメータ数でもモデルによって得意・不得意分 野が異なる 出典: https://ollama.com/library/llama3.2 8
Deepseek 中国DeepSeek社のV3/R1シリーズは、MoE(Mixture of Experts)アーキテクチャとMLA(Multi-head Latent Attention)技術を組み合わせ、GPT-4o同等性能を低コ ストで実現 数学・コーティング・推論タスクで高性能 モデルが公開されており商用利用可能 出典:
https://ollama.com/library/deepseek-r1 9
Local LLMを動かすプラットフォーム 10
主要プラットフォームの比較 特徴 Ollama LM Studio vLLM 利用方式 CLI + API
GUI API モデル 多数のOSS LLM 60以上のOSS LLM HuggingFaceモデル ライセンス オープンソース クローズド オープンソース 商用利用 可能 要リクエスト 可能 選定のポイント CLIベース開発:Ollama GUI操作重視:LM Studio 高速処理重視:vLLM 11
Ollama 主な特徴 ローカル実行: プライバシー保護、オフライン利用可能 使いやすさ: マルチプラットフォーム、CLIインターフェ ース 高度な機能: GPUアクセラレーション、REST API対応
多様なモデル: Llama 2, Code Llama等をサポート オープンソース: 無料で利用可能、カスタマイズ可能 12
Ollamaを選ぶ理由 1. インストールの簡単さ: MacならHomebrewでインストール可能 brew install ollama 2. モデルの管理が用意 ollama
pull deepseek-r1:8b # モデルの取得 ollama list # インストール済みモデルの表示 ollama rm deepseek-r1:8b # モデルの削除 3. モデルをすぐに実行可能 ollama run deepseek-r1:8b 4. APIアクセス可能 url -X POST http://localhost:11434/api/generate -d '{ "model": "deepseek-r1:8b", "prompt":"Why is the sky blue?" }' 5. Modelfileを使ったモデルのカスタマイズも可能 (次のページ参照) 13
Ollama Modelfile カスタムAIモデルを作成・管理するための設定ファイル 主な構文 FROM <base-model> :ベースモデルを指定 SYSTEM "<text>" :システムプロンプトを設定
PARAMETER key=value :モデルのパラメータ(例: temperature=0.7 )を設定 TEMPLATE "<prompt-template>" :入力フォーマットをカスタマイズ ADAPTER <adapter> :LoRAや追加学習済みモデルを適用 特徴 カスタマイズ可能:プロンプトやパラメータを自由に設定可能 軽量な記述:Dockerfileのようなシンプルな形式 ローカル実行対応:PC上で簡単にモデルを管理・実行可能 14
CLIで複数モデルの連携が可能 pipeで入出力をつなぐことで異なるモデルを簡単に連携可能 ollama run planner-model "<タスク>" | ollama run solver-model
| ollama run translator-model System Promptを指定して独自モデルを作る Modelfile内でSystem Promptを設定し特定の挙動に特化したモデルを作成 # llama3.1-planner.modelfile FROM llama3.1 SYSTEM """ あなたは別のAIへの指示を作成するアシスタントです。 与えられた質問に答えるためのプランニングをしてください。 """ Modelfileから独自モデルを作成 ollama create llama3.1-planner -f llama3.1-planner.modelfile 15
デモ Ollamaの基本操作 OllamaでDeepSeekを実行 Modelfileでカスタマイズ 16
まとめ 1. Local LLMはセキュリティ・速度・コストのメリットがある 2. オープンソースの公開やLocal LLMを動かす技術基盤の成熟により導入障壁が低下 3. マシンスペックに合わせて大小様々なモデルを選択可能 4.
Ollamaを用いて簡単にモデルを管理 5. Ollamaをpipeで利用することで複数のモデルを連携可能 17
お問い合わせ お仕事の依頼・機械学習・LLMの実装のご相談は、X, LinkedIn, Facebookなどで DMをください 機械学習を社会実装する仲間も募集中!! 18