Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
DeepSeekを使ったローカルLLM構築
Search
西岡 賢一郎 (Kenichiro Nishioka)
February 22, 2025
Technology
0
16
DeepSeekを使ったローカルLLM構築
機械学習の社会実装勉強会第44回 (
https://machine-learning-workshop.connpass.com/event/346001/
) の発表資料です。
西岡 賢一郎 (Kenichiro Nishioka)
February 22, 2025
Tweet
Share
More Decks by 西岡 賢一郎 (Kenichiro Nishioka)
See All by 西岡 賢一郎 (Kenichiro Nishioka)
業務ツールをAIエージェントとつなぐ - Composio
knishioka
0
140
LangGraphを使ったHuman in the loop
knishioka
0
160
AIシステムの品質と成功率を向上させるReflection
knishioka
0
30
LangGraph Templatesによる効率的なワークフロー構築
knishioka
0
120
AIエージェントの開発に特化した統合開発環境 LangGraph Studio
knishioka
0
160
LangGraphを用いたAIアプリケーションにおけるメモリ永続化の実践
knishioka
1
440
Text-to-SQLをLangSmithで評価
knishioka
0
200
効果的なLLM評価法 LangSmithの技術と実践
knishioka
1
410
LangGraphのノード・エッジ・ルーティングを深堀り
knishioka
1
610
Other Decks in Technology
See All in Technology
目の前の仕事と向き合うことで成長できる - 仕事とスキルを広げる / Every little bit counts
soudai
24
7.1k
第13回 Data-Centric AI勉強会, 画像認識におけるData-centric AI
ksaito_osx
0
370
RECRUIT TECH CONFERENCE 2025 プレイベント【高橋】
recruitengineers
PRO
0
160
転生CISOサバイバル・ガイド / CISO Career Transition Survival Guide
kanny
3
970
一度 Expo の採用を断念したけど、 再度 Expo の導入を検討している話
ichiki1023
1
170
エンジニアが加速させるプロダクトディスカバリー 〜最速で価値ある機能を見つける方法〜 / product discovery accelerated by engineers
rince
4
320
AndroidXR 開発ツールごとの できることできないこと
donabe3
0
130
白金鉱業Meetup Vol.17_あるデータサイエンティストのデータマネジメントとの向き合い方
brainpadpr
5
730
Swiftの “private” を テストする / Testing Swift "private"
yutailang0119
0
130
インフラをつくるとはどういうことなのか、 あるいはPlatform Engineeringについて
nwiizo
5
2.6k
組織貢献をするフリーランスエンジニアという生き方
n_takehata
1
1.3k
ビジネスモデリング道場 目的と背景
masuda220
PRO
9
520
Featured
See All Featured
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.7k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
46
2.3k
Designing on Purpose - Digital PM Summit 2013
jponch
117
7.1k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
40
2k
Fontdeck: Realign not Redesign
paulrobertlloyd
83
5.4k
Site-Speed That Sticks
csswizardry
4
380
Measuring & Analyzing Core Web Vitals
bluesmoon
6
240
Build The Right Thing And Hit Your Dates
maggiecrowley
34
2.5k
What's in a price? How to price your products and services
michaelherold
244
12k
Statistics for Hackers
jakevdp
797
220k
Embracing the Ebb and Flow
colly
84
4.6k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
Transcript
DeepSeekを使ったローカルLLM構築 機械学習の社会実装勉強会 第44回 (2025/02/22) 1
自己紹介 名前: 西岡 賢一郎 10年以上にわたり、データ分析や機械学習の分 野でスタートアップの経営に携わる。現在は、 日本とマレーシアを拠点に活動中。 SNS X: @ken_nishi
LinkedIn: https://www.linkedin.com/in/kenichiro- nishioka/ Facebook: https://www.facebook.com/kenichiro.nishioka note: https://note.com/kenichiro YouTube: https://www.youtube.com/@kenichiro- nishioka 経歴 東京大学で位置予測アルゴリズムを研究し博 士 (学術) を取得 東京大学の博士課程在学中にデータサイエン スをもとにしたサービスを提供する株式会社 トライディアを設立 トライディアを別のIT会社に売却し、CTOと して3年半務め、2021年10月末にCTOを退職 株式会社データインフォームド (CEO)・株式 会社ディースタッツ (CTO)・CDPのスタート アップ (Sr. Solution Architect) 自社および他社のプロダクト開発チーム・デ ータサイエンスチームの立ち上げ経験 2
アジェンダ 1. Local LLMが求められる背景 2. Local LLMで使えるオープンソースモデル 3. Local LLMを動かすプラットフォーム
4. まとめ 3
Local LLMが求められる背景 4
Local LLMの戦略的必要性 1. データセキュリティとプライバシー 社内に機密データを留めたまま AI 活用が可能 クラウド型と異なり、外部への情報送信が不要 製品開発情報や顧客データの漏洩リスクを最小化 2.
レスポンス時間の改善 インターネット接続に依存しない安定した応答 エッジでの処理によるレイテンシの最小化 リアルタイム性が求められる製造ラインでの活用に対 応 3. コスト面での利点 APIコール課金が不要 利用量に関係なく固定費での運用が可能 大規模な文書処理での優位性 5
産業別活用事例 金融業界での活用 機密性の高い投資戦略文書の分析 非公開の取引データを用いた不正検知 顧客の資産情報を含む文書要約 製造業での実装 製造ラインでのリアルタイム異常検知 社外秘の設計図面からの情報抽出 工場内の閉域ネットワークでの稼働分析 医療分野での展開
患者の個人情報を含むカルテ分析 院内システムでの処方箋チェック 医療画像の即時診断支援 6
Local LLMで使えるオープンソースモデル 7
主要なオープンソースモデル Meta Llama, Google Gemma, Microsoft Phi, DeepSeek など様々なモデルがオープンソースで利用可能となって いる
同じモデルでもパラメータ数が異なるバージョンが提 供されている (例: llama3.2:3b, llama3.2:1b) パラメータ数が多いほどモデルサイズが大きくなり賢 くなる 同じパラメータ数でもモデルによって得意・不得意分 野が異なる 出典: https://ollama.com/library/llama3.2 8
Deepseek 中国DeepSeek社のV3/R1シリーズは、MoE(Mixture of Experts)アーキテクチャとMLA(Multi-head Latent Attention)技術を組み合わせ、GPT-4o同等性能を低コ ストで実現 数学・コーティング・推論タスクで高性能 モデルが公開されており商用利用可能 出典:
https://ollama.com/library/deepseek-r1 9
Local LLMを動かすプラットフォーム 10
主要プラットフォームの比較 特徴 Ollama LM Studio vLLM 利用方式 CLI + API
GUI API モデル 多数のOSS LLM 60以上のOSS LLM HuggingFaceモデル ライセンス オープンソース クローズド オープンソース 商用利用 可能 要リクエスト 可能 選定のポイント CLIベース開発:Ollama GUI操作重視:LM Studio 高速処理重視:vLLM 11
Ollama 主な特徴 ローカル実行: プライバシー保護、オフライン利用可能 使いやすさ: マルチプラットフォーム、CLIインターフェ ース 高度な機能: GPUアクセラレーション、REST API対応
多様なモデル: Llama 2, Code Llama等をサポート オープンソース: 無料で利用可能、カスタマイズ可能 12
Ollamaを選ぶ理由 1. インストールの簡単さ: MacならHomebrewでインストール可能 brew install ollama 2. モデルの管理が用意 ollama
pull deepseek-r1:8b # モデルの取得 ollama list # インストール済みモデルの表示 ollama rm deepseek-r1:8b # モデルの削除 3. モデルをすぐに実行可能 ollama run deepseek-r1:8b 4. APIアクセス可能 url -X POST http://localhost:11434/api/generate -d '{ "model": "deepseek-r1:8b", "prompt":"Why is the sky blue?" }' 5. Modelfileを使ったモデルのカスタマイズも可能 (次のページ参照) 13
Ollama Modelfile カスタムAIモデルを作成・管理するための設定ファイル 主な構文 FROM <base-model> :ベースモデルを指定 SYSTEM "<text>" :システムプロンプトを設定
PARAMETER key=value :モデルのパラメータ(例: temperature=0.7 )を設定 TEMPLATE "<prompt-template>" :入力フォーマットをカスタマイズ ADAPTER <adapter> :LoRAや追加学習済みモデルを適用 特徴 カスタマイズ可能:プロンプトやパラメータを自由に設定可能 軽量な記述:Dockerfileのようなシンプルな形式 ローカル実行対応:PC上で簡単にモデルを管理・実行可能 14
CLIで複数モデルの連携が可能 pipeで入出力をつなぐことで異なるモデルを簡単に連携可能 ollama run planner-model "<タスク>" | ollama run solver-model
| ollama run translator-model System Promptを指定して独自モデルを作る Modelfile内でSystem Promptを設定し特定の挙動に特化したモデルを作成 # llama3.1-planner.modelfile FROM llama3.1 SYSTEM """ あなたは別のAIへの指示を作成するアシスタントです。 与えられた質問に答えるためのプランニングをしてください。 """ Modelfileから独自モデルを作成 ollama create llama3.1-planner -f llama3.1-planner.modelfile 15
デモ Ollamaの基本操作 OllamaでDeepSeekを実行 Modelfileでカスタマイズ 16
まとめ 1. Local LLMはセキュリティ・速度・コストのメリットがある 2. オープンソースの公開やLocal LLMを動かす技術基盤の成熟により導入障壁が低下 3. マシンスペックに合わせて大小様々なモデルを選択可能 4.
Ollamaを用いて簡単にモデルを管理 5. Ollamaをpipeで利用することで複数のモデルを連携可能 17
お問い合わせ お仕事の依頼・機械学習・LLMの実装のご相談は、X, LinkedIn, Facebookなどで DMをください 機械学習を社会実装する仲間も募集中!! 18