Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LLMローカル動作方法
Search
dassimen
March 05, 2025
1
64
LLMローカル動作方法
LLMをローカルで動作させるOllamaというツールを試しました。
手軽すぎてびっくりしました。
他ツールとの連携を考えられるいい機会になりました。
dassimen
March 05, 2025
Tweet
Share
More Decks by dassimen
See All by dassimen
LLMとは(超概要)
dassimen001
0
40
RAGとは(超概要)
dassimen001
0
36
LangChain × Ollamaで学ぶLLM & RAG超入門
dassimen001
1
140
まるでChatGTP!?
dassimen001
0
32
LLMローカル動作方法(NvidiaGPU使用)
dassimen001
0
81
🎭Playwright 超入門
dassimen001
0
43
ベクトル変換について
dassimen001
1
47
Featured
See All Featured
Visualization
eitanlees
146
16k
The Invisible Side of Design
smashingmag
301
51k
Statistics for Hackers
jakevdp
799
220k
Practical Orchestrator
shlominoach
189
11k
Why Our Code Smells
bkeepers
PRO
337
57k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
48
2.9k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
990
Art, The Web, and Tiny UX
lynnandtonic
299
21k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
357
30k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
30
2.2k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
What's in a price? How to price your products and services
michaelherold
246
12k
Transcript
LLMローカル動作方法 超入門 1
使用ツール WSL2 : Windows上でLinuxを手軽に動かす環境 Docker : コンテナ実行環境 Ollama : LLMをローカルで動かすツール(https://ollama.com)
2
Ollamaとは 大規模言語モデル(LLM)をローカル環境で簡単に実行・管理する ためのオープンソースツール コマンドの感覚的にはDockerに近いイメージを持った。 元OpenAIの人が作ったそう。世界中の協力の元プロジェクトが 大きくなっている。 動かせるLLMは、リポジトリのようなホストサイトがありそこから ダウンロードする Llamaやdeepseek-R1などが使える 3
動作検証方法 1. ローカルPCで動かす 2. ローカルだけで動いてるのか確認するためにネットワークを切断す る 前提 WSL2でUbuntuディストリビューションインストール済み Dockerを動かせる環境を構築済み 今回はCPUのみで動作確認する(GPUを使った動作も可能)
4
実行 1. まずOllamaコンテナを立ち上げる(モデルを実行するツール) docker run -d -v ollama:/root/.ollama -p 11434:11434
--name ollama ollama/ollama 2. 好きなモデルを以下から選び実行する 今回は Llama3.2の1bパラメータ の物を選んだ。 比較的容量が1.1GBと少なめ。 DeepSeek-R1も使ったが今回は省略する。 docker exec -it ollama ollama run llama3.2:1b 5
実行結果 >>> 日本語で対応してください。 我々は、以下のような方法でオプションをご提供しています。 1.質問を簡単な言葉で説明する 2.長い文書の部分についての詳細な説明 3.特定の問題に答えを調べるためのシナリオを提示します。 4.関連する情報と関連している情報をご紹介します。 5.複雑な概念を簡単に理解できるように、分解したリストを提供します。 >>>
日本の首都はどこですか。 日本の首都は東京です。 Tokyo (, Tokyō) は、日本の人口の約半分の市民が住んでいる都市で、東京 metropolitan area の中心部である。 >>> が自分で入力した文章。その下がLLMの回答。 サイズが小さなモデルなので日本語での精度は少し落ちる。 精度を上げる場合は、容量の大きなモデルを使用するとよい。 ネットワークを切った状態でも問題なく動作した。 6
わかったことと今後 ローカルで手軽にLLMが動作させられることが分かった。 Docker環境でGPU連携を試しつつOllamaを動かしたい。 LangChainを試している最中なのでそれと連携したい。 AIを使う敷居がかなり下がっているのを感じた。 Ollamaリポジトリを見ると画面も簡単につけられそうなので試した い。 7
Tips GitHub ( https://github.com/ollama/ollama ) Ollamaのコマンド使用法などが載っている Ollama (https://ollama.com) モデルの一覧はサイトの中で確認できる DeepSeek-R1を実行する場合のコマンド
docker exec -it ollama ollama run deepseek-r1:1.5b 8