Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LLMローカル動作方法
Search
dassimen
March 05, 2025
0
12
LLMローカル動作方法
LLMをローカルで動作させるOllamaというツールを試しました。
手軽すぎてびっくりしました。
他ツールとの連携を考えられるいい機会になりました。
dassimen
March 05, 2025
Tweet
Share
More Decks by dassimen
See All by dassimen
ベクトル変換について
dassimen001
0
21
Featured
See All Featured
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
49
2.3k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
29
1k
Making the Leap to Tech Lead
cromwellryan
133
9.1k
Building a Modern Day E-commerce SEO Strategy
aleyda
38
7.1k
Facilitating Awesome Meetings
lara
53
6.2k
How to Think Like a Performance Engineer
csswizardry
22
1.4k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
33
2.8k
Embracing the Ebb and Flow
colly
84
4.6k
Designing for humans not robots
tammielis
250
25k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
The Power of CSS Pseudo Elements
geoffreycrofte
75
5.5k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
21
2.5k
Transcript
LLMローカル動作方法 超入門 1
使用ツール WSL2 : Windows上でLinuxを手軽に動かす環境 Docker : コンテナ実行環境 Ollama : LLMをローカルで動かすツール(https://ollama.com)
2
Ollamaとは 大規模言語モデル(LLM)をローカル環境で簡単に実行・管理する ためのオープンソースツール コマンドの感覚的にはDockerに近いイメージを持った。 元OpenAIの人が作ったそう。世界中の協力の元プロジェクトが 大きくなっている。 動かせるLLMは、リポジトリのようなホストサイトがありそこから ダウンロードする Llamaやdeepseek-R1などが使える 3
動作検証方法 1. ローカルPCで動かす 2. ローカルだけで動いてるのか確認するためにネットワークを切断す る 前提 WSL2でUbuntuディストリビューションインストール済み Dockerを動かせる環境を構築済み 今回はCPUのみで動作確認する(GPUを使った動作も可能)
4
実行 1. まずOllamaコンテナを立ち上げる(モデルを実行するツール) docker run -d -v ollama:/root/.ollama -p 11434:11434
--name ollama ollama/ollama 2. 好きなモデルを以下から選び実行する 今回は Llama3.2の1bパラメータ の物を選んだ。 比較的容量が1.1GBと少なめ。 DeepSeek-R1も使ったが今回は省略する。 docker exec -it ollama ollama run llama3.2:1b 5
実行結果 >>> 日本語で対応してください。 我々は、以下のような方法でオプションをご提供しています。 1.質問を簡単な言葉で説明する 2.長い文書の部分についての詳細な説明 3.特定の問題に答えを調べるためのシナリオを提示します。 4.関連する情報と関連している情報をご紹介します。 5.複雑な概念を簡単に理解できるように、分解したリストを提供します。 >>>
日本の首都はどこですか。 日本の首都は東京です。 Tokyo (, Tokyō) は、日本の人口の約半分の市民が住んでいる都市で、東京 metropolitan area の中心部である。 >>> が自分で入力した文章。その下がLLMの回答。 サイズが小さなモデルなので日本語での精度は少し落ちる。 精度を上げる場合は、容量の大きなモデルを使用するとよい。 ネットワークを切った状態でも問題なく動作した。 6
わかったことと今後 ローカルで手軽にLLMが動作させられることが分かった。 Docker環境でGPU連携を試しつつOllamaを動かしたい。 LangChainを試している最中なのでそれと連携したい。 AIを使う敷居がかなり下がっているのを感じた。 7
Tips GitHub ( https://github.com/ollama/ollama ) Ollamaのコマンド使用法などが載っている Ollama (https://ollama.com) モデルの一覧はサイトの中で確認できる DeepSeek-R1を実行する場合のコマンド
docker exec -it ollama ollama run llama3.2:1b 8