LLMローカル動作方法(NvidiaGPU使用)

前回はCPUのみで動作させていたLLMをNvidiaのGPUを使用して動かしてみました。
PCのファンがうるさくなることなくLLMが動いていて感動しました。

Transcript

1. LLMローカル動作方法 超入門 (NvidiaGPU使用) 1
2. 使用ツール WSL2 : Windows上でLinuxを手軽に動かす環境 Docker : コンテナ実行環境 Ollama : LLMをローカルで動かすツール(https://ollama.com) NVIDIA Container Toolkit(Dockerで使用する) 2
3. Ollamaとは 大規模言語モデル（LLM）をローカル環境で簡単に実行・管理する ためのオープンソースツール コマンドの感覚的にはDockerに近いイメージを持った。 元OpenAIの人が作ったそう。世界中の協力の元プロジェクトが 大きくなっている。 動かせるLLMは、リポジトリのようなホストサイトがありそこから ダウンロードする Llamaやdeepseek-R1などが使える 3
4. 動作検証方法 1. ローカルPCで動かす 2. ローカルだけで動いてるのか確認するためにネットワークを切断す る 前提 WSL2でUbuntuディストリビューションインストール済み Dockerを動かせる環境を構築済み 今回はGPUで動作確認する(CPUのみでの動作も可能) 4
5. Nvida Container Toolkitの設定１ 1. Ubuntu(WSL2)環境にNvidaContainerToolKitをインストール 1. NvidiaのリポジトリをUbuntuに追加 aptでインストールできるようにする 2. 以下コマンドでツールのインストール $ sudo apt-get install -y nvidia-container-toolkit インストール詳細は以下を参照(NVIDIA公式Doc) https://docs.nvidia.com/datacenter/cloud-native/container- toolkit/latest/install-guide.html#installation “ “ 5
6. Nvida Container Toolkitの設定２ 2. Dockerの設定をする 1. Nvidiaのツールキットを使用するように設定ファイルを更新 $ sudo nvidia-ctk runtime configure --runtime=docker 2. Dockerの再起動 Docker Desktop for Windowsの場合はGUIから再起動する GPUをDockerで使用する詳細は以下を参照(Docker公式Doc) https://docs.docker.com/desktop/features/gpu/ “ “ 6
7. 実行 1. まずOllamaコンテナを立ち上げる(モデルを実行するツール) $ docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama 2. 好きなモデルを以下から選び実行する 今回は Llama3.2の1bパラメータ の物を選んだ。 比較的容量が1.1GBと少なめ。 DeepSeek-R1も使ったが今回は省略する。 $ docker exec -it ollama ollama run llama3.2:1b 7
8. 実行結果 >>> 日本語で対応してください。 我々は、以下のような方法でオプションをご提供しています。 1.質問を簡単な言葉で説明する 2.長い文書の部分についての詳細な説明 3.特定の問題に答えを調べるためのシナリオを提示します。 4.関連する情報と関連している情報をご紹介します。 5.複雑な概念を簡単に理解できるように、分解したリストを提供します。 >>> 日本の首都はどこですか。 日本の首都は東京です。 Tokyo (, Tokyō) は、日本の人口の約半分の市民が住んでいる都市で、東京 metropolitan area の中心部である。 >>> が自分で入力した文章。その下がLLMの回答。 サイズが小さなモデルなので日本語での精度は少し落ちる。 精度を上げる場合は、容量の大きなモデルを使用するとよい。 ネットワークを切った状態でも問題なく動作した。 8
9. わかったことと今後 ローカルで手軽にLLMが動作させられることが分かった。 Docker環境でGPU連携は、簡単。 LangChainを試している最中なのでそれと連携したい。 AIを使う敷居がかなり下がっているのを感じた。 Ollamaリポジトリを見ると画面も簡単につけられそうなので試した い。 9
10. Tips GitHub ( https://github.com/ollama/ollama ) Ollamaのコマンド使用法などが載っている Ollama (https://ollama.com) モデルの一覧はサイトの中で確認できる DeepSeek-R1を実行する場合のコマンド $ docker exec -it ollama ollama run deepseek-r1:1.5b Nvida Container Toolkit(https://docs.nvidia.com/datacenter/cloud- native/container-toolkit/latest/index.html) 10