Upgrade to Pro — share decks privately, control downloads, hide ads and more …

LLMローカル動作方法

dassimen
March 05, 2025
12

 LLMローカル動作方法

LLMをローカルで動作させるOllamaというツールを試しました。
手軽すぎてびっくりしました。
他ツールとの連携を考えられるいい機会になりました。

dassimen

March 05, 2025
Tweet

Transcript

  1. 実行 1. まずOllamaコンテナを立ち上げる(モデルを実行するツール) docker run -d -v ollama:/root/.ollama -p 11434:11434

    --name ollama ollama/ollama 2. 好きなモデルを以下から選び実行する 今回は Llama3.2の1bパラメータ の物を選んだ。 比較的容量が1.1GBと少なめ。 DeepSeek-R1も使ったが今回は省略する。 docker exec -it ollama ollama run llama3.2:1b 5
  2. 実行結果 >>> 日本語で対応してください。 我々は、以下のような方法でオプションをご提供しています。 1.質問を簡単な言葉で説明する 2.長い文書の部分についての詳細な説明 3.特定の問題に答えを調べるためのシナリオを提示します。 4.関連する情報と関連している情報をご紹介します。 5.複雑な概念を簡単に理解できるように、分解したリストを提供します。 >>>

    日本の首都はどこですか。 日本の首都は東京です。 Tokyo (, Tokyō) は、日本の人口の約半分の市民が住んでいる都市で、東京 metropolitan area の中心部である。 >>> が自分で入力した文章。その下がLLMの回答。 サイズが小さなモデルなので日本語での精度は少し落ちる。 精度を上げる場合は、容量の大きなモデルを使用するとよい。 ネットワークを切った状態でも問題なく動作した。 6