local_llm_jetbrains_ai_assistant_20250730083724

Transcript

1. ローカルLLMをJetBrains AI Assistant に接続してみた LT発表資料 cd ~/presentations $ ./start_presentation.sh $  2025-07-29
2. 自己紹介 名前：村上 至樹（Yoshiki Murakami） 主な使用FW： Ruby on Rails, FastAPI, React フリーランスエンジニアとして活動 IT導入（AI, DX）顧問活動、Web制作・開発 仙台出身で東京で正社員でエンジニアしてました 英語を勉強したくてオーストラリアでフルリモートワーク 現在は仙台に戻ってきました > $ $ $ $ - - -  自己紹介
3. ローカルLLMを触ろうと思ったきっかけ Ollamaを使用してみたかった JetBrainsのAIプラグインに接続できるか気になっていたため > $ $ cd ~/motivation >  きっかけ
4. 使用ツール & モデル一覧 Ollama LLMのDockerみたいなやつ qwen2.5-coder:7b 開発: Alibaba Cloud メモリ24GBで動かしたいため、7B（70億）を選定 メモリ24GBで14Bだとギリギリらしい JetBrains RubyMine AI Assistant（JetBrainsのプラグイン） > $ - $ - - - $ $  使用ツール & モデル一覧
5. モデル選定理由 日本語対応 コード生成に特化したオープンソースのローカルLLM 主要言語（Python, JavaScript, Java, C++, Ruby, Go, Rust, TypeScript等） に対応 92のプログラミング言語に対応している ローカル実行によるセキュリティ確保 > $ $ $ $ $  モデル選定理由
6. パフォーマンス比較グラフ >  パフォーマンス比較グラフ
7. スペック概要・モデル一覧 メモリ24GB環境で7Bモデルをチョイス Models Params Layers Heads (KV) Context Length License Qwen2.5-Coder-0.5B 0.49B 24 14 / 2 32K Apache 2.0 Qwen2.5-Coder-1.5B 1.54B 28 12 / 2 32K Apache 2.0 Qwen2.5-Coder-3B 3.09B 36 16 / 2 32K Qwen Research Qwen2.5-Coder-7B 7.61B 28 28 / 4 128K Apache 2.0 Qwen2.5-Coder-14B 14.7B 48 40 / 8 128K Apache 2.0 Qwen2.5-Coder-32B 32.5B 64 40 / 8 128K Apache 2.0 > $  スペック概要・モデル一覧
8. Ollama インストール手順 Ollamaコマンド例と概要説明 ollama --help Large language model runner Usage: ollama [flags] ollama [command] Available Commands: serve Start ollama create Create a model from a Modelfile > $  Ollama インストール手順
9. モデルインストール Model Install $ ollama pull qwen2.5-coder:7b pulling manifest pulling 60e05f210007: 100% ▕██████████████████████████████████████████████████▏ 4.7 GB pulling 66b9ea09bd5b: 100% ▕██████████████████████████████████████████████████▏ 68 B verifying sha256 digest writing manifest success > #  モデルインストール
10. モデルリスト表示 Model List $ ollama list NAME ID SIZE MODIFIED qwen2.5-coder:7b dae161e27b0e 4.7 GB 4 minutes ago インストール済みのモデル一覧を表示 モデル名、ID、サイズ、更新日時が確認可能 >  モデルリスト表示
11. モデル実行・対話例 ollama run qwen2.5-coder:7b >>> こんにちは。日本の首都を教えてください。 こんにちは！日本の首都は東京です。 >>> RubyでHello worldを表示するメソッドを書いてください。 以下のコードは、Rubyで"Hello, World!"と表示するためのものです。 puts 'Hello, World!' この`puts`メソッドは、指定された文字列（ここでは'Hello, World!'）を出力し、その後改行します。 >>> /bye > $  モデル実行・対話例
12. AI Assistant に接続してみた $ connect local_llm cd ~/jetbrains/plugins $ ./start_connection.sh $  AI Assistant接続
13. 各種AIモデルの選択画面イメージ >  AIモデル選択画面
14. AI Assistantへの接続手順 JetBrains IDEのAI Assistant設定画面 - Ollama連携と使用モデル指定 >  AI Assistantへの接続手順
15. 実際の使用例 >  実際の使用例
16. 使用してみた所感 使用してみた所感 案外使えるかも 7B（７０億）という小さなモデルで応答速度が早い （一説によると、ChatGPT-4oのパラメータ数は1.8T ~ 2Tらしい（2兆） ） 日本語対応していて、技術的な会話もできるレベル RailsのActive Recordについての説明も的確に行える > $ - - - -  使用してみた所感
17. まとめ マシンスペックを上げて、32Bを使用できるようになればGPT-4oと同等のアウトプットを 得られるようなので楽しい LLMのファインチューニングやRAGを使用した検索結果の拡張など、少しコアな部分も触っ ていける気がした セキュリティ的にも外部へデータを送信しないので、企業はデータ保全の観点でこれからロ ーカルLLMを使っていきそう > $ $ $  まとめ
18. ご清聴ありがとうございました Thank you for listening! exit $ echo "Questions? Comments?" $  2025-07-29