AIもハイブリッドにできる?!ローカルLLMとクラウドの組み合わせの可能性！

HCCJP第62回勉強会で登壇した際の資料です。
勉強会全体のアーカイブは下記で視聴可能です。
https://www.youtube.com/watch?v=ab1P6BezLlg

Transcript

1. AIもハイブリッドにできる?! ローカルLLMとクラウドの 組み合わせの可能性！ @ebi Masahiko Ebisuda
2. 日本ビジネスシステムズ株式会社 胡田 昌彦(えびすだ まさひこ) Youtube https://youtube.com/@ebibibi 自己紹介 日本ビジネスシステムズ株式会社 こんな方にオススメ！ ✓ 企業の情報システム部で働く方 ✓ 一般ユーザーだけど、コンピューターに興味 があって、もっと詳しくなりたい方 ✓ Windows, Azure, M365等のMicrosoft 関連技術に興味がある方 チャンネル登録よろしくお願いします！
3. 生成AIの活用がどんどん進んでいる！ …気もする。
4. 生成AIの活用がどんどん進んでいる！ …気もする。 (※相当「人による」「組織による」状況)
5. 主流のクラウド型LLMは下記のようなケースも
6. 主流のクラウド型LLMは下記のようなケースも ▪機密データを扱うので外部にデータ送信はNG ▪従量課金で上限が見えないので自由には使わせられない
7. 主流のクラウド型LLMは下記のようなケースも ▪機密データを扱うので外部にデータ送信はNG ▪従量課金で上限が見えないので自由には使わせられない →「ローカルLLMならOK！」というケースも
8. エンジニアが個人で自由に使い放題！ にもなる。
9. とはいえ色々と疑問が…。 ▪アプリケーションはローカルLLM用に作り 直しなの？ ▪ローカルLLMは賢くないのでは？ ▪相当高価なGPUが必要なのでは？ ▪多人数が同時に使えるの？ ▪簡単に動かせるの？
10. ローカルLLMについて
11. クライアント アプリケーション ローカルLLM API Inference Server(推論サーバー) LLM ランタイム モデル重み 同一プログラムから 直接呼び出すパターン GPU / CPU モデル重みロード 利用 呼び出し 推論リクエスト
12. 色々パターンはありますが… いくつか例を見てもらいましょう
13. AIモデルのgithub?dockerhub? Hagging face https://huggingface.co/
14. CUIで簡単操作 Ollama https://ollama.com/
15. GUIだし多分いちばん簡単 LMStudio https://lmstudio.ai/
16. パフォーマンスの良いLLMサーバーを構築するなら vLLM https://github.com/vllm-project/vllm
17. vllm-project/production-stack: vLLM’s reference system for K8S-native cluster-wide deployment with community-driven performance optimization https://github.com/vllm-project/production-stack/tree/main vLLM Production Stack
18. 複数APIを ライブラリ でコントロールするパターン
19. やろうと思ったことがほとんどなんでもできる 超高機能ライブラリ LangChain https://www.langchain.com/
20. 複数のAPIを扱える ゲートウェイ を利用するパターン
21. 主要なクラウドLLMを統一的に使える OpenRouter https://openrouter.ai/
23. LLM Gateway LiteLLM https://www.litellm.ai/
26. 組み合わせれば いろいろなパターンが
27. ユーザー アプリケーション LLM proxy ローカルLLM ローカルLLM クラウドLLM クラウドLLM ※推奨構成ではありません！やろうと思えばこういう事もできますね、という話です。 ※今回説明してませんけど、オンプレのAPIをインターネット経由でアクセスさせるような方式も組み合わせ可能です。 ※認証系のソリューションとの組み合わせもありですね。
28. 今日使ったサンプルコード https://github.com/ebibibi/Demos/tree/main/20250509-HCCJP-localLLM
29. ありがとうございました！