AIもハイブリッドにできる?!ローカルLLMとクラウドの組み合わせの可能性！

AIもハイブリッドにできる?! ローカルLLMとクラウドの組み合わせの可能性！ @ebi Masahiko Ebisuda

日本ビジネスシステムズ株式会社胡田昌彦(えびすだまさひこ) Youtube https://youtube.com/@ebibibi 自己紹介日本ビジネスシステムズ株式会社こんな方にオススメ！ ✓
企業の情報システム部で働く方 ✓ 一般ユーザーだけど、コンピューターに興味があって、もっと詳しくなりたい方 ✓ Windows, Azure, M365等のMicrosoft 関連技術に興味がある方チャンネル登録よろしくお願いします！

生成AIの活用がどんどん進んでいる！ …気もする。

生成AIの活用がどんどん進んでいる！ …気もする。 (※相当「人による」「組織による」状況)

主流のクラウド型LLMは下記のようなケースも

主流のクラウド型LLMは下記のようなケースも ▪機密データを扱うので外部にデータ送信はNG ▪従量課金で上限が見えないので自由には使わせられない

主流のクラウド型LLMは下記のようなケースも ▪機密データを扱うので外部にデータ送信はNG ▪従量課金で上限が見えないので自由には使わせられない →「ローカルLLMならOK！」というケースも

エンジニアが個人で自由に使い放題！にもなる。

とはいえ色々と疑問が…。 ▪アプリケーションはローカルLLM用に作り直しなの？ ▪ローカルLLMは賢くないのでは？ ▪相当高価なGPUが必要なのでは？ ▪多人数が同時に使えるの？ ▪簡単に動かせるの？

ローカルLLMについて

クライアントアプリケーションローカルLLM API Inference Server(推論サーバー) LLM ランタイムモデル重み同一プログラムから
直接呼び出すパターン GPU / CPU モデル重みロード利用呼び出し推論リクエスト

色々パターンはありますが… いくつか例を見てもらいましょう

AIモデルのgithub?dockerhub? Hagging face https://huggingface.co/

CUIで簡単操作 Ollama https://ollama.com/

GUIだし多分いちばん簡単 LMStudio https://lmstudio.ai/

パフォーマンスの良いLLMサーバーを構築するなら vLLM https://github.com/vllm-project/vllm

vllm-project/production-stack: vLLM’s reference system for K8S-native cluster-wide deployment with community-driven
performance optimization https://github.com/vllm-project/production-stack/tree/main vLLM Production Stack

複数APIをライブラリでコントロールするパターン

やろうと思ったことがほとんどなんでもできる超高機能ライブラリ LangChain https://www.langchain.com/

複数のAPIを扱えるゲートウェイを利用するパターン

主要なクラウドLLMを統一的に使える OpenRouter https://openrouter.ai/

LLM Gateway LiteLLM https://www.litellm.ai/

組み合わせればいろいろなパターンが

ユーザーアプリケーション LLM proxy ローカルLLM ローカルLLM クラウドLLM クラウドLLM ※推奨構成ではありません！やろうと思えばこういう事もできますね、という話です。 ※今回説明してませんけど、オンプレのAPIをインターネット経由でアクセスさせるような方式も組み合わせ可能です。
※認証系のソリューションとの組み合わせもありですね。

今日使ったサンプルコード https://github.com/ebibibi/Demos/tree/main/20250509-HCCJP-localLLM

ありがとうございました！

AIもハイブリッドにできる?!ローカルLLMとクラウドの組み合わせの可能性！

AIもハイブリッドにできる?!ローカルLLMとクラウドの組み合わせの可能性！

Masahiko Ebisuda

More Decks by Masahiko Ebisuda

Featured

Transcript