AIもハイブリッドにできる?!ローカルLLMとクラウドの組み合わせの可能性！

Slide 1

Slide 1 text

AIもハイブリッドにできる?! ローカルLLMとクラウドの組み合わせの可能性！ @ebi Masahiko Ebisuda

Slide 2

Slide 2 text

日本ビジネスシステムズ株式会社胡田昌彦(えびすだまさひこ) Youtube https://youtube.com/@ebibibi 自己紹介日本ビジネスシステムズ株式会社こんな方にオススメ！ ✓ 企業の情報システム部で働く方 ✓ 一般ユーザーだけど、コンピューターに興味があって、もっと詳しくなりたい方 ✓ Windows, Azure, M365等のMicrosoft 関連技術に興味がある方チャンネル登録よろしくお願いします！

Slide 3

Slide 3 text

生成AIの活用がどんどん進んでいる！ …気もする。

Slide 4

Slide 4 text

生成AIの活用がどんどん進んでいる！ …気もする。 (※相当「人による」「組織による」状況)

Slide 5

Slide 5 text

主流のクラウド型LLMは下記のようなケースも

Slide 6

Slide 6 text

主流のクラウド型LLMは下記のようなケースも ▪機密データを扱うので外部にデータ送信はNG ▪従量課金で上限が見えないので自由には使わせられない

Slide 7

Slide 7 text

主流のクラウド型LLMは下記のようなケースも ▪機密データを扱うので外部にデータ送信はNG ▪従量課金で上限が見えないので自由には使わせられない →「ローカルLLMならOK！」というケースも

Slide 8

Slide 8 text

エンジニアが個人で自由に使い放題！にもなる。

Slide 9

Slide 9 text

とはいえ色々と疑問が…。 ▪アプリケーションはローカルLLM用に作り直しなの？ ▪ローカルLLMは賢くないのでは？ ▪相当高価なGPUが必要なのでは？ ▪多人数が同時に使えるの？ ▪簡単に動かせるの？

Slide 10

Slide 10 text

ローカルLLMについて

Slide 11

Slide 11 text

クライアントアプリケーションローカルLLM API Inference Server(推論サーバー) LLM ランタイムモデル重み同一プログラムから直接呼び出すパターン GPU / CPU モデル重みロード利用呼び出し推論リクエスト

Slide 12

Slide 12 text

色々パターンはありますが… いくつか例を見てもらいましょう

Slide 13

Slide 13 text

AIモデルのgithub?dockerhub? Hagging face https://huggingface.co/

Slide 14

Slide 14 text

CUIで簡単操作 Ollama https://ollama.com/

Slide 15

Slide 15 text

GUIだし多分いちばん簡単 LMStudio https://lmstudio.ai/

Slide 16

Slide 16 text

パフォーマンスの良いLLMサーバーを構築するなら vLLM https://github.com/vllm-project/vllm

Slide 17

Slide 17 text

vllm-project/production-stack: vLLM’s reference system for K8S-native cluster-wide deployment with community-driven performance optimization https://github.com/vllm-project/production-stack/tree/main vLLM Production Stack

Slide 18

Slide 18 text

複数APIをライブラリでコントロールするパターン

Slide 19

Slide 19 text

やろうと思ったことがほとんどなんでもできる超高機能ライブラリ LangChain https://www.langchain.com/

Slide 20

Slide 20 text

複数のAPIを扱えるゲートウェイを利用するパターン

Slide 21

Slide 21 text

主要なクラウドLLMを統一的に使える OpenRouter https://openrouter.ai/

Slide 22

Slide 22 text

No content

Slide 23

Slide 23 text

LLM Gateway LiteLLM https://www.litellm.ai/

Slide 24

Slide 24 text

No content

Slide 25

Slide 25 text

No content

Slide 26

Slide 26 text

組み合わせればいろいろなパターンが

Slide 27

Slide 27 text

ユーザーアプリケーション LLM proxy ローカルLLM ローカルLLM クラウドLLM クラウドLLM ※推奨構成ではありません！やろうと思えばこういう事もできますね、という話です。 ※今回説明してませんけど、オンプレのAPIをインターネット経由でアクセスさせるような方式も組み合わせ可能です。 ※認証系のソリューションとの組み合わせもありですね。

Slide 28

Slide 28 text

今日使ったサンプルコード https://github.com/ebibibi/Demos/tree/main/20250509-HCCJP-localLLM

Slide 29

Slide 29 text

ありがとうございました！