Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AIもハイブリッドにできる?!ローカルLLMとクラウドの組み合わせの可能性!
Search
Masahiko Ebisuda
May 11, 2025
0
71
AIもハイブリッドにできる?!ローカルLLMとクラウドの組み合わせの可能性!
HCCJP第62回勉強会で登壇した際の資料です。
勉強会全体のアーカイブは下記で視聴可能です。
https://www.youtube.com/watch?v=ab1P6BezLlg
Masahiko Ebisuda
May 11, 2025
Tweet
Share
More Decks by Masahiko Ebisuda
See All by Masahiko Ebisuda
ハイブリッドクラウド研究会第63回勉強会 / ClaudeCode×Azure, GeminiCLI×Azure
ebibibi
0
7
AIエージェンとはAzureインフラも構築できるのか?
ebibibi
0
91
もうVPNは古い? VPNを使わずに オンプレサーバーを 管理する手法あれこれ
ebibibi
0
210
Microsoft Entra ID 認証 / サービスプリンシパル / シークレット / 証明書 / マネージドID / Azure外でもマネージドID
ebibibi
0
76
WSUSが非推奨に!? Windowsの更新管理を改めて勉強する!
ebibibi
0
1.7k
認証にシークレットも証明書も不要?! オンプレミスのサーバーでマネージドIDを利用!
ebibibi
0
210
Arc Jumpstart HCIBox Azure Stack HCI 23H2対応バージョン 展開してみた。
ebibibi
0
460
Azureならファイルサーバー そのままPaaS化OK!
ebibibi
0
310
2025年10月1日 Azure VMからインターネットアクセスができなくなる!?
ebibibi
0
330
Featured
See All Featured
Scaling GitHub
holman
460
140k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Building an army of robots
kneath
306
45k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
Docker and Python
trallard
45
3.5k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.9k
How to Ace a Technical Interview
jacobian
278
23k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
45
7.5k
Writing Fast Ruby
sferik
628
62k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
Transcript
AIもハイブリッドにできる?! ローカルLLMとクラウドの 組み合わせの可能性! @ebi Masahiko Ebisuda
日本ビジネスシステムズ株式会社 胡田 昌彦(えびすだ まさひこ) Youtube https://youtube.com/@ebibibi 自己紹介 日本ビジネスシステムズ株式会社 こんな方にオススメ! ✓
企業の情報システム部で働く方 ✓ 一般ユーザーだけど、コンピューターに興味 があって、もっと詳しくなりたい方 ✓ Windows, Azure, M365等のMicrosoft 関連技術に興味がある方 チャンネル登録よろしくお願いします!
生成AIの活用がどんどん進んでいる! …気もする。
生成AIの活用がどんどん進んでいる! …気もする。 (※相当「人による」「組織による」状況)
主流のクラウド型LLMは下記のようなケースも
主流のクラウド型LLMは下記のようなケースも ▪機密データを扱うので外部にデータ送信はNG ▪従量課金で上限が見えないので自由には使わせられない
主流のクラウド型LLMは下記のようなケースも ▪機密データを扱うので外部にデータ送信はNG ▪従量課金で上限が見えないので自由には使わせられない →「ローカルLLMならOK!」というケースも
エンジニアが個人で自由に使い放題! にもなる。
とはいえ色々と疑問が…。 ▪アプリケーションはローカルLLM用に作り 直しなの? ▪ローカルLLMは賢くないのでは? ▪相当高価なGPUが必要なのでは? ▪多人数が同時に使えるの? ▪簡単に動かせるの?
ローカルLLMについて
クライアント アプリケーション ローカルLLM API Inference Server(推論サーバー) LLM ランタイム モデル重み 同一プログラムから
直接呼び出すパターン GPU / CPU モデル重みロード 利用 呼び出し 推論リクエスト
色々パターンはありますが… いくつか例を見てもらいましょう
AIモデルのgithub?dockerhub? Hagging face https://huggingface.co/
CUIで簡単操作 Ollama https://ollama.com/
GUIだし多分いちばん簡単 LMStudio https://lmstudio.ai/
パフォーマンスの良いLLMサーバーを構築するなら vLLM https://github.com/vllm-project/vllm
vllm-project/production-stack: vLLM’s reference system for K8S-native cluster-wide deployment with community-driven
performance optimization https://github.com/vllm-project/production-stack/tree/main vLLM Production Stack
複数APIを ライブラリ でコントロールするパターン
やろうと思ったことがほとんどなんでもできる 超高機能ライブラリ LangChain https://www.langchain.com/
複数のAPIを扱える ゲートウェイ を利用するパターン
主要なクラウドLLMを統一的に使える OpenRouter https://openrouter.ai/
None
LLM Gateway LiteLLM https://www.litellm.ai/
None
None
組み合わせれば いろいろなパターンが
ユーザー アプリケーション LLM proxy ローカルLLM ローカルLLM クラウドLLM クラウドLLM ※推奨構成ではありません!やろうと思えばこういう事もできますね、という話です。 ※今回説明してませんけど、オンプレのAPIをインターネット経由でアクセスさせるような方式も組み合わせ可能です。
※認証系のソリューションとの組み合わせもありですね。
今日使ったサンプルコード https://github.com/ebibibi/Demos/tree/main/20250509-HCCJP-localLLM
ありがとうございました!