Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AIもハイブリッドにできる?!ローカルLLMとクラウドの組み合わせの可能性!
Search
Masahiko Ebisuda
May 11, 2025
0
120
AIもハイブリッドにできる?!ローカルLLMとクラウドの組み合わせの可能性!
HCCJP第62回勉強会で登壇した際の資料です。
勉強会全体のアーカイブは下記で視聴可能です。
https://www.youtube.com/watch?v=ab1P6BezLlg
Masahiko Ebisuda
May 11, 2025
Tweet
Share
More Decks by Masahiko Ebisuda
See All by Masahiko Ebisuda
ファイルサーバー運用の新時代!Azure FilesとArc拡張の最前線
ebibibi
1
150
ハイブリッドクラウド研究会第63回勉強会 / ClaudeCode×Azure, GeminiCLI×Azure
ebibibi
1
83
AIエージェンとはAzureインフラも構築できるのか?
ebibibi
0
120
もうVPNは古い? VPNを使わずに オンプレサーバーを 管理する手法あれこれ
ebibibi
0
240
Microsoft Entra ID 認証 / サービスプリンシパル / シークレット / 証明書 / マネージドID / Azure外でもマネージドID
ebibibi
0
94
WSUSが非推奨に!? Windowsの更新管理を改めて勉強する!
ebibibi
0
1.9k
認証にシークレットも証明書も不要?! オンプレミスのサーバーでマネージドIDを利用!
ebibibi
0
220
Arc Jumpstart HCIBox Azure Stack HCI 23H2対応バージョン 展開してみた。
ebibibi
0
470
Azureならファイルサーバー そのままPaaS化OK!
ebibibi
0
330
Featured
See All Featured
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
23
1.5k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Fireside Chat
paigeccino
40
3.7k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
285
14k
How to Think Like a Performance Engineer
csswizardry
27
2k
The Language of Interfaces
destraynor
162
25k
Balancing Empowerment & Direction
lara
4
670
Art, The Web, and Tiny UX
lynnandtonic
303
21k
The Cost Of JavaScript in 2023
addyosmani
53
9k
Building Flexible Design Systems
yeseniaperezcruz
329
39k
What's in a price? How to price your products and services
michaelherold
246
12k
Docker and Python
trallard
46
3.6k
Transcript
AIもハイブリッドにできる?! ローカルLLMとクラウドの 組み合わせの可能性! @ebi Masahiko Ebisuda
日本ビジネスシステムズ株式会社 胡田 昌彦(えびすだ まさひこ) Youtube https://youtube.com/@ebibibi 自己紹介 日本ビジネスシステムズ株式会社 こんな方にオススメ! ✓
企業の情報システム部で働く方 ✓ 一般ユーザーだけど、コンピューターに興味 があって、もっと詳しくなりたい方 ✓ Windows, Azure, M365等のMicrosoft 関連技術に興味がある方 チャンネル登録よろしくお願いします!
生成AIの活用がどんどん進んでいる! …気もする。
生成AIの活用がどんどん進んでいる! …気もする。 (※相当「人による」「組織による」状況)
主流のクラウド型LLMは下記のようなケースも
主流のクラウド型LLMは下記のようなケースも ▪機密データを扱うので外部にデータ送信はNG ▪従量課金で上限が見えないので自由には使わせられない
主流のクラウド型LLMは下記のようなケースも ▪機密データを扱うので外部にデータ送信はNG ▪従量課金で上限が見えないので自由には使わせられない →「ローカルLLMならOK!」というケースも
エンジニアが個人で自由に使い放題! にもなる。
とはいえ色々と疑問が…。 ▪アプリケーションはローカルLLM用に作り 直しなの? ▪ローカルLLMは賢くないのでは? ▪相当高価なGPUが必要なのでは? ▪多人数が同時に使えるの? ▪簡単に動かせるの?
ローカルLLMについて
クライアント アプリケーション ローカルLLM API Inference Server(推論サーバー) LLM ランタイム モデル重み 同一プログラムから
直接呼び出すパターン GPU / CPU モデル重みロード 利用 呼び出し 推論リクエスト
色々パターンはありますが… いくつか例を見てもらいましょう
AIモデルのgithub?dockerhub? Hagging face https://huggingface.co/
CUIで簡単操作 Ollama https://ollama.com/
GUIだし多分いちばん簡単 LMStudio https://lmstudio.ai/
パフォーマンスの良いLLMサーバーを構築するなら vLLM https://github.com/vllm-project/vllm
vllm-project/production-stack: vLLM’s reference system for K8S-native cluster-wide deployment with community-driven
performance optimization https://github.com/vllm-project/production-stack/tree/main vLLM Production Stack
複数APIを ライブラリ でコントロールするパターン
やろうと思ったことがほとんどなんでもできる 超高機能ライブラリ LangChain https://www.langchain.com/
複数のAPIを扱える ゲートウェイ を利用するパターン
主要なクラウドLLMを統一的に使える OpenRouter https://openrouter.ai/
None
LLM Gateway LiteLLM https://www.litellm.ai/
None
None
組み合わせれば いろいろなパターンが
ユーザー アプリケーション LLM proxy ローカルLLM ローカルLLM クラウドLLM クラウドLLM ※推奨構成ではありません!やろうと思えばこういう事もできますね、という話です。 ※今回説明してませんけど、オンプレのAPIをインターネット経由でアクセスさせるような方式も組み合わせ可能です。
※認証系のソリューションとの組み合わせもありですね。
今日使ったサンプルコード https://github.com/ebibibi/Demos/tree/main/20250509-HCCJP-localLLM
ありがとうございました!