Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AIもハイブリッドにできる?!ローカルLLMとクラウドの組み合わせの可能性!
Search
Masahiko Ebisuda
May 11, 2025
0
130
AIもハイブリッドにできる?!ローカルLLMとクラウドの組み合わせの可能性!
HCCJP第62回勉強会で登壇した際の資料です。
勉強会全体のアーカイブは下記で視聴可能です。
https://www.youtube.com/watch?v=ab1P6BezLlg
Masahiko Ebisuda
May 11, 2025
Tweet
Share
More Decks by Masahiko Ebisuda
See All by Masahiko Ebisuda
ファイルサーバー運用の新時代!Azure FilesとArc拡張の最前線
ebibibi
1
170
ハイブリッドクラウド研究会第63回勉強会 / ClaudeCode×Azure, GeminiCLI×Azure
ebibibi
1
85
AIエージェンとはAzureインフラも構築できるのか?
ebibibi
0
130
もうVPNは古い? VPNを使わずに オンプレサーバーを 管理する手法あれこれ
ebibibi
0
240
Microsoft Entra ID 認証 / サービスプリンシパル / シークレット / 証明書 / マネージドID / Azure外でもマネージドID
ebibibi
0
97
WSUSが非推奨に!? Windowsの更新管理を改めて勉強する!
ebibibi
0
1.9k
認証にシークレットも証明書も不要?! オンプレミスのサーバーでマネージドIDを利用!
ebibibi
0
220
Arc Jumpstart HCIBox Azure Stack HCI 23H2対応バージョン 展開してみた。
ebibibi
0
480
Azureならファイルサーバー そのままPaaS化OK!
ebibibi
0
330
Featured
See All Featured
Principles of Awesome APIs and How to Build Them.
keavy
127
17k
Being A Developer After 40
akosma
91
590k
Imperfection Machines: The Place of Print at Facebook
scottboms
269
13k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
31
9.7k
Java REST API Framework Comparison - PWX 2021
mraible
34
8.9k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
130k
Building a Modern Day E-commerce SEO Strategy
aleyda
44
7.8k
A Tale of Four Properties
chriscoyier
161
23k
How To Stay Up To Date on Web Technology
chriscoyier
791
250k
Agile that works and the tools we love
rasmusluckow
331
21k
What's in a price? How to price your products and services
michaelherold
246
12k
Making the Leap to Tech Lead
cromwellryan
135
9.6k
Transcript
AIもハイブリッドにできる?! ローカルLLMとクラウドの 組み合わせの可能性! @ebi Masahiko Ebisuda
日本ビジネスシステムズ株式会社 胡田 昌彦(えびすだ まさひこ) Youtube https://youtube.com/@ebibibi 自己紹介 日本ビジネスシステムズ株式会社 こんな方にオススメ! ✓
企業の情報システム部で働く方 ✓ 一般ユーザーだけど、コンピューターに興味 があって、もっと詳しくなりたい方 ✓ Windows, Azure, M365等のMicrosoft 関連技術に興味がある方 チャンネル登録よろしくお願いします!
生成AIの活用がどんどん進んでいる! …気もする。
生成AIの活用がどんどん進んでいる! …気もする。 (※相当「人による」「組織による」状況)
主流のクラウド型LLMは下記のようなケースも
主流のクラウド型LLMは下記のようなケースも ▪機密データを扱うので外部にデータ送信はNG ▪従量課金で上限が見えないので自由には使わせられない
主流のクラウド型LLMは下記のようなケースも ▪機密データを扱うので外部にデータ送信はNG ▪従量課金で上限が見えないので自由には使わせられない →「ローカルLLMならOK!」というケースも
エンジニアが個人で自由に使い放題! にもなる。
とはいえ色々と疑問が…。 ▪アプリケーションはローカルLLM用に作り 直しなの? ▪ローカルLLMは賢くないのでは? ▪相当高価なGPUが必要なのでは? ▪多人数が同時に使えるの? ▪簡単に動かせるの?
ローカルLLMについて
クライアント アプリケーション ローカルLLM API Inference Server(推論サーバー) LLM ランタイム モデル重み 同一プログラムから
直接呼び出すパターン GPU / CPU モデル重みロード 利用 呼び出し 推論リクエスト
色々パターンはありますが… いくつか例を見てもらいましょう
AIモデルのgithub?dockerhub? Hagging face https://huggingface.co/
CUIで簡単操作 Ollama https://ollama.com/
GUIだし多分いちばん簡単 LMStudio https://lmstudio.ai/
パフォーマンスの良いLLMサーバーを構築するなら vLLM https://github.com/vllm-project/vllm
vllm-project/production-stack: vLLM’s reference system for K8S-native cluster-wide deployment with community-driven
performance optimization https://github.com/vllm-project/production-stack/tree/main vLLM Production Stack
複数APIを ライブラリ でコントロールするパターン
やろうと思ったことがほとんどなんでもできる 超高機能ライブラリ LangChain https://www.langchain.com/
複数のAPIを扱える ゲートウェイ を利用するパターン
主要なクラウドLLMを統一的に使える OpenRouter https://openrouter.ai/
None
LLM Gateway LiteLLM https://www.litellm.ai/
None
None
組み合わせれば いろいろなパターンが
ユーザー アプリケーション LLM proxy ローカルLLM ローカルLLM クラウドLLM クラウドLLM ※推奨構成ではありません!やろうと思えばこういう事もできますね、という話です。 ※今回説明してませんけど、オンプレのAPIをインターネット経由でアクセスさせるような方式も組み合わせ可能です。
※認証系のソリューションとの組み合わせもありですね。
今日使ったサンプルコード https://github.com/ebibibi/Demos/tree/main/20250509-HCCJP-localLLM
ありがとうございました!