Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AIもハイブリッドにできる?!ローカルLLMとクラウドの組み合わせの可能性!
Search
Masahiko Ebisuda
May 11, 2025
0
56
AIもハイブリッドにできる?!ローカルLLMとクラウドの組み合わせの可能性!
HCCJP第62回勉強会で登壇した際の資料です。
勉強会全体のアーカイブは下記で視聴可能です。
https://www.youtube.com/watch?v=ab1P6BezLlg
Masahiko Ebisuda
May 11, 2025
Tweet
Share
More Decks by Masahiko Ebisuda
See All by Masahiko Ebisuda
AIエージェンとはAzureインフラも構築できるのか?
ebibibi
0
79
もうVPNは古い? VPNを使わずに オンプレサーバーを 管理する手法あれこれ
ebibibi
0
210
Microsoft Entra ID 認証 / サービスプリンシパル / シークレット / 証明書 / マネージドID / Azure外でもマネージドID
ebibibi
0
71
WSUSが非推奨に!? Windowsの更新管理を改めて勉強する!
ebibibi
0
1.7k
認証にシークレットも証明書も不要?! オンプレミスのサーバーでマネージドIDを利用!
ebibibi
0
200
Arc Jumpstart HCIBox Azure Stack HCI 23H2対応バージョン 展開してみた。
ebibibi
0
450
Azureならファイルサーバー そのままPaaS化OK!
ebibibi
0
310
2025年10月1日 Azure VMからインターネットアクセスができなくなる!?
ebibibi
0
310
クラウド&エッジ 次世代スーパーマーケットの アーキテクチャ解説&デモ
ebibibi
0
250
Featured
See All Featured
Being A Developer After 40
akosma
90
590k
Designing for Performance
lara
609
69k
The Straight Up "How To Draw Better" Workshop
denniskardys
233
140k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Statistics for Hackers
jakevdp
799
220k
How STYLIGHT went responsive
nonsquared
100
5.6k
Adopting Sorbet at Scale
ufuk
77
9.4k
BBQ
matthewcrist
89
9.7k
Rebuilding a faster, lazier Slack
samanthasiow
81
9k
Music & Morning Musume
bryan
46
6.6k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
123
52k
The Cost Of JavaScript in 2023
addyosmani
50
8.3k
Transcript
AIもハイブリッドにできる?! ローカルLLMとクラウドの 組み合わせの可能性! @ebi Masahiko Ebisuda
日本ビジネスシステムズ株式会社 胡田 昌彦(えびすだ まさひこ) Youtube https://youtube.com/@ebibibi 自己紹介 日本ビジネスシステムズ株式会社 こんな方にオススメ! ✓
企業の情報システム部で働く方 ✓ 一般ユーザーだけど、コンピューターに興味 があって、もっと詳しくなりたい方 ✓ Windows, Azure, M365等のMicrosoft 関連技術に興味がある方 チャンネル登録よろしくお願いします!
生成AIの活用がどんどん進んでいる! …気もする。
生成AIの活用がどんどん進んでいる! …気もする。 (※相当「人による」「組織による」状況)
主流のクラウド型LLMは下記のようなケースも
主流のクラウド型LLMは下記のようなケースも ▪機密データを扱うので外部にデータ送信はNG ▪従量課金で上限が見えないので自由には使わせられない
主流のクラウド型LLMは下記のようなケースも ▪機密データを扱うので外部にデータ送信はNG ▪従量課金で上限が見えないので自由には使わせられない →「ローカルLLMならOK!」というケースも
エンジニアが個人で自由に使い放題! にもなる。
とはいえ色々と疑問が…。 ▪アプリケーションはローカルLLM用に作り 直しなの? ▪ローカルLLMは賢くないのでは? ▪相当高価なGPUが必要なのでは? ▪多人数が同時に使えるの? ▪簡単に動かせるの?
ローカルLLMについて
クライアント アプリケーション ローカルLLM API Inference Server(推論サーバー) LLM ランタイム モデル重み 同一プログラムから
直接呼び出すパターン GPU / CPU モデル重みロード 利用 呼び出し 推論リクエスト
色々パターンはありますが… いくつか例を見てもらいましょう
AIモデルのgithub?dockerhub? Hagging face https://huggingface.co/
CUIで簡単操作 Ollama https://ollama.com/
GUIだし多分いちばん簡単 LMStudio https://lmstudio.ai/
パフォーマンスの良いLLMサーバーを構築するなら vLLM https://github.com/vllm-project/vllm
vllm-project/production-stack: vLLM’s reference system for K8S-native cluster-wide deployment with community-driven
performance optimization https://github.com/vllm-project/production-stack/tree/main vLLM Production Stack
複数APIを ライブラリ でコントロールするパターン
やろうと思ったことがほとんどなんでもできる 超高機能ライブラリ LangChain https://www.langchain.com/
複数のAPIを扱える ゲートウェイ を利用するパターン
主要なクラウドLLMを統一的に使える OpenRouter https://openrouter.ai/
None
LLM Gateway LiteLLM https://www.litellm.ai/
None
None
組み合わせれば いろいろなパターンが
ユーザー アプリケーション LLM proxy ローカルLLM ローカルLLM クラウドLLM クラウドLLM ※推奨構成ではありません!やろうと思えばこういう事もできますね、という話です。 ※今回説明してませんけど、オンプレのAPIをインターネット経由でアクセスさせるような方式も組み合わせ可能です。
※認証系のソリューションとの組み合わせもありですね。
今日使ったサンプルコード https://github.com/ebibibi/Demos/tree/main/20250509-HCCJP-localLLM
ありがとうございました!