ローカルLLMクラスターで色々やってたらワイの存在意義認識できた

ローカルLLMクラスターで色々やってたらワイの存在意義認識できたテリスケ 2026/8/16

Terisuke is 何？テリスケ(本名：寺田康佑)> < 音大卒業、フリーのトランペッターしてましたコロナで無職・リクルートに転職社内で営業効率化システムを独学で開発(Python) 去年4月にG’s ACADEMYに入学、フロントエンド技術を学ぶ
月に卒業後すぐに起業一⽉でGoogleCloudで30万吹き飛ばした漢 # # # # # 10 # ２年連続登壇

逸般の誤家庭フルセット MacStudio(512GB)+ThinkStation(128G)+ NVIDIA Thor(128G)+Strix HALO(128G×2) *来月もう一台StrixHALOが来る

512+128+128+128+128+128= 1152

???「でも所詮PC集めただけだろぉ〜？」

10Gbps8ポートスイッチ + HDD24TB NAS + UPS

でもアーキテクチャバラバラで使い物にならないのでは？

(ちなみに）お財布は・・・・？

作ったものぽちぽちするだけでAIがパワポでスライド作ってくれるアプリ Githubクロールして自分の技術評価してくれるエンジン人口動態に合わせて100人ペルソナ作って未来予測ローカルLLMでClaudeCoworkぽいアプリをセルフホストこいつら4つのせるAIクラスターインフラ←

AI インフラ AI インフラ

常駐サービングの定番 ollama モデル管理と常駐化が一行で完結タグ指定で量子化版を即取得・切替 keepwarm で初回応答の遅延を回避複数モデル共存とメモリ自動管理用途: 本番 API・小中型モデル常駐

クラスタの管理台帳 GPUStack 全ノードの GPU とモデルを一元可視化配備・ルーティングを宣言的に管理推論は直結、管理面だけを担う構成認証と経路限定で管理面を保護用途: 台帳・監視・運用の統制面

限界性能と実験の母艦 llama.cpp GGUF 直接制御で配置を明示指定可 RPC で複数ノード分散推論を実現 -ot で層単位のノード配置を制御ビルド版数を揃えて分散互換を保証用途:
巨大モデル分割・性能実験

容量/単一ノードを超える 562GB モデルを 3 ノード分割で稼働 Metal+CUDA+Vulkan の 3 アーキ跨ぎ層単位配置(-ot)で最適点を探索
5 構成の実測比較で設計則を確立速度/実用域への挑戦分散生成 5.1 tok/s(562GB 帯) 投機デコード併用で 12.4 tok/s 単機 vLLM+MTP で並列 97 tok/s MoE は dense 比 4.7 倍の実測運用/4サービスの本番基盤 Grift/persona/deck/cor-os を同居全依存をパイプラインマップに正本化変更前 3 点セットを ADR で義務化 7 項目ヘルスチェックで漂流検出 SLO 25 秒の本番と実験を両立

ALL YOU NEED IS ACTUALS システムに頼るより、人間が最初から場所を指定したほうが絶対に失敗しない事前の「予熱」があるかないかで、本番の返答スピードや安定性が大きく左右されるメインが壊れたときの「逃げ道」も、あふれないようにあらかじめ広さを計算しておく必要があるデータを移動するときは、直接送らず「手元に保存してから転送する」のが唯一の安全策チェックするものさし自体も、本物の基準に合わせて狂いを直してから使わないと意味がない
→フロンティアを目指すには人間の視点・決定が必要

THANK YOU！

ローカルLLMクラスターで色々やってたらワイの存在意義認識できた

ローカルLLMクラスターで色々やってたらワイの存在意義認識できた

Terisuke

More Decks by Terisuke

Other Decks in Technology

Featured

Transcript