DGX Sparkを2台使って いろいろ動かす話

コーディングのためのローカルLLM勉強会 in 東京
https://lycorptech-jp.connpass.com/event/402836/

Transcript

1. コーディング ため ローカル 勉強会 in 東京 parkを2台使って いろいろ動かす話 2026年9月
2. 自己紹介 苑田 朝彰 omotada onoda 普段 • 業務内容 エージェント開発（ oogle , trands gent） • ローカル • 社内 推進（ 駆動開発、 gent開発） • クラウド（ , oogle loud） 資格 ommunity uilders（ ） ／ 甲賀流忍者検定（中級） 趣味 月一で面白いことをする れんぼ／滝行 にハマってます ── partanレース／100kmウォーキング／無人島かく x.com/sonoda_mj ／ zenn.dev/tomomj ／ note.com/sonoda_mj
3. 目次 1. park 2台で動かす 2. eep eekを同時に回してみる 3. pen odeでシューティングゲームを作ってみる 4. まとめ
4. 1 1. park 2台で動かす
5. 1-1. park ( 10 race lackwell を載せた手 )と ひらサイズ マシン。今回使った 同じ 10 enovo hink tation チップ 10 race lackwell uperchip lackwell メモリ ネットワーク /s。 / enovo で共有 → 大きなモデルをそ まま載せられる onnect -7 ×2（各ポート最大200 b/s ≒25 ポート。ほかに 10 b -45、 i- i 7 150 × 150 × 50.5 mm ／ 1.2kg ／ 240 また 4 enovo・ ell・ 各社から同じ 出典： と 最大 1 e1 メーカー展開 ( ortex- 925 ×10 + 725 ×10) 5 ユニファイドメモリ 2台直結用 筐体 + 20コア rm 128 帯域 273 性能 ×2 、 ( buntuベース) ・ など 10搭載機が展開されている /s）
6. 1-2. なぜ2台必要な チェックポイント約168 1台 128 1台に収まらない。 =2で各レイヤー内 2台 ×2 各レイヤー 重み 約1/2 共有メモリになるわけで → 重みを2分割 各レイヤー 重み 約1/2 park #1 ※ 256 重みを分散 → 入らない eep eek 4 lash ision- xp 約168 メモリ 128 メモリ 128 ＋実行用メモリ か ない。重みを分散保持し、同じレイヤーを2台で共同計算する。 park #2
7. 1-3. 2台間 接続： onnect -7 何をしている か onnect -7で2台を直結し、推論中に必要なデータを高速にやり取りする onnect -7 最大200 b/s ≒25 /s park #1 同じレイヤー 一部を計算 park #2 中間結果を交換・同期 同じレイヤー 一部を計算 推論中 、各レイヤーで2台 計算途中 データを交換・同期する。 onnect -7 、2台を協調して動かすため 高速な通信路。
8. 1-4. 使ったモデルと推論エンジン ia - ab 2ノード用レシピ(v + park)で、 eep eek 4 lash ision を モデル 推論エンジン eep eek- 4- lash- ision- xp アーキテクチャ =2 で起動した v o + ision ncoder （ nemll 並列化 チェックポイント 約168 画像入力 対応（image_url） 最大コンテキスト 総パラメータ 305 （ 投機的デコード キャッシュ 表示） 起動レシピ：github.com/ ia - ab/ eep eek-v4- lash- park-2x- - park(v + park 2ノード構成) park対応版） = 2 (2ノード) nvfp4_ds_mla ( 4) 1,048,576 tokens (1 ) park (draft 6 tokens)
9. 1-5. pen odeまで pen ode → pen 互換 (v )→ 構成 park 2台。 pen odeから クラウド と同じに見える onnect -7 高速通信 pen ode ( pen 互換) カスタムproviderとして ローカル を登録 v park #1 park #2 :8888 pen 互換 ensor arallel = 2 park × 2 eep eek 4 lash ision 起動後 ポート8888 pen 互換 として使える。 pen odeに カスタムproviderとして登録。
10. 2 2. eep eekを同時に回してみる
11. 2-1. 計測条件 同じコーディングプロンプトを1・6・12・16本ずつ同時に投げ、生成速度(tokens/s)を測った 1 6 12 16 リクエスト リクエスト リクエスト リクエスト モデル eep eek- 4- lash- ision- xp ハード ( 10) × 2 ／ ensor arallel = 2 生成設定 thinking off ／ temperature 0.2 プロンプト 同一 指標 全体スループット ＝ 全出力tokens ÷ 最初 コーディングプロンプト、自然終了まで生成 生成開始から全リクエスト完了まで
12. 2-2. 1リクエスト 1リクエスト：62.6 tokens/s 平均 0.41秒 ／ 平均 2 109.13秒 ／ 平均出力 6,806 tokens ／ 総出力 6,806 tokens
13. 2-3. 6リクエスト 全体スループット 145.1 tokens/s(単一比 2.32倍) ／ 1リクエスト平均 25.3 tokens/s 平均 1.01秒 ／ 平均 2 253.84秒 ／ 平均出力 6,390 tokens ／ 総出力 38,342 tokens
14. 2-4. 12リクエスト 全体スループット 213.6 tokens/s(単一比 3.41倍) ／ 1リクエスト平均 18.9 tokens/s 平均 1.65秒 ／ 平均 2 345.39秒 ／ 平均出力 6,482 tokens ／ 総出力 77,785 tokens
15. 2-5. 16リクエスト 全体スループット 248.8 tokens/s(単一比 3.97倍) ／ 1リクエスト平均 16.4 tokens/s 平均 1.86秒 ／ 平均 2 401.91秒 ／ 平均出力 6,559 tokens ／ 総出力 104,942 tokens
16. 2-6. 結果：同時リクエスト数別 単一で約63 tokens/s。16リクエストで総処理量 同時リクエスト数 生成速度 約249 tokens/s(約4倍)になるが、1リクエストあたり 低下する 全体スループット 1リクエスト平均 単一比 1 62.6 tok/s 62.6 tok/s 1.00倍 6 145.1 tok/s 25.3 tok/s 2.32倍 12 213.6 tok/s 18.9 tok/s 3.41倍 16 248.8 tok/s 16.4 tok/s 3.97倍 16リクエストで総処理量 約249 tokens/s、単一時 約4倍。 測定条件： ision- xp ／ ×2 ／ 一方、1リクエストあたり 速度 =2 ／ thinking off ／ temp 0.2 ／ 同一プロンプト ／ 各条件1回（prefix cache有効） 参考値 62.6 → 16.4 tokens/s に低下した。
17. 3 3. pen odeでシューティングゲームを作ってみる
18. 3-1. pen odeにゲームを作らせる ite + ype cript シューティングゲームを、ファイル作成から build まで実装させた pen odeへ 指示(要約) ブラウザで動く2 シューティングゲームを実装してくださ い。 • ite + ype cript + anvas • プレイヤー、敵、弾、 • 複数ファイルに責務を分割 • 実装後に build を実行 • エラーがあれ 修正 、スコア
19. 3-2. 一発で完成した build・起動・プレイまで一発で成功。ただ、ゲームが激ムズすぎる。 npm run build 成功 起動 成功 プレイ 動いた
20. 3-3. 画面を見せてデザインを変えさせる いま 画面を文章で説明せず、スクリーンショットをそ まま渡してデザイン変更を指示した efore 初回生成画面 fter ▶ デザイン変更後 画面
21. 4 4. まとめ
22. 4. まとめ 1. park 2台で動かす 約168 起動後 チェックポイントを 2. 普通 pen 互換 =2で2台に分散し、 onnect -7経由で共同推論できた な で、 pen odeからそ まま使える eep eekを同時に回してみる 単一 62.6 tokens/s → 16リクエストで全体 248.8 tokens/s(約4倍)。1リクエスト平均 3. pen odeでシューティングゲームを作ってみる シューティングゲームを実装・buildまで一発で完成した 実行画面 スクショを見せると、画面を認識してデザインを変更できた 16.4に低下