Upgrade to Pro — share decks privately, control downloads, hide ads and more …

DGX SparkでローカルLLMをLangChainで動かした話

Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest. →
Avatar for Hirokatsu Endo Hirokatsu Endo
November 27, 2025
Technology
690
1

DGX SparkでローカルLLMをLangChainで動かした話

Avatar for Hirokatsu Endo

Hirokatsu Endo

November 27, 2025

More Decks by Hirokatsu Endo

See All by Hirokatsu Endo
AgentCore BrowserとClaude Codeスキルを活用した 『初手AI』を実現する業務自動化AIエージェント基盤
Avatar for Hirokatsu Endo ruzia
10
4.2k
Amazon Bedrock Agent Core ~ AIエージェント時代を支えるAWSの新基盤 ~
Avatar for Hirokatsu Endo ruzia
0
65
Lambda＆FargateとPlanetScaleで作るServerless Rails環境
Avatar for Hirokatsu Endo ruzia
0
310
デフォルトにして至高、RubyMineの大好きな所
Avatar for Hirokatsu Endo ruzia
0
4k
AWS Lambda + PlanetScale = 超絶スケールWebアプリ
Avatar for Hirokatsu Endo ruzia
1
310
Jets ~ Rubyで始めるServerless生活 ~
Avatar for Hirokatsu Endo ruzia
0
1.3k
Jets ~Rubyで始めるServerless生活~
Avatar for Hirokatsu Endo ruzia
0
810
プログラマがAMPと付き合う上で 知っておくべきこと
Avatar for Hirokatsu Endo ruzia
0
2.4k

Other Decks in Technology

See All in Technology
Databricksで構築するログ検索基盤とアーキテクチャ設計
Avatar for サイバーセキュリティクラウド cscengineer
0
190
Revisiting [CLS] and Patch Token Interaction in Vision Transformers
Avatar for yu4u yu4u
0
170
昔はシンプルだった_AmazonS3
Avatar for kawaji kawaji_scratch
0
270
3つのボトルネックを解消し、リリースエンジニアリングを再定義した話
Avatar for Nealle nealle
0
470
Contract One Engineering Unit 紹介資料
Avatar for Sansan, Inc. sansan33
PRO
0
16k
みんなで作るAWS Tips 100連発 (FinOps編)
Avatar for Ai Hayakawa schwrzktz
1
240
自分のハンドルは自分で握れ！ ― 自分のケイパビリティを増やし、メンバーのケイパビリティ獲得を支援する ― / Take the wheel yourself
Avatar for TAKAKING22 takaking22
1
580
AIペネトレーションテスト・ セキュリティ検証「AgenticSec」ご紹介資料
Avatar for Sho Nakatani laysakura
0
2.2k
インフラを Excel 管理していた組織が 3 ヶ月で IaC 化されるまで
Avatar for ギークプラス ソフトウェア事業部 geekplus_tech
3
190
【Findy FDE登壇_2026_04_14】— 現場課題を本気で解いてたら、FDEになってた話
Avatar for Koji Miyata miyatakoji
0
1.1k
最新の脅威動向から考える、コンテナサプライチェーンのリスクと対策
Avatar for Kyohei Mizumoto kyohmizu
0
110
JEDAI in Osaka 2026イントロ
Avatar for Takaaki Yayoi taka_aki
0
220

Featured

See All Featured
What's in a price? How to price your products and services
Avatar for Michael Herold michaelherold
247
13k
Leading Effective Engineering Teams in the AI Era
Avatar for Addy Osmani addyosmani
9
1.8k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
Avatar for Stéphanie Walter stephaniewalter
287
14k
We Have a Design System, Now What?
Avatar for Morgane Peng morganepeng
55
8.1k
The #1 spot is gone: here's how to win anyway
Avatar for Tamara Novitovic tamaranovitovic
2
1k
Git: the NoSQL Database
Avatar for Brandon Keepers bkeepers
PRO
432
67k
Collaborative Software Design: How to facilitate domain modelling decisions
Avatar for Kenny Baas-Schwegler baasie
0
190
How to Get Subject Matter Experts Bought In and Actively Contributing to SEO & PR Initiatives.
Avatar for Liv Day livdayseo
0
99
Groundhog Day: Seeking Process in Gaming for Health
Avatar for Sebastian Deterding codingconduct
0
140
Ten Tips & Tricks for a 🌱 transition
Avatar for Manu Carrasco Molina stuffmc
0
98
Noah Learner - AI + Me: how we built a GSC Bulk Export data pipeline
Avatar for Tech SEO Connect techseoconnect
PRO
0
160
Design of three-dimensional binary manipulators for pick-and-place task avoiding obstacles (IECON2024)
Avatar for konakalab konakalab
0
400

Transcript

  1. personal AI computer DGX Spark ~ ϩʔΧϧLLMͰLangChainಈ͔ͯ͠Έͨ ~ LangChain Meetup

    Tokyo #7 גࣜձࣾδΣωϥςΟϒΤʔδΣϯπ ԕ౻ େհ / @ruzia ಧ ͍ ͨ ʂ

  2. ࣗݾ঺հ ‣ԕ౻ େհ / @ruzia ‣δΣωϥςΟϒΤʔδΣϯπॴଐ ‣Πϯϑϥͱػցֶशܥ͕޷͖ ‣Claude CodeͲͬ΀Γ ‣ϩʔυόΠΫָ͍͠

    ‣FLUX.2ྑ͍ͧɾɾɾʂ
  3. None

  4. AIΤʔδΣϯτ͕ʮϋϒʯͱͳΓ ਓؒͱAIΤʔδΣϯτͷڠಇ͕ ౰ͨΓલʹͳΔੈքΛ࣮ݱ͢Δ

  5. None

  6. ຊ୊

  7. ຊ೔ͷ͓୊໨΍Β ‣DGX SparkͬͯͲ͏͍͏΋ͷʁ ‣ϩʔΧϧLLMͲ͏΍ͬͯಈ͔͢ʁ ‣ͱ͍͏͜ͱ͸LangChainͰϩʔΧϧLLM͕ʂ ‣ϑΟʔυόοΫ͸ #LangChainJP ·Ͱ

  8. Q DGX Sparkͬͯ ฉ͍ͨ͜ͱ͋Δਓʁ

  9. NVIDIA͕࡞ͬͨ ύʔιφϧAIίϯϐϡʔλ

  10. None

  11. ͪͳΈʹॳ୅ͷ DGX-1͸͜ΜͳαΠζײ

  12. None

  13. ॳ୅͸FP16Ͱ
 960ςϥϑϩοϓε FP4ਫ਼౓Ͱ࠷େ1ϖλϑϩοϓεͷ ԋࢉೳྗͱ128GBͷϝϞϦΛ ࣋ͪͭͭ΋ফඅిྗ͕240W ͱ͍͏Խ͚෺Ϛγϯ

  14. OS͸UbuntuΛ ΧελϜͨ͠DGX OS

  15. None

  16. ηοτΞοϓ͸ ϒϥ΢βܦ༝Ͱ΋Մೳ

  17. None
  18. None

  19. Q ϩʔΧϧLLMΛ ಈ͔ͨ͠ࣄ͕͋Δਓʁ

  20. Ollama
 Chat & build with open models

  21. OllamaΛ࢖͏ͱϩʔΧϧͰ gpt-ossͱ͔qwen3-vlͱ͔Λ ಈ͔͢ࣄ͕Ͱ͖Δ

  22. None
  23. None

  24. LangChainʹ͸Ollama༻ͷ ΠϯςάϨʔγϣϯ͕ ࣮૷͞ΕͯΔ ͳΜͱʂ

  25. “https://docs.langchain.com/oss/python/integrations/chat/ollama”

  26. ͱ͍͏͜ͱ͸ʂ LangChainͰʂ ϩʔΧϧLLM͕ʂ

  27. None

  28. $ python main.py ࢲ͸LangChain͕େ޷͖Ͱ͢ʂ

  29. None

  30. ϩʔΧϧͰ120BͷϞσϧ͕ αΫοͱಈ͔ͤΔͷ͸ ·͡Ͱ೤͍͠໘ന͍

  31. ৭ʑݴΘΕͯΔ DGX Spark͚ͩͲ
 ৮Δͱָ͍͠ʂ ເ͔͠ͳ͍ʂ

  32. ͝ਗ਼ௌ͋Γ͕ͱ͏ ͍͟͝·ͨ͠ʂ