Upgrade to Pro — share decks privately, control downloads, hide ads and more …

DGX SparkでローカルLLMをLangChainで動かした話

Avatar for Hirokatsu Endo Hirokatsu Endo
November 27, 2025
Technology
810
1

DGX SparkでローカルLLMをLangChainで動かした話

Avatar for Hirokatsu Endo

Hirokatsu Endo

November 27, 2025

More Decks by Hirokatsu Endo

See All by Hirokatsu Endo
AgentCore BrowserとClaude Codeスキルを活用した 『初手AI』を実現する業務自動化AIエージェント基盤
Avatar for Hirokatsu Endo ruzia
10
4.7k
Amazon Bedrock Agent Core ~ AIエージェント時代を支えるAWSの新基盤 ~
Avatar for Hirokatsu Endo ruzia
0
82
Lambda＆FargateとPlanetScaleで作るServerless Rails環境
Avatar for Hirokatsu Endo ruzia
0
340
デフォルトにして至高、RubyMineの大好きな所
Avatar for Hirokatsu Endo ruzia
0
4.2k
AWS Lambda + PlanetScale = 超絶スケールWebアプリ
Avatar for Hirokatsu Endo ruzia
1
320
Jets ~ Rubyで始めるServerless生活 ~
Avatar for Hirokatsu Endo ruzia
0
1.3k
Jets ~Rubyで始めるServerless生活~
Avatar for Hirokatsu Endo ruzia
0
830
プログラマがAMPと付き合う上で 知っておくべきこと
Avatar for Hirokatsu Endo ruzia
0
2.4k

Other Decks in Technology

See All in Technology
例外の正しい扱い方 そのエラー try-catchして大丈夫？
Avatar for Watanabe Jin jinwatanabe
3
330
AI活用の現在地、 ちゃんと見えてますか？/XPfest-2026
Avatar for Visional Engineering ＆ Design visional_engineering_and_design
0
170
Microsoft 365 Copilot chat -tekoälypalvelun tietosuojaongelmat
Avatar for Harto Pönkä hponka
0
550
少人数データチームのDevin活用実践事例
Avatar for Runa Yamada runandy16
2
460
推論の観測、できていますか？ 〜 Google Cloud Gemini Enterprise Agent Platformで 3つの Gemini モデルを実測して踏んだ、評価の罠 〜
Avatar for Shu Kobuchi shukob
PRO
0
180
プロダクトエンジニアに必要な「いい感じ」に作る能力 〜たくさん作れる時代に、どこまで作るかの決め方〜
Avatar for Jotaro Nishime jnishime_dresscode
2
1.4k
多摩川(.dev)ランニング入門 / Tamagawa.dev#3
Avatar for FUJIWARA Shunichiro fujiwara3
3
410
コスト最適化の「めんどくさい」を AWS FinOps Agent でチョット楽にする
Avatar for kaz classmethod_kaz
0
280
2026-09-11 【Snowflake World Tour Tokyo 2026】Snowflakeを起点に、AI Agentが自律稼働し続ける未来へ / Driving AI Agents with Snowflake
Avatar for civitaspo civitaspo
0
210
【視聴者参加型！】AWSセキュリティアンチパターンクイズ
Avatar for Shun Yoshie syoshie
0
460
KPIだけでは評価できないプロダクトが考えるべき Evalsという第二の評価系 / Beyond KPIs: Evals as a Second Evaluation Framework for Products #PdEConf
Avatar for Aki / @LoveIdahoBurger aki_iinuma
4
3.8k
AIで開発は速くなったのに、なぜ現場は楽にならないのか 〜あなたの組織のボトルネックを突き止めるワークショップ〜
Avatar for Kazuto Kusama jacopen
1
280

Featured

See All Featured
4 Signs Your Business is Dying
Avatar for Josh Pigford shpigford
187
23k
Art, The Web, and Tiny UX
Avatar for Lynn Fisher lynnandtonic
304
22k
Easily Structure & Communicate Ideas using Wireframe
Avatar for Afnizar Nur Ghifari afnizarnur
194
17k
The Impact of AI in SEO - AI Overviews June 2024 Edition
Avatar for Aleyda Solis aleyda
6
1.2k
What's in a price? How to price your products and services
Avatar for Michael Herold michaelherold
247
13k
Making Projects Easy
Avatar for Brett Harned brettharned
120
6.7k
Raft: Consensus for Rubyists
Avatar for Patrick Van Stee vanstee
141
7.7k
Design of three-dimensional binary manipulators for pick-and-place task avoiding obstacles (IECON2024)
Avatar for konakalab konakalab
0
580
Agile Actions for Facilitating Distributed Teams - ADO2019
Avatar for Mark Kilby mkilby
0
280
Designing Experiences People Love
Avatar for Jonathan Moore moore
143
24k
Evolving SEO for Evolving Search Engines
Avatar for Ryan Jones ryanjones
0
280
Let's Do A Bunch of Simple Stuff to Make Websites Faster
Avatar for Chris Coyier chriscoyier
508
140k

Transcript

  1. personal AI computer DGX Spark ~ ϩʔΧϧLLMͰLangChainಈ͔ͯ͠Έͨ ~ LangChain Meetup

    Tokyo #7 גࣜձࣾδΣωϥςΟϒΤʔδΣϯπ ԕ౻ େհ / @ruzia ಧ ͍ ͨ ʂ

  2. ࣗݾ঺հ ‣ԕ౻ େհ / @ruzia ‣δΣωϥςΟϒΤʔδΣϯπॴଐ ‣Πϯϑϥͱػցֶशܥ͕޷͖ ‣Claude CodeͲͬ΀Γ ‣ϩʔυόΠΫָ͍͠

    ‣FLUX.2ྑ͍ͧɾɾɾʂ
  3. None

  4. AIΤʔδΣϯτ͕ʮϋϒʯͱͳΓ ਓؒͱAIΤʔδΣϯτͷڠಇ͕ ౰ͨΓલʹͳΔੈքΛ࣮ݱ͢Δ

  5. None

  6. ຊ୊

  7. ຊ೔ͷ͓୊໨΍Β ‣DGX SparkͬͯͲ͏͍͏΋ͷʁ ‣ϩʔΧϧLLMͲ͏΍ͬͯಈ͔͢ʁ ‣ͱ͍͏͜ͱ͸LangChainͰϩʔΧϧLLM͕ʂ ‣ϑΟʔυόοΫ͸ #LangChainJP ·Ͱ

  8. Q DGX Sparkͬͯ ฉ͍ͨ͜ͱ͋Δਓʁ

  9. NVIDIA͕࡞ͬͨ ύʔιφϧAIίϯϐϡʔλ

  10. None

  11. ͪͳΈʹॳ୅ͷ DGX-1͸͜ΜͳαΠζײ

  12. None

  13. ॳ୅͸FP16Ͱ
 960ςϥϑϩοϓε FP4ਫ਼౓Ͱ࠷େ1ϖλϑϩοϓεͷ ԋࢉೳྗͱ128GBͷϝϞϦΛ ࣋ͪͭͭ΋ফඅిྗ͕240W ͱ͍͏Խ͚෺Ϛγϯ

  14. OS͸UbuntuΛ ΧελϜͨ͠DGX OS

  15. None

  16. ηοτΞοϓ͸ ϒϥ΢βܦ༝Ͱ΋Մೳ

  17. None
  18. None

  19. Q ϩʔΧϧLLMΛ ಈ͔ͨ͠ࣄ͕͋Δਓʁ

  20. Ollama
 Chat & build with open models

  21. OllamaΛ࢖͏ͱϩʔΧϧͰ gpt-ossͱ͔qwen3-vlͱ͔Λ ಈ͔͢ࣄ͕Ͱ͖Δ

  22. None
  23. None

  24. LangChainʹ͸Ollama༻ͷ ΠϯςάϨʔγϣϯ͕ ࣮૷͞ΕͯΔ ͳΜͱʂ

  25. “https://docs.langchain.com/oss/python/integrations/chat/ollama”

  26. ͱ͍͏͜ͱ͸ʂ LangChainͰʂ ϩʔΧϧLLM͕ʂ

  27. None

  28. $ python main.py ࢲ͸LangChain͕େ޷͖Ͱ͢ʂ

  29. None

  30. ϩʔΧϧͰ120BͷϞσϧ͕ αΫοͱಈ͔ͤΔͷ͸ ·͡Ͱ೤͍͠໘ന͍

  31. ৭ʑݴΘΕͯΔ DGX Spark͚ͩͲ
 ৮Δͱָ͍͠ʂ ເ͔͠ͳ͍ʂ

  32. ͝ਗ਼ௌ͋Γ͕ͱ͏ ͍͟͝·ͨ͠ʂ