Upgrade to Pro — share decks privately, control downloads, hide ads and more …
Sign up for free

DGX SparkでローカルLLMをLangChainで動かした話

Avatar for Hirokatsu Endo Hirokatsu Endo
November 27, 2025
Technology
920
1

DGX SparkでローカルLLMをLangChainで動かした話

Avatar for Hirokatsu Endo

Hirokatsu Endo

November 27, 2025

More Decks by Hirokatsu Endo

See All by Hirokatsu Endo
AgentCore BrowserとClaude Codeスキルを活用した 『初手AI』を実現する業務自動化AIエージェント基盤
Avatar for Hirokatsu Endo ruzia
10
5k
Amazon Bedrock Agent Core ~ AIエージェント時代を支えるAWSの新基盤 ~
Avatar for Hirokatsu Endo ruzia
0
99
Lambda＆FargateとPlanetScaleで作るServerless Rails環境
Avatar for Hirokatsu Endo ruzia
0
360
デフォルトにして至高、RubyMineの大好きな所
Avatar for Hirokatsu Endo ruzia
0
4.2k
AWS Lambda + PlanetScale = 超絶スケールWebアプリ
Avatar for Hirokatsu Endo ruzia
1
330
Jets ~ Rubyで始めるServerless生活 ~
Avatar for Hirokatsu Endo ruzia
0
1.3k
Jets ~Rubyで始めるServerless生活~
Avatar for Hirokatsu Endo ruzia
0
850
プログラマがAMPと付き合う上で 知っておくべきこと
Avatar for Hirokatsu Endo ruzia
0
2.4k

Other Decks in Technology

See All in Technology
攻撃 3 時間 vs 復旧 10 時間。アクセスキー流出の非対称性を体感するために CTF を作った話
Avatar for kazzpapa3 kazzpapa3
1
160
Microsoft Entra Kerberos で実現するクラウド デバイス管理
Avatar for tamaiyutaro tamaiyutaro
2
640
サボる子はいねぇがー！AgentCoreハーネスの脆弱性に学ぶ、エージェントの入力バリデーション
Avatar for iwamot iwamot
PRO
5
300
「いつか使う」の「いつか」は来ない 〜AI駆動開発における「作らない」判断について〜
Avatar for Kazuki Sakamoto/ikki0006 ikki0006
0
160
分析作業をどこまで任せるか自分で決められる
AIネイティブBI『Golden Analytics』が
良さげな話 /golden-analytics-is-ai-native-bi
Avatar for shinyaa31 shinyaa31
0
130
現場を動かすAIエージェント#2_製造業現場でのAI活用から見た、ハマる罠と実践知
Avatar for KintoTech_Dev kintotechdev
2
190
re:Invent2026 事前勉強会 歴史と愉しみ方10分LT編
Avatar for T.Atsumi toshi_atsumi
0
150
コードレビューをなくして見えたもの
Avatar for henteko henteko
0
140
登壇はいいぞ！ 〜Kaigi on Railsに登壇して起きた3つの変化〜
Avatar for Shoichi Ochi occhi
0
110
bpf_arenaとstruct_opsを使うのが難しかった話
Avatar for KANAI Masumi masu_mi
0
210
An Introduction to Context Ontology Accelerator (teaching AI agents what your data means)
Avatar for Riku INADA inariku
PRO
1
120
公共分野での生成AI活用
Avatar for Toru_Kubota toru_kubota
1
290

Featured

See All Featured
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
Avatar for Vitaly Friedman smashingmag
254
23k
Code Reviewing Like a Champion
Avatar for maltzj maltzj
529
40k
Practical Tips for Bootstrapping Information Extraction Pipelines
Avatar for Matthew Honnibal honnibal
25
2.2k
Technical Leadership for Architectural Decision Making
Avatar for Kenny Baas-Schwegler baasie
3
640
Lessons Learnt from Crawling 1000+ Websites
Avatar for Charles Meaden charlesmeaden
PRO
1
1.7k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
Avatar for Addy Osmani addyosmani
10
1.4k
Designing for Performance
Avatar for Lara Hogan lara
612
70k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
Avatar for Dan Newman danielanewman
230
23k
Color Theory Basics | Prateek | Gurzu
Avatar for Gurzu gurzu
1
510
JAMstack: Web Apps at Ludicrous Speed - All Things Open 2022
Avatar for David Neal reverentgeek
1
670
Visualization
Avatar for Eitan Lees eitanlees
153
17k
A designer walks into a library…
Avatar for Paul Jervis Heath pauljervisheath
211
25k

Transcript

  1. personal AI computer DGX Spark ~ ϩʔΧϧLLMͰLangChainಈ͔ͯ͠Έͨ ~ LangChain Meetup

    Tokyo #7 גࣜձࣾδΣωϥςΟϒΤʔδΣϯπ ԕ౻ େհ / @ruzia ಧ ͍ ͨ ʂ

  2. ࣗݾ঺հ ‣ԕ౻ େհ / @ruzia ‣δΣωϥςΟϒΤʔδΣϯπॴଐ ‣Πϯϑϥͱػցֶशܥ͕޷͖ ‣Claude CodeͲͬ΀Γ ‣ϩʔυόΠΫָ͍͠

    ‣FLUX.2ྑ͍ͧɾɾɾʂ
  3. None

  4. AIΤʔδΣϯτ͕ʮϋϒʯͱͳΓ ਓؒͱAIΤʔδΣϯτͷڠಇ͕ ౰ͨΓલʹͳΔੈքΛ࣮ݱ͢Δ

  5. None

  6. ຊ୊

  7. ຊ೔ͷ͓୊໨΍Β ‣DGX SparkͬͯͲ͏͍͏΋ͷʁ ‣ϩʔΧϧLLMͲ͏΍ͬͯಈ͔͢ʁ ‣ͱ͍͏͜ͱ͸LangChainͰϩʔΧϧLLM͕ʂ ‣ϑΟʔυόοΫ͸ #LangChainJP ·Ͱ

  8. Q DGX Sparkͬͯ ฉ͍ͨ͜ͱ͋Δਓʁ

  9. NVIDIA͕࡞ͬͨ ύʔιφϧAIίϯϐϡʔλ

  10. None

  11. ͪͳΈʹॳ୅ͷ DGX-1͸͜ΜͳαΠζײ

  12. None

  13. ॳ୅͸FP16Ͱ
 960ςϥϑϩοϓε FP4ਫ਼౓Ͱ࠷େ1ϖλϑϩοϓεͷ ԋࢉೳྗͱ128GBͷϝϞϦΛ ࣋ͪͭͭ΋ফඅిྗ͕240W ͱ͍͏Խ͚෺Ϛγϯ

  14. OS͸UbuntuΛ ΧελϜͨ͠DGX OS

  15. None

  16. ηοτΞοϓ͸ ϒϥ΢βܦ༝Ͱ΋Մೳ

  17. None
  18. None

  19. Q ϩʔΧϧLLMΛ ಈ͔ͨ͠ࣄ͕͋Δਓʁ

  20. Ollama
 Chat & build with open models

  21. OllamaΛ࢖͏ͱϩʔΧϧͰ gpt-ossͱ͔qwen3-vlͱ͔Λ ಈ͔͢ࣄ͕Ͱ͖Δ

  22. None
  23. None

  24. LangChainʹ͸Ollama༻ͷ ΠϯςάϨʔγϣϯ͕ ࣮૷͞ΕͯΔ ͳΜͱʂ

  25. “https://docs.langchain.com/oss/python/integrations/chat/ollama”

  26. ͱ͍͏͜ͱ͸ʂ LangChainͰʂ ϩʔΧϧLLM͕ʂ

  27. None

  28. $ python main.py ࢲ͸LangChain͕େ޷͖Ͱ͢ʂ

  29. None

  30. ϩʔΧϧͰ120BͷϞσϧ͕ αΫοͱಈ͔ͤΔͷ͸ ·͡Ͱ೤͍͠໘ന͍

  31. ৭ʑݴΘΕͯΔ DGX Spark͚ͩͲ
 ৮Δͱָ͍͠ʂ ເ͔͠ͳ͍ʂ

  32. ͝ਗ਼ௌ͋Γ͕ͱ͏ ͍͟͝·ͨ͠ʂ