Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【NoMapsTECH 2025】AI Edge Computing Workshop
Search
ITO Akihiro
September 13, 2025
Technology
0
540
【NoMapsTECH 2025】AI Edge Computing Workshop
2025年のNoMapsTechで使用したスライド。
NVIDIAが開発した小型AIコンピュータ「Jetson Orin Nano」のハンズオン。最先端のエッジコンピューティングを体験しましょう!
ITO Akihiro
September 13, 2025
Tweet
Share
More Decks by ITO Akihiro
See All by ITO Akihiro
【NoMapsTECH 2025】AI Tech Community Talk
akit37
0
240
エンジニア目線でのテスラ
akit37
0
52
「重鎮問題」について(軽めに)
akit37
0
65
Software + Hardware = Fun++
akit37
0
30
基本的に "リモートしかない" ワーク/20231128_KBS_LT
akit37
1
23
3つの先端技術が コミュニティ軸で融合した話。/20230615_CMCMeetup
akit37
0
19
Bootleg_越境してみたときのアウェイ感。/20230328_CMCMeetup
akit37
0
25
始まりは2017年のG検定。/20221026_AITable
akit37
0
19
kintone知能化計画/20220902_kintone_and_JPStripes
akit37
0
26
Other Decks in Technology
See All in Technology
まだ間に合う! 2025年のhono/ssg事情
watany
3
640
AIエージェントによる業務効率化への飽くなき挑戦-AWS上の実開発事例から学んだ効果、現実そしてギャップ-
nasuvitz
2
690
Introduction to Sansan for Engineers / エンジニア向け会社紹介
sansan33
PRO
5
44k
オブザーバビリティと育てた ID管理・認証認可基盤の歩み / The Journey of an ID Management, Authentication, and Authorization Platform Nurtured with Observability
kaminashi
1
560
Contract One Engineering Unit 紹介資料
sansan33
PRO
0
9k
知覚とデザイン
rinchoku
1
550
だいたい分かった気になる 『SREの知識地図』 / introduction-to-sre-knowledge-map-book
katsuhisa91
PRO
3
1.4k
CNCFの視点で捉えるPlatform Engineering - 最新動向と展望 / Platform Engineering from the CNCF Perspective
hhiroshell
0
140
Azureコストと向き合った、4年半のリアル / Four and a half years of dealing with Azure costs
aeonpeople
1
280
[VPoE Global Summit] サービスレベル目標による信頼性への投資最適化
satos
0
240
serverless team topology
_kensh
3
220
Okta Identity Governanceで実現する最小権限の原則 / Implementing the Principle of Least Privilege with Okta Identity Governance
tatsumin39
0
170
Featured
See All Featured
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
130k
Unsuck your backbone
ammeep
671
58k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
37
2.6k
How to Think Like a Performance Engineer
csswizardry
27
2.1k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
46
2.5k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Building Better People: How to give real-time feedback that sticks.
wjessup
369
20k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
640
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
55
3k
Build The Right Thing And Hit Your Dates
maggiecrowley
38
2.9k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
508
140k
GitHub's CSS Performance
jonrohan
1032
470k
Transcript
AI Edge Computing Workshop [NVIDIA Jetson Orin Nanoを使って生成AIを動かしてみよう!] NoMaps2025@Sapporo RUSHTECH
/ ITO Akihiro
自己紹介 ・80年代後半 証券オンラインシステム/汎用機/アセンブラ ・90年代 CASEツール、会計システム、業務システム /HP-UX, NeXTSTEP, Linux /C, C++,
Objective-C, Visual-C++, PHP ・2000/2010年代 デジタルアセット管理システム、業務支援・改善システム、 社内ITシステム管理、社内DX /Linux, Windows, macos /PHP, Google Workspace, kintone ・2020年代 AI導入開発コンサルティング、業務改善システム /Ubuntu /Python, Google Workspace, kintone ・2025年〜 AI活用支援、DX支援、事業開発等
Today’s GOAL.
手元で推論AIを 動かす! NVIDIA Jetson Orin Nanoを使って、 大規模言語モデル(LLM)を動かしてみよう。 [ LLM:Large Language
Model ] インターネットに繋がっていなくても OK!
なぜ?なんのために手元で?
なにがうれしい? セキュリティ上の心配が少ない。 データがインターネット上に流れず、クラウドに保 管もされないので、潜在的なセキュリティリスクが 低い。漏洩の心配もない。 遅延がない。 インターネット回線を経由する通信がないので、応 答が速い。 使い放題。 使用回数の制限もなく、利用回数による課金もな
いので、コストを気にする必要がない。
でもなにかと難しい。 マシン性能 AIモデルを展開できるだけのメモリと、高速に計算 するためのCPU/GPUが必要。 AI動作環境の構築 動作環境の構築には知識と手間がかかる。使うモ デルによって環境を複数用意する必要がある場合 も。 置き場所と電気代 サーバは大きいし、音もうるさいし、電気もたくさん
必要。
どこで使われている?
例えば、工場の中。 インターネットに繋がっていない。 内部の情報を守るため外部ネットワークとは一切 接続できない。 大きなコンピュータは置けない。 製造用の機械が整然と並んでおり、サーバラック のような大きな面積や電源を確保できない。 製造ラインに組み込みたい。 製造ラインに直接組み込み、製造途中で AIを活用
したい。とくに品質検査用途や、作業の自動化の ため。
手軽なエッジAI
NVIDIA Jetsonシリーズ ARMチップとGPUを搭載した小型コン ピュータ群。 価格帯:$100〜$2,000 くらい。 ※現場では、安価なRaspberryPi 4/5もよく使わ れるが、処理能力はJetsonの方が断然高い。
Jetson Orin Nano 現行Jetsonシリーズでの最小モデル。 ・1024基のCUDAコア ・NVIDIA AmpereアーキテクチャGPU ・6コアのARM CPU ・8GBのユニファイドメモリ
※実売価格:約5万円(2025年7月)
でも環境構築が……
Jetson AI Lab がある! NVIDIAが用意した環境を使って、超簡 単に高度なAIを動かせる! https://www.jetson-ai-lab.com/
Stable Diffusionをインストールするときの例。 ・Jetson AI Lab ・Linuxへの一般的なインストール手順
動かしてみよう!
だいたいの手順 • Jetson Orin Nanoにログインする。 • Jetson AI Labにアクセスする。 •
デスクトップUIを止める。 • Text Generationのコンテナをダウンロードする。 • 文章生成を動かしてみる。 • Image Generationのコンテナをダウンロードする。 • 画像生成を動かしてみる。 https://zenn.dev/connectome/articles/c63f9aecb28f32
ところが! JetPackが最近6.2にアップデートしたので適用したところ、今公開されているデモコンテ ンツが動かない! これも、AI環境構築によくある(はまる)ことではあるのですが。 → この点について、NVIDIAに直接と依頼してあります。
また、環境設定からやると半日かかるので……。 ## snap (for Chromium) $ sudo snap list —all
$ cd ~/Downloads $ sudo snap download snapd --revision=24724 $ sudo snap ack snapd_24724.assert $ sudo snap install snapd_24724.snap $ sudo snap refresh --hold snapd ## 日本語 Setting -> Region & Language -> Manage Installed Language $ sudo apt update $ sudo apt upgrade $ sudo apt install fcitx-mozc $ sudo reboot ## swap拡張 $ sudo fallocate -l 4G /swapfile $ sudo chmod 600 /swapfile $ sudo mkswap /swapfile $ sudo vi /etc/fstab 最後に一行追加 /swapfile none swap sw 0 0 $ sudo reboot $ free -h $ sudo apt update $ sudo apt upgrade ## jetson-containers $ git clone https://github.com/dusty-nv/jetson-containers $ bash jetson-containers/install.sh ※環境構築できた microSDカードのクローンコピーを用意しています。
今回は最新の”Agent Studio”を体験します。 ▪まずは英語の LLMを動かします。 ## Agent Studio https://www.jetson-ai-lab.com/agent_studio.html ▪次に日本語 LLM
“Tanuki-8B” を動かします。 ## Jetson orin nano上のAgent StudioでTanuki-8Bを試す https://note.com/hamachi_jp/n/n645afc91a3ab weblab-GENIAC/Tanuki-8B-dpo-v1.0 ## CLIモードにして(GUIを止めて)メモリに余裕を持たせる $ sudo systemctl set-default multi-user.target ## GUIに戻す時 $ sudo systemctl set-default graphical.target jetson-containers run --env HUGGINGFACE_TOKEN=hf_xyz123abc456 \ $(autotag nano_llm) \ python3 -m nano_llm.studio https://IP_ADDRESS:8050
None
JetBot
JetRacer
None
参考サイト • Jetson Orin Nano Developer Kit Getting Started Guide
https://developer.nvidia.com/embedded/learn/get-started-jetson-orin-nano-dev kit • Jetson Orin Nano Superが到着・初回セットアップ https://bone.jp/articles/2025/250122_JetsonOrinNanoSuper_2_Received • Jetson orin nano上のAgent StudioでTanuki-8Bを試す https://note.com/hamachi_jp/n/n645afc91a3ab • LM Studio https://lmstudio.ai/