【NoMapsTECH 2025】AI Edge Computing Workshop

2025年のNoMapsTechで使用したスライド。

NVIDIAが開発した小型AIコンピュータ「Jetson Orin Nano」のハンズオン。最先端のエッジコンピューティングを体験しましょう！

Transcript

1. AI Edge Computing Workshop ［NVIDIA Jetson Orin Nanoを使って生成AIを動かしてみよう！］ NoMaps2025@Sapporo RUSHTECH / ITO Akihiro
2. 自己紹介 ・80年代後半 証券オンラインシステム／汎用機／アセンブラ ・90年代 CASEツール、会計システム、業務システム ／HP-UX, NeXTSTEP, Linux ／C, C++, Objective-C, Visual-C++, PHP ・2000/2010年代 デジタルアセット管理システム、業務支援・改善システム、 社内ITシステム管理、社内DX ／Linux, Windows, macos ／PHP, Google Workspace, kintone ・2020年代 AI導入開発コンサルティング、業務改善システム ／Ubuntu ／Python, Google Workspace, kintone ・2025年〜 AI活用支援、DX支援、事業開発等
3. Today’s GOAL.
4. 手元で推論AIを 動かす! NVIDIA Jetson Orin Nanoを使って、 大規模言語モデル(LLM)を動かしてみよう。 [ LLM：Large Language Model ] インターネットに繋がっていなくても OK！
5. なぜ？なんのために手元で？
6. なにがうれしい？ セキュリティ上の心配が少ない。 データがインターネット上に流れず、クラウドに保 管もされないので、潜在的なセキュリティリスクが 低い。漏洩の心配もない。 遅延がない。 インターネット回線を経由する通信がないので、応 答が速い。 使い放題。 使用回数の制限もなく、利用回数による課金もな いので、コストを気にする必要がない。
7. でもなにかと難しい。 マシン性能 AIモデルを展開できるだけのメモリと、高速に計算 するためのCPU/GPUが必要。 AI動作環境の構築 動作環境の構築には知識と手間がかかる。使うモ デルによって環境を複数用意する必要がある場合 も。 置き場所と電気代 サーバは大きいし、音もうるさいし、電気もたくさん 必要。
8. どこで使われている？
9. 例えば、工場の中。 インターネットに繋がっていない。 内部の情報を守るため外部ネットワークとは一切 接続できない。 大きなコンピュータは置けない。 製造用の機械が整然と並んでおり、サーバラック のような大きな面積や電源を確保できない。 製造ラインに組み込みたい。 製造ラインに直接組み込み、製造途中で AIを活用 したい。とくに品質検査用途や、作業の自動化の ため。
10. 手軽なエッジAI
11. NVIDIA Jetsonシリーズ ARMチップとGPUを搭載した小型コン ピュータ群。 価格帯：$100〜$2,000 くらい。 ※現場では、安価なRaspberryPi 4/5もよく使わ れるが、処理能力はJetsonの方が断然高い。
12. Jetson Orin Nano 現行Jetsonシリーズでの最小モデル。 ・1024基のCUDAコア ・NVIDIA AmpereアーキテクチャGPU ・6コアのARM CPU ・8GBのユニファイドメモリ ※実売価格：約5万円(2025年7月)
13. でも環境構築が……
14. Jetson AI Lab がある！ NVIDIAが用意した環境を使って、超簡 単に高度なAIを動かせる！ https://www.jetson-ai-lab.com/
15. Stable Diffusionをインストールするときの例。 ・Jetson AI Lab ・Linuxへの一般的なインストール手順
16. 動かしてみよう！
17. だいたいの手順 • Jetson Orin Nanoにログインする。 • Jetson AI Labにアクセスする。 • デスクトップUIを止める。 • Text Generationのコンテナをダウンロードする。 • 文章生成を動かしてみる。 • Image Generationのコンテナをダウンロードする。 • 画像生成を動かしてみる。 https://zenn.dev/connectome/articles/c63f9aecb28f32
18. ところが！ JetPackが最近6.2にアップデートしたので適用したところ、今公開されているデモコンテ ンツが動かない！ これも、AI環境構築によくある（はまる）ことではあるのですが。 → この点について、NVIDIAに直接と依頼してあります。
19. また、環境設定からやると半日かかるので……。 ## snap (for Chromium) $ sudo snap list —all $ cd ~/Downloads $ sudo snap download snapd --revision=24724 $ sudo snap ack snapd_24724.assert $ sudo snap install snapd_24724.snap $ sudo snap refresh --hold snapd ## 日本語 Setting -> Region & Language -> Manage Installed Language $ sudo apt update $ sudo apt upgrade $ sudo apt install fcitx-mozc $ sudo reboot ## swap拡張 $ sudo fallocate -l 4G /swapfile $ sudo chmod 600 /swapfile $ sudo mkswap /swapfile $ sudo vi /etc/fstab 最後に一行追加 /swapfile none swap sw 0 0 $ sudo reboot $ free -h $ sudo apt update $ sudo apt upgrade ## jetson-containers $ git clone https://github.com/dusty-nv/jetson-containers $ bash jetson-containers/install.sh ※環境構築できた microSDカードのクローンコピーを用意しています。
20. 今回は最新の”Agent Studio”を体験します。 ▪まずは英語の LLMを動かします。 ## Agent Studio https://www.jetson-ai-lab.com/agent_studio.html ▪次に日本語 LLM “Tanuki-8B” を動かします。 ## Jetson orin nano上のAgent StudioでTanuki-8Bを試す https://note.com/hamachi_jp/n/n645afc91a3ab weblab-GENIAC/Tanuki-8B-dpo-v1.0 ## CLIモードにして(GUIを止めて)メモリに余裕を持たせる $ sudo systemctl set-default multi-user.target ## GUIに戻す時 $ sudo systemctl set-default graphical.target jetson-containers run --env HUGGINGFACE_TOKEN=hf_xyz123abc456 \ $(autotag nano_llm) \ python3 -m nano_llm.studio https://IP_ADDRESS:8050
22. JetBot
23. JetRacer
25. 参考サイト • Jetson Orin Nano Developer Kit Getting Started Guide https://developer.nvidia.com/embedded/learn/get-started-jetson-orin-nano-dev kit • Jetson Orin Nano Superが到着・初回セットアップ https://bone.jp/articles/2025/250122_JetsonOrinNanoSuper_2_Received • Jetson orin nano上のAgent StudioでTanuki-8Bを試す https://note.com/hamachi_jp/n/n645afc91a3ab • LM Studio https://lmstudio.ai/