ローカルLLMをJavaScriptで（少しAIエージェントSDKなどの話も） / 冬のJavaScript祭り @Pleasanter Lounge

Transcript

1. 2025年12月13日 (土) 冬のJavaScript祭り @Pleasanter Lounge 豊田陽介（ ） @youtoy ローカルLLMをJavaScriptで （少しAIエージェントSDKなどの話も）
2. 自己紹介 豊田陽介（ ） @youtoy ▶ IT系コミュニティ主催、 　 イベント登壇や運営なども ▶ M5StackでIoT、AI・機械 　 学習の書籍を共著・単著で ▶ 子ども向けプログラミング 　サポート活動なども　 プライベートでの活動 ▶ ガジェット ▶ 描画系／IoT／AI・機械学習系 ▶ ビジュアルプログラミング ▶ JavaScript 好きな技術など
3. ブラウザで動く体験型の作品を作るのが好きです 過去の登壇では、こういった方向の技術の話をしていました （ブラウザでAI・機械学習や描画系ライブラリの話など）
4. 【今日の本題】 ローカルLLM と JavaScript こちらの話題によった内容が けっこうあるかも
5. 今日の話の流れ １ ２ ３ ４ 30万円未満の PC などでのローカルLLM 使っているマシンのスペックなど 「gpt-oss-120b」でのローカルLLM 大きめなサイズのモデルを試してみた話 生成AI系のライブラリ・SDK とローカルLLM JavaScript版の AIエージェントSDK などが絡む話を少し紹介 まとめ 現状の自分の感想など
6. 内容に関する補足 ・個人で試してみた事例の話です 　⇒ ビジネス系・業務での活用・という 　　 要素は入ってないです ・生成AI・AIエージェントまわりの詳しい話 　には踏み込んでいないです 　⇒ ローカルLLM まわりの概要の話です
7. ミニPC「GMKtec EVO-X2」 Ryzen AI Max+ 395搭載 今日の話題の1つ目（ハードウェア関連） 10月中旬、ローカルLLM用の強大な力（マシン）を入手 M4 Mac mini、 M4 MacBook Air New！ 2025年10月以前 大きめなモデルも 扱えるように
8. ローカルLLMを動作させるために 　⇒ モデルのパラメータ（重み） 　　 などを展開するメモリが必要 ※ EVO-X2だと他の2台より大きなサイズを確保できる
9. デフォルト設定でモデル用に使えるメモリのサイズ ※ ある特定の実行環境での概算 （VRAMにモデルをのせる、という前提での話） M4 Mac mini（24GB） ⇒ 16GB EVO-X2（128GB） ⇒ 64GB ※ 96GB 等に増やす 　　　　　　 ことも可能 M4 MacBook Air（16GB） ⇒ 8GB
10. 試したかったモデル：OpenAIの「gpt-oss-120b」 ある実行環境（LM Studio）でのモデル サイズ表記 「65GB」 96GB の割り当てなら余裕でモデルをのせられる
11. OpenAIの記事より：「gpt-oss-120b」の性能 あるベンチマーク で o4-mini と同等
12. 購入理由と価格（全て何らかのセールで購入） M4 Mac mini（24GB） ローカルLLM ＋ Mac mini を 試してみたかった M4 MacBook Air（16GB） Intel版 MacBook Pro を買い替え ようかと思ってた時にセール EVO-X2（128GB） ローカルLLMで大きめのモデルを 動かしてみたくなった 14.9万円（2024/10） 約29万円（2025/10） 16.5万円（2025/7）
13. ローカルLLM関連で話題に出てくるPC（の一部） EVO-X2 よりも価格は高い（性能の違いなどがあったりはするけれど） （EVO-X2 も高いけど）このあたりよりは 個人的には手を出しやすかった
14. 「EVO-X2」＋「gpt-oss-120b」 を使ったローカルLLM
15. 動画： Node.jsで実装したクライアントでの処理 EVO-X2をローカルサーバーとしてAPI経由で処理を実行 わりと良い感じの速度で 整った長文が出力された
16. 生成AI／ローカルLLMとJavaScript ・生成AI を JavaScript で扱う場合の例 　⇒ 例えば、OpenAI／Gemini／Claude など 　　 の API を利用（REST API で扱う） 　⇒ API用のライブラリ、AIエージェントSDK 　　 などの JavaScript版を使ったり ・ローカルLLM ＋ JavaScript 　⇒ 上記と同じような感じで扱うことも可能
17. JavaScriptでローカルLLM：シンプルな処理の例 baseURL でローカル サーバーを指定 APIキーやモデルは 空／適当な文字列 ← 基本的には Node.js で 　 openai のパッケージを 　 使ったコードの、 　 接続先を変えるだけ
18. ローカルLLMでよく出てくる実行環境 ・LM Studio や Ollama などが代表的なものとして 　よく出てくる（※ 他にもあります） ・GUI上で処理を試すこともでき、ローカルの 　APIサーバーをたてられる 　⇒ OpenAI互換の API だったり、それとは別に 　　 独自の REST API があったりもする
19. AIエージェントSDK（JavaScript版）も OpenAI対応のものを使える 例えば
20. シンプルな実装であれば 非常に短いコードでサクッと
21. 「OpenAI Agents SDK」でのシンプルな実装例
22. Vercelの「AI SDK」でのシンプルな実装例
23. ちょっとしたお試しの記事はQiitaに
24. ローカルLLMをがっつり使っているか？ ・自分の用途だと ChatGPT・Gemini・Claude を 　使ってしまえば良い、という状況が多いかも ・ビジネス用途だと、外部の API に出せないデータの 　処理がよくある活用事例の 1つ ・やりたいこととして、モノづくり系の体験型展示での 　活用がある（ネット環境・コストを気にせず利用）
25. EVO-X2（や Mac mini等）を買って良かったか？ ・ローカルLLM に関する知識を得たい、という強い 　動機になって良かった 　⇒ 以前も情報は追いかけていたものの、自分が 　　 使える状態になってからは、具体的なモデルの 　　 情報や実行環境の詳細の情報も見るようになった その分、30万円近い PC を買うことに なったというのはあるけれどｗ
26. 終わり！