ローカルLLMとLINE Botの組み合わせ その2（EVO-X2でgpt-oss-120bを利用） / LINE DC Generative AI Meetup #7

Transcript

1. 2025年10月20日 (月) LINE DC Generative AI Meetup #7 @ユニークビジョン株式会社 豊田陽介（ ） @youtoy ローカルLLMとLINE Botの組み合わせ その2 （EVO-X2でgpt-oss-120bを利用）
2. 自己紹介 豊田陽介（ ） @youtoy ▶ IT系コミュニティ主催、 　 イベント登壇や運営なども ▶ M5StackでIoT、AI・機械 　 学習の書籍を共著・単著で ▶ 子ども向けプログラミング 　サポート活動なども　 プライベートでの活動 ▶ ガジェット ▶ 描画系／IoT／AI・機械学習系 ▶ ビジュアルプログラミング ▶ JavaScript 好きな技術など
3. ブラウザで体験型コンテンツを作るのが好きです
4. ブラウザで動く体験型の作品が他にもたくさん AI・機械学習などを使った 透明マント／光学迷彩のWebアプリ NT東京2025 での体験型展示 100均の 空気ポンプ カスタム シェーダー サオコン＋ Joy-Con ロボット トイ（toio） ルーレット コントローラー ＋ Joy-Con 太鼓の達人用 コントローラー
5. 今日の話 ローカルLLMとLINE Botの組み合わせ その2 「その1」は？
6. 「その1」は昨月のイベントでの発表 「初心者・初登壇Welcome！LINEを使ったLT大会 #14」での LT ⇒ トピック： Mastra ＋ ローカルLLM ＋ LINE Bot
7. ミニPC「GMKtec EVO-X2」（128GB） Ryzen AI Max+ 395搭載 昨月からの差分（タイトルでネタバレしてるけど） 一昨日の朝、強大な力（マシン）を手に入れた M4 Mac mini（24GB）、 M4 MacBook Air（16GB） New！ これまで
8. Windows上で見た「GMKtec EVO-X2」のスペック
9. 何が変わった？ ローカルLLMで扱えるモデルのサイズが大幅増！ 前回の LT で使っていた M4 MacBook Air（16GB）： ⇒ VRAM： 11.84 GB 例えば、LM Studioデフォルト設定で比べても... New！ これまで 「GMKtec EVO-X2」（128GB） ⇒ VRAM： 87.87GB ※ ラインタイム「ROCm llama.cpp」 ※ 設定により、さらに増やせるはず ⇒ gpt-oss-120b-GGUF（サイズ 約65GB）が使えるように！
10. 前回のLTでの構成と今回の差分（メモリ増による） ・AIエージェント開発用SDK 　Mastra（＋ プロバイダーで Vercel の AI SDK） ・ローカルLLM 　LM Studio ＋ 軽量モデル（jan-v1-4b／gemma-3-270m-it） ・LINE Bot 　LINE Messaging API SDK for nodejs 今回： OpenAI の「gpt-oss-120b」
11. 応答用サーバーなど 全体構成（モデル以外は前回の内容と同じ） スマホ LINE アプリ LINE サーバー LINE ＋ OpenAI の gpt-oss-120b Microsoft「devtunnel」／ VS Code の「built-in port forwarding」 AIエージェント ＋ Botサーバー PC： EVO-X2 ローカルの APIサーバー
12. デモ動画：LINEアプリ上でのやりとり シンプルなプロンプト 3つほどでお試し
13. デモ動画で行っていたやりとり プロンプト1 プロンプト2 プロンプト3 プロンプト3 の 回答だけ他より 長め
14. LM Studio側のログの抜粋 LINEアプリ上で入力 された内容がログに
15. 今回やりきれていないこと（1つ目は前回と同じ...） ・処理の簡単化という恩恵はあるものの... ・今だと直接APIをたたくだけでも良いかも 　しれない実装 　⇒ ツール利用や、その他のAIエージェント 　　 ならではの多様な処理を活用したい ▼ Mastra（AIエージェント開発用SDK）の活用 ▼ 多様なローカルLLM用のモデルの活用
16. 終わり！