ローカルLLMとLINE Botの組み合わせ その3 / LINE DC Generative AI Meetup #8

Transcript

1. 2026年7月10日 (金) LINE DC Generative AI Meetup #8 ＠MOSH 豊田陽介（ ） @youtoy ローカルLLMとLINE Botの組み合わせ その3
2. 自己紹介 豊田陽介（ ） @youtoy ▶ IT系コミュニティ主催、 　 イベント登壇や運営なども ▶ M5StackでIoT、AI・機械 　 学習の書籍を共著・単著で ▶ メーカーフェアやNT◦◦ 　 （各地）等への出展も頻繁に プライベートでの活動 ▶ ガジェット ▶ 描画系／IoT／AI・機械学習系 ▶ ビジュアルプログラミング ▶ JavaScript 好きな技術など
3. 最近、極大消滅呪文をマスターしました（？） HTMLファイル 1つで実装した Webアプリ （MediaPipe ＋ シェーダー ＋ WebGL）
4. 今日の話 ローカルLLMとLINE Botの組み合わせ その3 「その1」と「その2」は？
5. 「その1」は2025年9月のイベントでの発表 「初心者・初登壇Welcome！LINEを使ったLT大会 #14」での LT ⇒ トピック： Mastra ＋ ローカルLLM ＋ LINE Bot
6. 「その2」は2025年10月のイベントでの発表 「LINE DC Generative AI Meetup #7」での LT ⇒ トピック： その1（Mastra ＋ ローカルLLM ＋ LINE Bot） ＋「EVO-X2でgpt-oss-120bを利用」 イベントの2日前に 受領したばかりの PCを使ったネタ
7. ローカルLLMに使える 自宅の個人環境の変化
8. ミニPC「GMKtec EVO-X2」（128GB） Ryzen AI Max+ 395搭載 【再掲】「その1」と「その2」の発表のあたりの話 一昨日の朝、強大な力（マシン）を手に入れた M4 Mac mini（24GB）、 M4 MacBook Air（16GB） New！ これまで
9. 「その2」から「その3」までの個人環境の変化 またしても、強大な力（マシン）を手に入れてしまった... EVO-X2（メモリ 128GB、 Ryzen AI Max+ 395搭載） M4 MacBook Air（16GB） ⇒ M5 MacBook Pro（32GB） M4 Mac mini （24GB） 変更 GeForce RTX 5090 Laptop、 インテル Core Ultra 9、 メモリ 64GB 追加
10. 当初（昨日まで）のLTの予定 そんな強力なマシン群を活かした何か
11. でも本日深夜に新しいネタが出てきてしまった... GPT-5.6 （API提供も） 取り急ぎ、早朝の勤務 開始前の時間を使って、 軽く試して記事も書いた
12. 今日作ったものは急な話すぎて 詳細は作りきれてないです （本日は朝から1日、通常の勤務）
13. 作った（十分には作りきれてない）もの 応答用サーバーなど スマホ LINE アプリ LINE サーバー LINE Botサーバー PC：M5 MacBook Pro ローカルの APIサーバー OpenAI のAPI （GPT-5.6） インターネット 経由での通信 全体構成（今日の勤務時間 後で急ぎ作ったもの）
14. 【余談】当初やろう思っていた案の1つ 応答用サーバーなど スマホ LINE アプリ LINE サーバー LINE Botサーバー 全体構成 ローカルの APIサーバー 特に強力な力2 ローカルの APIサーバー 特に強力な力1 全て ローカル フロント担当 PC
15. 当初進めていた内容の関係で出てきていたもの ・フロントにいるところが、複数台のマシンを 　呼び分ける ・LiteLLM等で複数のローカルLLMを扱う ・LM Studio の LM Link は、リモートのスマホ等 　から使うという方向だけでなく、他マシンの 　モデルのロードもできるらしい
16. 呼び出し分ける仕組み（無理矢理なバージョン） 応答用サーバーなど スマホ LINE アプリ LINE サーバー LINE Botサーバー オンライン 入力に特定の キーワードが ある場合 ユーザー入力内の特定の キーワードの有無で判断 通常時 GPT-5.6（Sol） google/gemma-4-E2B -it-qat-q4_0-gguf （軽めのモデル： 4.4 GB） ローカル
17. GPT-5.6（OpenAI API経由）とローカルLLMを使い分け【プロト】 時間がなかったので 振り分けはかなり 無理矢理な実装
18. 「詳しく」の返答がそのままだと 長すぎて、システムプロンプトで そのあたりは調整 （LINE で読みにくい長さだったため）
19. 次は強力なマシン群を 活用した内容をやりたい！
20. 最後に宣伝 ちょうど今日、 公開されたばかりの登壇の話
21. 7/25（土） Qiita Tech Festa Day 2026 に登壇 個人で応募して通ったので、「Webの技術とガジェット」、 「子どもも大人も楽しめるワクワク体験」という話をします！
22. 終わり！