20251112_AIミーティング

20251112_AIミーティング「Foundry Local と Open WebUI でローカル LLM GUI を試してみたよもやま話」の登壇資料です。

◆スライド内の素材は以下を使用させていただいております。ありがとうございます！

・シルエットデザイン http://kage-design.com/
・human pictogram 2.0 http://pictogram2.com
・ICOOON MONO http://icooon-mono.com/
・Adobe Stock https://stock.adobe.com/jp

Transcript

1. 1 20251112_AIミーティング Foundry Local と Open WebUI でローカル LLM GUI を試してみたよもやま話 ワンフットシーバス 田中正吾
2. 私の話はスライドを後ほど共有します。 話す内容に注力いただいて大丈夫です! 2
3. 10 分くらいで話します！ 3
4. Foundry Local をやってみた https://learn.microsoft.com/ja-jp/azure/ai-foundry/foundry-local/what-is-foundry-local 4
5. Ollama みたいにモデルを持ってきて ローカルで試せる仕組み https://learn.microsoft.com/ja-jp/azure/ai-foundry/foundry-local/what-is-foundry-local 5
6. まさに活用事例が分かりやすい 手元でモデルを試して機密情報も込みで扱うことができ Azure サブスクリプション必要がないのはイイ感じ！ 6
7. とりあえずインストールしてみる まずは winget ですぐ入れれる！ https://learn.microsoft.com/ja-jp/azure/ai-foundry/foundry-local/get-started 7
8. いざインストール 依存関係（Microsoft.VCLibs.Desktop.14）も自動認識でとってきてくれる。時間は 5 分ほどかかったけどバッチリインストール完了。 8
9. foundry model list で使えるリストが見える インストール直後から foundry コマンドが使える。openai-whisper-tiny-generic-cpu とか gpt-oss-20b-cuda-gpu とかある。 9
10. qwen2.5-0.5b-instruct-cuda-gpu を試す ひとまず目についたのでやってみる 10
11. GPU 系でエラー どうも cuda がだめらしい。なるほど。 11
12. CPU 系チャレンジ qwen2.5-0.5b-instruct-generic-cpu 12
13. qwen2.5-0.5b-instruct-generic-cpu はバッチリ いったん CPU で試してみてメッセージを打ってみるとしっかり動く。けっこう出力が早い。まあ高速な PC ってのはあるけど。 13
14. 素のモデルを触っている印象 素のローカル LLM おなじみの同じメッセージループがかわいい 14
15. デモしてみますー Foundry CLI で会話チャレンジ 15
16. しかし Foundry CLI に UI なし まあ CLI って銘打っているので、そうといえばそう 16
17. Open WebUI と Foundry Local の統合ができるらしい https://learn.microsoft.com/ja-jp/azure/ai-foundry/foundry-local/how-to/how-to-chat-application-with-open-web-ui 17
18. Open WebUI を Docker で動かす https://github.com/open-webui/open-webui をみて Docker run 18
19. 無事起動！ 3000 ポートで無事入れた。初回アカウント作成。 19
20. Open WebUI で直接接続を有効化 プロファイルメニューから Settings → Admin Settings を選択 ナビゲーションメニューで Connections → Direct Connection のトグルをオンにする 20
21. Foundry CLI サーバー確認 foundry service status で分かる 21
22. Foundry Local に接続 プロファイルメニューから Settings → Connections を選択 + で接続を追加 URL に http://127.0.0.1:ポート番号/v1 を入力。さっき確認したもの。認証は　なし　を選択。 22
23. うまくつながった ちゃんとモデルが選べる。Ollama のリスト（Granite）もある。 23
24. qwen2.5-0.5b-instruct-generic-cpu えらべた これで会話できる！ 24
25. ひとまずコード聞いてみる イイ感じに答えてくれる。サクサク動く。 25
26. ウォンバット質問はイマイチ まあそういうことはある。でもちゃんと動くの大事！ 26
27. いざデモしてみます！ Foundry CLI + Open WebUI 27
28. まとめ Azure AI Foundry でローカルで試せる Foundry CLI というのがあって動かしてみた Foundry CLI に GUI が欲しいなら Open WebUI とい う仕組みと連携し触りやすくなる Azure AI Foundry のもっているモデルなら結構呼び 出せるので API 連携などいろいろやってやれそう！ まだまだプレビューだけど今後がたのしみ！ 28
29. はこだてデベロッパーカンファレンスに AI も絡めて登壇します https://devcon.hakoika.org/2025/ 29
30. AI 駆動開発勉強会 フロントエンド支部 #1 w/あずもば に AI も絡めて登壇します https://aid.connpass.com/event/374658/ 30