開発用LLMインフラをVSCode内で完結させる

Transcript

1. 開発用LLMインフラを VS Code内で完結させる AI Toolkitで構築する実践的LLM開発環境 1 なごあずの集い#6 2025.09.20 上田茂雄（@ueponx）
2. 自己紹介 上田 茂雄(Shigeo Ueda) 中京テレビ ICT推進グループ（休職中） 名古屋工業大学 知能情報分野 大学院生 名城大学・京都精華大学 非常勤講師 uepon.hatenadiary.com | X / Facebook / LinkedIn なごあず運営 IBM Champion 2019–2025 Node-RED UG Tokai SeeedJP UG 2
3. 01 はじめに… 3
4. こんな経験ありませんか？ Microsoft Copilotは便利、でも... ✓ 自社専用のAIアシスタントを作りたい ✓ 顧客データをクラウドに送れない ✓ 業界特化型のAIサービスを提供したい ✓ Azure OpenAI Serviceの開発環境、毎回API課金は辛い 4
5. ローカルPCでAIモデルが動く LLMが手元で動作、完全オフライン、課金ゼロ 開発→本番がシームレス ローカル開発とAzure展開、変更はURLとAPIキーだけ AIエージェントの構築方法を理解 プロンプトエンジニアリング、外部ツール連携、コード 15分後のあなた 5
6. 02 Microsoft Copilotとの違い 6
7. アプローチの違い Microsoft Copilot AI Toolkit 7 「AIアプリケーションを作る」 • 自分でAIシステムを構築 • 独自のAIソリューションを創造 • 開発者は創造者（Creator） AI Toolkit →自分のAIを作って提供する 「AIアシスタントを使う」 • Microsoftが提供するAIを利用 • 質問や作業をAIに依頼 • ユーザーは利用者（User） Microsoft Copilot →完成されたAIを使って作業する
8. 独自AIソリューション の実現 • 社内用語を 理解するAI • 業界特化型の AIアシスタント • 顧客向けカスタム AIサービス 完全なデータ コントロール • データが社外に 出ない • 機密データも 安全に処理 • プライバシーと セキュリティ確保 開発から本番ま でシームレス • 開発環境 （無料・ローカル） • 同じコードで環境 切り替えが可能 なぜAI Toolkitが必要か 8 →AIサービスの提供者
9. 03 主な機能 9
10. AIアプリを作る流れ 10 料理を作るように、AIアプリを作る 1. 材料選び たくさんの AIから選べ る Model Catalog 2. 味見 すぐに試せ る Playground 3. 料理作り AIアシスタ ントを作る Agent Builder 4. 品質 品質の チェック 評価ツール 5. 提供 簡単に公開 Azure連携
11. 04 導入方法 11
12. 拡張機能のインストールと Playgroundの動作 12
18. 作業の概要 18 1. 拡張機能をインストール 2. AIモデルを選んでダウンロード 3. Playgroundで対話テスト 4. パラメータ調整で応答を変える 5. ローカルAPIでアプリに組み込む ポイント • 完全ローカル実行（インターネット不要） • API課金ゼロ（開発中は無料） • 即座に試せる（待ち時間なし） 5ステップでローカルAIを動かす
19. 開発にうれしい機能 19 ローカルREST API ✓ Playgroundでモデルロード → APIサーバー自動起動 ✓ エンドポイント http://127.0.0.1:5272/v1/chat/completions
20. ONNX版モデルの注意点 20 動作しない（ONNX版 + OpenAI SDK） ONNX版では、トークナイザー層の処理がないため、実行できない
21. 21 回避方法
22. 05 実践シナリオ 22
23. 要件に応じたデプロイ戦略 開発フェーズ AI Toolkit for Visual Studio Code • モデルダウンロード・テスト・ファインチューニング • プロトタイピング・ローカル実験環境 ローカルアプリ Windows AI Foundry APIs 用途例 • 軽量AIアプリ • Copilot+ PC向け • リアルタイム処理 クラウドアプリ Azure AI Foundry 用途例 • エンタープライズ • 大規模サービス • スケーラブル カスタム・ローカル ONNX Runtime + DirectML 用途例 • オフライン必須 • 機密データ処理 • カスタムモデル 本番デプロイ（選択）
24. ハイブリッド開発でコスト削減 24 開発はローカル環境、本番はAzure環境の方針！ ◼ 開発・テスト → コスト削減 ◼ ステージング環境 → コスト削減 ◼ 本番環境 → 変化なし コスト削減効果大
25. その他の活用の方向性 ◆ Agent Builderで専門AIを作成 社内ヘルプデスクAI、社内用語を理解、プログラミング不要 ◆ 完全オフライン型AI 機密データ処理、医療・金融データも安心、データが外部に出な い ◆ エッジデバイス展開 IoT・組み込み向け、ONNX変換で軽量化、スマートフォンでも動 作 25
26. 06 おわりに… 26
27. 今日お伝えしたこと 27 AI開発の民主化 特別なスキルは不要。VS Codeがあれば始められる シームレスな開発体験 開発から本番まで一直線。開発コストを大きく削減！ 選択の自由 AIの未来はあなたの手の中に！
28. 今すぐ始めよう！ 28 1️⃣ VS Codeに拡張機能をインストール 拡張機能検索 → AI Toolkit for VSCode 2️⃣ Phi-3-miniをダウンロード Model Catalog → Phi-3-mini → Download 3️⃣ Playgroundで対話開始 右クリック → Load in Playground 3ステップでスタート →15分後には、あなたのPCでAIが動く
29. 参考文献・学習リソース一覧 学習リソース Microsoft Learn • Microsoft AI Hub: learn.microsoft.com/ai/ • Responsible AI: learn.microsoft.com/azure/machine-learning/concept-responsible-ai • Semantic Kernel: learn.microsoft.com/semantic-kernel/ 動画・チュートリアル • Build 2024 - AI Toolkit: build.microsoft.com/sessions/ • Windows Developer Blog: blogs.windows.com/windowsdeveloper/
30. 「Microsoft Copilotを使う」から 「自分のAIを作る」へ 30 ご清聴ありがとうございました！