Semantic Kernelの最新状況及び入門

Semantic Kernelの最新状況及び入門
.NETラボ 勉強会 2024年7月
https://dotnetlab.connpass.com/event/323373/

Transcript

1. Semantic Kernelの最新状況 及び入門 株式会社SAKURUG プロダクトDiv 草場 友光 .NETラボ勉強会2024年7月
2. 自己紹介 • コミュニティ活動を通じて知識をアッ プデートしています。 • 2022/08-2025 Microsoft MVP (Developer Technologies) • tomo_kusaba
3. 宣伝 【VISION】ひとの可能性を開花させる企業であり続ける VISIONに共感できる仲間募集中。
4. 注意 • 個人の見解・解釈が多分に入っています。 • 見解の相違・事実誤認などありましたらご指摘ください。 • #dotnetlabでtweetすると左側に表示されます
5. 今日の目的 • .NETのSemantic Kernelが安定版になってしばらく経ちまし た。 • 最新のSemantic Kernelの状況及び改めて今、Semantic Kernelを入門する方法をリポジトリーを見ながら探っていきた いと思います。 • やらないこと：実際にコードを動かしてみたり詳細な実装について 話すこと
6. 現在のリポジトリ構成をみる • https://github.com/microsoft/semantic- kernel/tree/main
7. Semantic Kernelとは • 既存のアプリケーションにAIエージェントを簡単に追加することの できるオープンソースのミドルウェア • C#、Java、Pythonに対応 • プラグインの自動呼び出しに対応
8. 似た目的で使用できるフレームワーク・ツール • LangChain • AI Studio • Azure FunctionのOpenAI拡張
9. LangChain • Pythonのみの対応 • LLMを扱う上では素晴らしいツール • LLMの発展に対して迅速な対応する反面、今現在安定版がリリー スされていない、破壊的変更が多い、バグが多いなどのトラブル が多い • AIそのもの検証にはとても相性がよい！
10. AI Studio • Microsoft Build 2024でGA • OpenAI以外のMetaなどのLLMやPhi-2などのSLMなどさま ざまな言語モデルに対応 • Azure AI SearchやプロンプトフローなどAIツールチェーンと して設計されている • GUIベースでフローを確認できたり可観測性もバッチリ。 • TeamsへのカスタムエンジンCopilotもPubulic Previewな どできることが増えてきた！
11. Azure FunctionのOpenAI拡張 • Azure OpenAI Serviceの機能と動作をFunctionに簡単に 統合できる一連のトリガーとバインドが実装されている。 • 呼び出すLLMがAzure OpenAIに限定できる場合に有用な手 段 • スケールしやすい • AIの実行がFunctionでよい場合・・・もともとマイクロサービス 的に作っている場合は気にならないはず。モノシリックで作ってい る場合なぜAzure OpenAI ServiceだけがAzure Function の実行なのか？？くらい
12. Semantic Kernelの始め方 • https://github.com/microsoft/semantic- kernel/tree/main/dotnet/notebooks • まずは、Jypyter Notebooksから • 前提：.NET 8 と VS Code と Polygot 拡張
13. Microsoft Learn ドキュメント • ただし、現在は英語のみ (7/3日本語追加！) • ドキュメントに掲載されているコードは https://github.com/microsoft/semantic- kernel/tree/main/dotnet/samples/LearnResources に掲載 • Logic AppsやOpenAPIプラグインの追加方法などより実践的 な実装方法についての記述がされているなど一通り読むべき
14. コード例がコンセプトごとに整理された • Microsoft LearnからもGitHubへのリンクがある。 • ChatCmpletionとかDIやPluginなどコンセプトごとに整理さ れて見やすくなった。
15. より、実践的デモアプリ • https://github.com/microsoft/semantic- kernel/tree/main/dotnet/samples/Demos
16. どんな機能が使えるんだっけ(コア) サービス C# Python Java 備考 プロンプト ◦ ◦ ◦ ネイティブ関数とプラグイン ◦ ◦ ◦ OpenAPIプラグイン ◦ ◦ ◦ 関数の自動呼び出し ◦ ◦ ◦ テレメトリログを開く ◦ △ × フックとフィルター ◦ ◦ ◦
17. どんな機能が使えるんだっけ(AIサービス) サービス C# Python Java 備考 テキストの生成 ◦ ◦ ◦ チャット入力候補 ◦ ◦ ◦ GPT-4 テキスト埋め込み ◦ ◦ ◦ Text-Embeddings テキストから画像へ ◦ × × Dall-E 画像からテキストへ ◦ × × テキストから音声へ ◦ × × 音声からテキストへ ◦ × × Whisper
18. どんな機能が使えるんだっけ (AIサービスエンドポイント) サービス C# Python Java 備考 OpenAI ◦ ◦ ◦ Azure OpenAI ◦ ◦ ◦ Ollama, LLM Studio.. ◦ ◦ ◦ Hugging Face Inference API △ × ×
19. どんな機能が使えるんだっけ (Memory Connectors) サービス C# Python Java 備考 Azure AI Search ◦ ◦ ◦ Chroma ◦ ◦ × DuckDB ◦ × × Milvus △ ◦ × Pinecone ◦ ◦ × Postgres ◦ ◦ × Qdrant ◦ △ × Redis ◦ △ × Sqlite ◦ × △ Weaviate ◦ ◦ ×
20. Microsoft Learnを見てみる時間
21. 参考文献 • Microsoft/semantic-kernel https://github.com/microsoft/semantic- kernel/tree/main • セマンティック カーネルの概要 https://learn.microsoft.com/ja-jp/semantic- kernel/overview/?WT.mc_id=DT-MVP-5004827 • Semantic Kernel Discord コミュニティ https://aka.ms/sk/discord
22. おしまい おしまい