ElixirでローカルLLM＋Difyを動かし、MCPが混ざると ….

Transcript

1. Elixir でローカルLLM ＋Dify を動かし、MCP が混ざると …
2. 実際に動かしてみる 0:00/ 0:09
3. LiveView 人間とのインターフェース
4. Dify LiveView とのインターフェース 開始はLiveView から文章を受け取ります
5. Dify MCP サーバーとのインターフェース クライアントとしてMCP FunctionCalling を使う
6. Dify LLM その２　
7. Dify LM-Studio とインターフェース モデルプロバーダー OpenAI-API-compatible
8. Dify 終了はLiveView から文章を渡します
9. MCP サーバー MCP サーバー（server-filesystem ） MCP クライアントの指示の元ファイル操作をする MCP サーバーのプロキシ(supergateway) SDTIO(MCP サーバ) <=> 　Dify(SSE) に変換 server-filesystem をsupergateway 経由で起動 $ npx -y supergateway --stdio "npx -y @modelcontextprotocol/server-filesystem ~/local/mcp/tmp"
10. MCP サーバーの検証 npx @modelcontextprotocol/inspector
11. LM-Studio LLM （Large Language Models ）を動かす本体 モデル internlm2_5-20b-chat
12. LM-Studio ランタイム CUDA llama.cpp (Linux) Vulkan llama.cpp (Linux) でも可能