A Band of Agents

Nutzungsmöglichkeiten von LLMs jenseits von Chat und Text-Generierung

Transcript

1. A Band of Agents Nutzungsmöglichkeiten von LLMs jenseits von Chat und Text- Generierung
2. Über mich jochen@kluger.net linkedin.com/in/jochen-kluger
3. Gängige LM Anwendungsfälle • Chat
4. Gängige LM Anwendungsfälle • Chat • Text-Generierung
5. Gängige LM Anwendungsfälle • Chat • Text-Generierung • Bild-Generierung
6. Gängige LM Anwendungsfälle • Chat • Text-Generierung • Bild-Generierung • Musik-Generierung (https://huggingface.co/spaces/facebook/MusicGen)
7. Gängige LM Anwendungsfälle • Chat • Text-Generierung • Bild-Generierung • Musik-Generierung (https://huggingface.co/spaces/facebook/MusicGen) • Video-Generierung (https://huggingface.co/spaces/ali-vilab/modelscope-text-to-video-synthesis)
8. Gängige LM Anwendungsfälle • Chat • Text-Generierung • Bild-Generierung • Musik-Generierung (https://huggingface.co/spaces/facebook/MusicGen) • Video-Generierung (https://huggingface.co/spaces/ali-vilab/modelscope-text-to-video-synthesis) • Bilderkennung • Spracherkennung/ -Generierung
9. Hey ChatGPT, hilf mir mal auf meinem PC • Cloud Services haben natürlich Grenzen • Lösung: Lokale Code-Ausführung • Agent-generierter Code auf meinem PC? • Kontrolle • Isolation • Risiken kennen • Komfort hat seinen Preis…
10. Open Interpreter Open Interpreter lets language models run code. • Viele Möglichkeiten der Computer-Interaktion durch Chat • Bearbeitung von Fotos, Videos, Dokumenten, etc. • Nutzung eines Chrome Browsers • Zeichnen, Bereinigung und Analyse großer Datensätze • und vieles mehr • Nutzung von verschiedensten LLMs (Cloud und lokal) https://docs.openinterpreter.com/
11. Demo
12. Gib mir mehr ;) • Nur ein Agent – wo bleibt die Band of Agents? • Immer noch viel User-Interaktion • Komplexität der Tasks überschaubar
13. The Forge AI • Webbasierter Editor für AI-Workflows • Verkettung mehrerer LLM-Aufrufe mit Text und Bildern • Marketplace für fertige Workflows https://theforgeai.com
14. Demo
15. Da geht doch noch mehr… • The Forge AI hat nur vorgefertigte Tasks • Fokussiert auf OpenAI/ChatGPT • Gehostetes System / Cloud Anbieter • Alternativen: • Flowise (https://github.com/FlowiseAI/Flowise) • PromtFlow (https://microsoft.github.io/promptflow)
16. Wo geht die Reise hin? • Multimodale LLM? • Generalistische LLMs? • Spezialisierte SLMs?
17. AutoGen • Multi-Agent Conversation Framework • Konversation zwischen • Benutzer (UserProxyAgent) • Chat Manager (GroupChatManager) • Assistenten Agents (AssistantAgent) • Für jeden Agent kann ein anderes LLM konfiguriert werden • Function Calling Support • Code Execution Support
18. AutoGen Conversation Patterns Two-Agent Chat mit Chat Ergebnis Sequential Chat Quelle: https://microsoft.github.io/autogen/docs/tutorial/conversatio n-patterns
19. AutoGen Conversation Patterns Group Chat Quelle: https://microsoft.github.io/autogen/docs/tutorial/conversatio n-patterns
20. Demo
21. AutoGen CAP • Composable Actor Platform • Agenten in verschiedenen Prozessen • Kommunikation über MessageBus
22. GitHub Copilot Workspace Quelle: https://github.blog/2024-04-29- github-copilot-workspace/
23. GitHub Copilot Workspace Quelle: https://github.blog/2024-04-29- github-copilot-workspace/
24. GitHub Copilot Workspace Quelle: https://github.blog/2024-04-29- github-copilot-workspace/
25. Ausblick • KI – Agenten werden in den nächsten Jahren unser Leben maßgeblich prägen • Kürzliche GPT4o / Gemini Präsentationen geben einen ersten Ausblick darauf • Qualität, Möglichkeiten und Performance werden ständig weiterentwickelt → Die Zukunft wird sehr spannend ;)
26. Any Questions? • Dotnet Beispiel unter https://github.com/jochenkluger/ autogen (Autogen Fork) • Solution im Unterordner dotnet jochen@kluger.net linkedin.com/in/jochen-kluger