In geheimer Mission: AI Agents mit .NET und OpenAI entwickeln

Transcript

1. IN GEHEIMER MISSION AI Agents mit .NET und OpenAI entwickeln Jörg Neumann
2. THEMEN  AI Development  Business App Development  Frontend Technologies  Development, Consulting, Coaching, Training KONTAKT  Mail: joerg.neumann@neogeeks.de  LinkedIn: www.linkedin.com/in/jörgneumann  X: @JoergNeumann  Web: www.neogeeks.de JÖRG NEUMANN Founder & CEO NeoGeeks GmbH Azure OpenAI Service, Azure Machine Learning Platform
3. BOTS, ASSISTANTS & AGENTS Chatbot Allgemeine Fragen beantworten, sowie Texte und Bilder generieren RAG Fragen auf Basis einer fachlichen Grundierung beantworten Assistant Assistent der mit dem Benutzer zusammenarbeiten und Tools verwenden, um eine Aufgabe zu erledigen Agents Vollständig autonom agierende Agenten, die zusammen eine Aufgabe erledigen und nur sehr wenig Benutzerinteraktion erfordern
4. DATEN • Dokumente • Datenbankinhalte TOOLS • Functions • Code Interpreter • File Search WAS IST EIN AGENT? Ausgabe Eingabe ML Model • Speech, Vision • Regression • Klassifizierung Agent übernimmt Teilaufgaben LLM
5. ASSISTANTS OPEN AI ASSISTANTS API  Bietet eine stateful API für die Entwicklung von Assistenten  Session / Thread Management  Bietet Tools: Code Interpreter, File Search, …  Wird zukünftig durch die Responses API abgelöst PACKAGES  Python: PyPi package  C#: Microsoft.SemanticKernel.Agents.OpenAI, Microsoft.SemanticKernel.Agents.Core  Quickstart, Tutorials, Semantic Kernel Samples
6. ENTWICKLUNG SEMANTIC KERNEL  Framework von Microsoft  Modell-unabhängig  Entwicklung mit C#, Python oder Java möglich API-MODELLE  Assistant API Agents: Wenn die OpenAI Assistant API verwendet wird • Microsoft.SemanticKernel.Agents.Abstraction  Chat Completion Agents: Wenn andere Modelle verwendet werden • Microsoft.SemanticKernel.Agents.Core
7. DEMO OpenAI Assistants API
8. OPEN AI ASSISTANTS API CODE INTERPRETER  Erzeugen und ausführen von Python-Scripts in einer Sandbox  Assistant Playground: No-Code-Umgebung zum Testen  OpenAI Playground
9. DEMO OpenAI Assistants: Code Interpreter
10. ASSISTANTS FILE SEARCH  Bietet die Möglichkeit Dateien hochzuladen und zu analysieren  Bis zu 10K Dateien pro Assistent  Semantischer Suche mit Hilfe von Vector Stores
11. DEMO Azure OpenAI Assistants File Search
12. ZUKÜNFTIGE ENTWICKLUNG WEITERE TOOLS  Web Search: Fragen auf Grundlage von Web-Suchen beantworten  Computer Use: Lokalen Rechner fernsteuern, um Aufgaben zu erledigen
13. MULTI-AGENT ORCHESTRATION HINTERGRUND  Mehrere Agents erledigen gemeinsam eine Aufgabe  Bessere Resultate durch Cross-funktionale Teams  Organisator/Planner koordiniert die Arbeiten
14. AGENTS Agent 2 Agent 1 Agent 4 Agent 3 Plug-In 2 Plug-In 1 Tool 2 Tool 1 Group Chat User
15. GROUP CHAT AUFGABE  Gemeinsame Chat History  Es wird eine feste Reihenfolge festgelegt  Die Kommunikation läuft im Kreis  Termination-Strategie dient zur Beendigung
16. TERMINATION STRATEGIES KLASSEN  AggregatorTerminationStrategy Aggregiert ein Set von TerminationStrategy-Objekten.  KernelFunctionTerminationStrategy Signalisiert die Beendigung basieren auf der Auswertung einer Kernel-Funktion.  RegexTerminationStrategy Signalisiert die Beendigung, wenn die neuste Nachricht mit der definierten RegEx für den angegebenen Agenten übereinstimmt.
17. DEMO Agent Teams mit Semantic Kernel entwickeln
18. WAS GIBT‘S SONST NOCH? PROCESS FRAMEWORK  Event-getriebenes Modell zur Automatisierung komplexer Workflows  Definiert einen Prozess mit mehreren Schritten und einem Ablaufmuster  Basiert auf .NET  Teil von Semantic Kernel (Microsoft.SemanticKernel.Process.*)
19. WAS GIBT‘S SONST NOCH? AUTOGEN  Open Source-Projekt von Microsoft Research  Unterstützt auch Human- und Multi-Agent-Workflows  Basiert auf Python  AutoGen Home
20. WAS GIBT‘S SONST NOCH? OPENAI RESPONSES API  Neue API von OpenAI für Agent-Entwicklung  Kombiniert Chat API & Assistants API  Verfügbar für Python und JS  Teil des openai package pip install --upgrade openai
21. WAS GIBT‘S SONST NOCH? OPENAI AGENTS SDK  Vereinfacht die Orchestrierung von Multi-Agenten-Workflows  Nachfolger des Swarm-Frameworks von OpenAI  Verfügbar für Python und Node.js (demnächst) pip install openai-agents
22. FAZIT  Assistenten können Aufgaben erledigen und hierfür Tools verwenden  Dynamische Code-Generierung durch Code Interpreter  Agenten bilden autonome Teams, in denen sie miteinander interagieren und gemeinschaftlich Aufgaben erledigen  Mit Hilfe von Tools & Plug-Ins können die Systeme aktiv handeln
23. Q& A
24. RESSOURCEN  AI Agents for Beginners  Azure AI Agent Service  Semantic Kernel Agent Samples  OpenAI Responses API
25. RESSOURCEN SEMANTIC KERNEL: PROCESS FRAMEWORK  Integrating AI into Business Processes with the Process Framework  Process Framework learning content  .NET samples on GitHub
26. OPENAI ASSISTANTS – SUPPORTED FILE TYPES File format MIME Type Code Interpreter .c text/x-c .cpp text/x-c++ .csv application/csv .docx application/vnd.openxmlformats-officedocument.wordprocessingml.document .html text/html .java text/x-java .json application/json .md text/markdown .pdf application/pdf .php text/x-php .pptx application/vnd.openxmlformats-officedocument.presentationml.presentation .py text/x-python .py text/x-script.python .rb text/x-ruby .tex text/x-tex .txt text/plain .css text/css .jpeg image/jpeg .jpg image/jpeg .js text/javascript .gif image/gif .png image/png .tar application/x-tar .ts application/typescript .xlsx application/vnd.openxmlformats-officedocument.spreadsheetml.sheet .xml application/xml or "text/xml" .zip application/zip
27. "The electric light did not come from the continuous improvement of candles." Oren Harari, Wirtschaftsprofessor NeoGeeks AI Workshops Generative AI eröffnet viele neue Möglichkeiten in diversen Geschäftsbereichen. Ob als Chat im Kundensupport, als Unterstützung im Vertragsmanagement, dem Texten und Entwerfen von Logos im Marketing oder als Hilfe beim Onboarding neuer Mitarbeiter*innen – das Feld an Möglichkeiten ist vielfältig. Doch auch die Themen Datenschutz und IT-Sicherheit müssen hierbei berücksichtig werden. Wir möchten Euch helfen von den neuen Möglichkeiten zu profitieren! Dazu bieten wir Euch individuelle Workshop an, in denen wir zeigen, wie Ihr AI-Modelle in Eurem Unternehmen sicher betreiben und mit Eurem domänenspezifischen Wissen trainieren könnt. Wir unterstützen Euch beim Finden von sinnvollen Einsatzszenarien, dem Sammeln und Aufbereiten der erforderlichen Daten, bis hin zur Integration in Eure IT- Landschaft. Wir helfen Euer AI-Vorhaben zu realisieren. AI Ideation Workshop • Einordnung des Themas und der Möglichkeiten • Ideenfindung im Kontext des eigenen Geschäfts • Zielgruppe: Entscheider • Dauer: ½ Tag › Die Agenda kann individuell auf Eure Bedürfnisse angepasst werden. › Wir führen die Workshops je nach Bedarf bei Euch im Haus oder remote durch. › Im Anschluss erhaltet ihr neben dem Folienmaterial eine Dokumentation der diskutierten Themen, sowie eine Empfehlung für das weitere Vorgehen. › Die Workshops werden durch Jörg Neumann durchgeführt. Er ist Microsoft MVP für die Bereiche Azure OpenAI Service und Azure Machine Learning Platform und verfügt über langjährige Erfahrung im AI-Umfeld. Kontakt: joerg.neumann@neogeeks.de AI Exploration Workshop • Überblick der technischen Möglichkeiten • Entwurf eines Projekts oder PoC • Projektplanung und Setup • Zielgruppe: Architekten • Dauer: 1 Tag AI Developer Training • Technisches Training zu GenAI • Anpassen von Modellen • Entwickeln von AI-Lösungen • Zielgruppe: Entwickler • Dauer: 2 Tage Coaching und Mentoring • Beratung und Projekt- begleitendes Coaching Development Power • Unterstützung für Euer Team • Entwicklung Eurer Lösung