In geheimer Mission: AI Agents entwickeln

Transcript

1. In geheimer Mission AI Agents entwickeln Jörg Neumann
2. THEMEN  AI Development  Business App Development  Frontend Technologies  Development, Consulting, Coaching, Training KONTAKT  Mail: joerg.neumann@neogeeks.de  LinkedIn: www.linkedin.com/in/jörgneumann  X: @JoergNeumann  Web: www.neogeeks.de JÖRG NEUMANN Founder & CEO NeoGeeks GmbH Azure OpenAI Service, Azure Machine Learning Platform
3. BOTS, ASSISTANTS, & AGENTS Chatbot Allgemeine Fragen beantworten, sowie Texte und Bilder generieren RAG Fragen auf Basis einer fachlichen Grundierung beantworten Assistant Assistent der mit dem Benutzer zusammenarbeiten und Tools verwenden, um eine Aufgabe zu erledigen Agents Vollständig autonom agierende Agenten, die zusammen eine Aufgabe erledigen und nur sehr wenig Benutzerinteraktion erfordern
4. DATEN • Dokumente • Datenbankinhalte TOOLS • Funktionen • Code Interpreter • File Search WAS IST EIN AGENT? Ausgabe Eingabe ML Model • Speech, Vision • Regression • Klassifizierung Agent übernimmt Teilaufgaben LLM
5. ASSISTANTS OPEN AI ASSISTANTS API  Bietet eine stateful API für die Entwicklung von Assistenten  Session / Thread Management  Bietet Tools: Code Interpreter, File Search PACKAGES  Python: PyPi package  C#: Microsoft.SemanticKernel.Agents.OpenAI, Microsoft.SemanticKernel.Agents.Core  Quickstart, Tutorials, Semantic Kernel Samples
6. ENTWICKLUNG SEMANTIC KERNEL  Framework von Microsoft  Modell-unabhängig  Entwicklung mit C#, Python oder Java möglich API-MODELLE  Assistant API Agents: Wenn die OpenAI Assistant API verwendet wird  Microsoft.SemanticKernel.Agents.Abstraction  Chat Completion Agents: Wenn andere Modelle verwendet werden  Microsoft.SemanticKernel.Agents.Core
7. DEMO OpenAI Assistants API
8. OPEN AI ASSISTANTS API CODE INTERPRETER  Erzeugen und ausführen von Python-Scripts in einer Sandbox  Assistant Playground: No-Code-Umgebung zum Testen  OpenAI Playground
9. DEMO OpenAI Assistants: Code Interpreter
10. ASSISTANTS FILE SEARCH  Bietet die Möglichkeit Dateien hochzuladen und zu analysieren  Bis zu 10K Dateien pro Assistent  Semantischer Suche mit Hilfe von Vector Stores
11. DEMO Azure OpenAI Assistants File Search
12. AGENTS – AUFBAU PERSONA  Rolle des Agenten PLANNER  Generiert einen Plan / entscheidet wann ein Funktion aufgerufen werden soll PLUG-IN  Führt eine Funktionalität/Aktion aus
13. PERSONAS HINTERGRUND  Bestimmt, wie der Agent Aufgaben plant, Ergebnisse produziert und mit dem User interagiert  Wird auch als Meta Prompt oder Instruction bezeichnet  Wird als System Message implementiert
14. PERSONAS Schritt Beschreibung Klare Ziele definieren Bevor Sie eine Persona erstellen, definieren Sie klar die Ziele, die der Agent erreichen soll. Dazu gehört das Verständnis der Aufgaben, die der Agent ausführen wird, und der Art der Interaktionen, die Sie mit den Nutzern erwarten. Spezifische Rollen oder öffentliche Persönlichkeiten als Referenz verwenden Eine gut definierte Persona sollte spezifische Details zum Verhalten, Ton und Stil des Agenten enthalten. Vermeiden Sie vage Beschreibungen, indem Sie spezifische Rollen oder öffentliche Persönlichkeiten als Referenzen verwenden, damit das LLM ihr Verhalten besser nachahmen kann. Beispiele und Szenarien bereitstellen Um dem Agenten zu helfen, seine Rolle besser zu verstehen, geben Sie Beispiele und Szenarien an, die die Persona in Aktion zeigen. Dies kann Beispieldialoge, Nutzererzählungen oder Anwendungsfälle beinhalten, die demonstrieren, wie der Agent in verschiedenen Situationen reagieren sollte. Anweisungen für den Fall von Ausnahmen hinzufügen Geben Sie Anweisungen dazu, was der Agent tun soll, wenn er auf eine unbekannte Situation trifft oder keine Antwort geben kann. Dies kann beinhalten, um Hilfe zu bitten, alternative Lösungen anzubieten oder einfach anzuerkennen, dass er keine Antwort hat. Iterieren und verfeinern Personas sind nicht statisch. Testen und verfeinern Sie Ihre Personas kontinuierlich basierend auf Nutzerfeedback und Leistungsdaten. Dies hilft, die Effektivität des Agenten im Laufe der Zeit zu verbessern.
15. DEMO Agents mit Semantic Kernel entwickeln
16. MULTI-AGENT ORCHESTRATION HINTERGRUND  Bessere Resultate durch Cross-funktionale Teams  Mehrere Agents erledigen gemeinsam eine Aufgabe  Organisator/Planner koordiniert die Arbeiten
17. AGENTS Agent 2 Agent 1 Agent 4 Agent 3 Plug-In 2 Plug-In 1 Plug-In 4 Plug-In 3 Group Chat User
18. GROUP CHAT AUFGABE  Gemeinsame Chat History  Es wird eine feste Reihenfolge festgelegt  Die Kommunikation läuft im Kreis  Termination-Strategie dient zur Beendigung
19. TERMINATION STRATEGIES KLASSEN  AggregatorTerminationStrategy Aggregiert ein Set von TerminationStrategy-Objekten.  KernelFunctionTerminationStrategy Signalisiert die Beendigung basieren auf der Auswertung einer Kernel-Funktion.  RegexTerminationStrategy Signalisiert die Beendigung, wenn die neuste Nachricht mit der definierten RegEx für den angegebenen Agenten übereinstimmt.
20. DEMO Agent Teams mit Semantic Kernel entwickeln
21. WAS GIBT‘S SONST NOCH? PROCESS FRAMEWORK  Event-getriebenes Modell zur Automatisierung komplexer Workflows  Definiert einen Prozess mit mehreren Schritten und einem Ablaufmuster  Basiert auf .NET  Teil von Semantic Kernel (Microsoft.SemanticKernel.Process.*)
22. WAS GIBT‘S SONST NOCH? AUTOGEN  Open Source-Projekt von Microsoft Research  Unterstützt auch Human- und Multi-Agent-Workflows  Basiert auf Python  AutoGen Home
23. WAS GIBT‘S SONST NOCH? SWARM  Experimentelles Open Source- Projekt von OpenAI  Basiert auf Python  Swarm Home
24. FAZIT  Assistenten können Aufgaben erledigen und hierfür Tools verwenden  Dynamische Code-Generierung durch Code Interpreter  Agenten bilden autonome Teams, in denen sie miteinander interagieren und gemeinschaftlich Aufgaben erledigen  Mit Hilfe von Tools & Plug-Ins können die Systeme aktiv handeln
25. Q& A
26. RESSOURCEN  AI Agents for Beginners  Azure AI Agent Service  Semantic Kernel Agent Samples
27. RESSOURCEN SEMANTIC KERNEL: PROCESS FRAMEWORK  Integrating AI into Business Processes with the Process Framework  Process Framework learning content  .NET samples on GitHub
28. OPENAI ASSISTANTS – SUPPORTED FILE TYPES File format MIME Type Code Interpreter .c text/x-c .cpp text/x-c++ .csv application/csv .docx application/vnd.openxmlformats-officedocument.wordprocessingml.document .html text/html .java text/x-java .json application/json .md text/markdown .pdf application/pdf .php text/x-php .pptx application/vnd.openxmlformats-officedocument.presentationml.presentation .py text/x-python .py text/x-script.python .rb text/x-ruby .tex text/x-tex .txt text/plain .css text/css .jpeg image/jpeg .jpg image/jpeg .js text/javascript .gif image/gif .png image/png .tar application/x-tar .ts application/typescript .xlsx application/vnd.openxmlformats-officedocument.spreadsheetml.sheet .xml application/xml or "text/xml" .zip application/zip
29. "The electric light did not come from the continuous improvement of candles." Oren Harari, Wirtschaftsprofessor NeoGeeks AI Workshops Generative AI eröffnet viele neue Möglichkeiten in diversen Geschäftsbereichen. Ob als Chat im Kundensupport, als Unterstützung im Vertragsmanagement, dem Texten und Entwerfen von Logos im Marketing oder als Hilfe beim Onboarding neuer Mitarbeiter*innen – das Feld an Möglichkeiten ist vielfältig. Doch auch die Themen Datenschutz und IT-Sicherheit müssen hierbei berücksichtig werden. Wir möchten Euch helfen von den neuen Möglichkeiten zu profitieren! Dazu bieten wir Euch individuelle Workshop an, in denen wir zeigen, wie Ihr AI-Modelle in Eurem Unternehmen sicher betreiben und mit Eurem domänenspezifischen Wissen trainieren könnt. Wir unterstützen Euch beim Finden von sinnvollen Einsatzszenarien, dem Sammeln und Aufbereiten der erforderlichen Daten, bis hin zur Integration in Eure IT- Landschaft. Wir helfen Euer AI-Vorhaben zu realisieren. AI Ideation Workshop • Einordnung des Themas und der Möglichkeiten • Ideenfindung im Kontext des eigenen Geschäfts • Zielgruppe: Entscheider • Dauer: ½ Tag › Die Agenda kann individuell auf Eure Bedürfnisse angepasst werden. › Wir führen die Workshops je nach Bedarf bei Euch im Haus oder remote durch. › Im Anschluss erhaltet ihr neben dem Folienmaterial eine Dokumentation der diskutierten Themen, sowie eine Empfehlung für das weitere Vorgehen. › Die Workshops werden durch Jörg Neumann durchgeführt. Er ist Microsoft MVP für die Bereiche Azure OpenAI Service und Azure Machine Learning Platform und verfügt über langjährige Erfahrung im AI-Umfeld. Kontakt: joerg.neumann@neogeeks.de AI Exploration Workshop • Überblick der technischen Möglichkeiten • Entwurf eines Projekts oder PoC • Projektplanung und Setup • Zielgruppe: Architekten • Dauer: 1 Tag AI Developer Training • Technisches Training zu GenAI • Anpassen von Modellen • Entwickeln von AI-Lösungen • Zielgruppe: Entwickler • Dauer: 2 Tage Coaching und Mentoring • Beratung und Projekt- begleitendes Coaching Development Power • Unterstützung für Euer Team • Entwicklung Eurer Lösung
30. AI Dev Camp 2025 30.9.-1.10.2025 in Düsseldorf Das Trainingsevent für KI-getriebene Softwareentwicklung. 2 Tage geballte Wissensvermittlung mit Jörg Neumann, Neno Loje & Special Guests. Jörg Neumann MVP AI Platform Neno Loje MVP Developer Technologies www.AIDevCamp.de