Was kann ChatGPT?

Transcript

1. Was kann ChatGPT? JÖRG NEUMANN | ACLUE VINCENT MARTENS | ACLUE
2. THEMEN ▪ Machine Learning ▪ Frontend Technologies ▪ Mobile Development ▪ Consulting, Coaching, Training KONTAKT ▪ Mail: Joerg.Neumann@Aclue.de ▪ Twitter: @JoergNeumann THEMEN ▪ AWS Solutions Architekt ▪ Machine Learning ▪ Go und Typescript DevOps ▪ Consulting, Training​ KONTAKT ▪ Mail: Vincent.Martens@aclue.de JÖRG NEUMANN VINCENT MARTENS
4. TOKENIZATION Tokens Text Token IDs Tokens ▪ einzelne Zeichen, Wörter oder Teile von Wörtern ▪ je nach verwendeter Tokenisierung und Sprache ▪ 100 Tokens ~= 75 Wörter ▪ Byte Pair Encoding Algorithmus Token ID ▪ Eindeutige ID eines Token ▪ werden im Vokabular gespeichert ▪ Liste, die alle Tokens enthält, die das Modell kennt ▪ GPT-3: ca. 50k Tokens Limits ▪ Einschränkung für Input und Output Tokens ▪ GPT-3: 4096 Tokens ▪ GPT-4: 8096 Tokens Parameter ▪ Gewichte & Schwellenwerte ▪ GPT-1: 117 Millionen ▪ GPT-2: 1,5 Milliarden ▪ GPT-3: 175 Milliarden ▪ GPT-4: 170 Billionen
5. QUELLEN DER TRAININGSDATEN Common Crawl 67% C4 15% GitHub 4,5% Wikipedia 4,5% Books 4,5% ArXiv 2,5% Stack Exchange 2% [Trainingsdaten Mix von Meta‘s LLaMA Model]
6. WIE FUNKTIONIERT‘S? PRETRAINING Internet Daten Billionen von Wörtern Relative schlechte Qualität Model kann deployed werden Beispiele: GPT, LLaMA, PaLM Language Modeling tausende GPUs monatelanges Training SUPERVISED FINETUNING Demonstrationen ideale Antworten manuell generiert Model kann deployed werden Beispiel: Vicuna-13B Language Modeling wenige GPUs tagelanges Training REWARD MODELING Vergleiche mögliche Antworten vergleichen manueller Vorgang Algorithmus sagt Rewards voraus wenige GPUs tagelanges Training REINFORCEMENT LEARNING Prompts bis zu hunderttausend Prompts manuell generiert Modell kann deployed werden Beispiel: ChatGPT, Claude Algorithmus generiert Tokens mit maximalen Rewards tagelanges Training / wenige GPUs
7. Daniel Architektur Clara PO Sarah Frontend Josh Backend Tim DevOps Das Team Was bedeutet das für uns? ▪ KI wird die Art und Weise verändern, wie wir Software entwickeln ▪ Steigerung der Produktivität ▪ Verbesserung der Code Qualität ▪ Weniger individuelles Fachwissen erforderlich ▪ Entwicklung KI-gestützter Software
8. PHASE 1: KI als Dev Tool
9. Daniel Architektur Clara PO Sarah Frontend Josh Backend Tim DevOps Das Team Wo kann KI unterstützen? ▪ Code generieren ▪ Code analysieren / verbessern ▪ Bugs erkennen ▪ Unit Tests schreiben ▪ Code in andere Sprache übersetzen ▪ Code erklären
10. DEMO CODE GENERATION MIT CHAT GPT
11. Daniel Architektur Clara PO Sarah Frontend Josh Backend Tim DevOps Das Team Was gibt‘s für Tools? ▪ GitHub Copilot ▪ Cody ▪ StarCoder ▪ Code Whisperer ▪ Bito ▪ …
12. DEMO CODE GENERATION TOOLS
13. PHASE 2: KI als virtuelles Team Mitglied
14. Daniel Architektur Clara PO Sarah Frontend Josh Backend Tim DevOps Das Team Typische Aufgaben ▪ Infrastruktur bereitstellen ▪ VMs provisionieren ▪ Datenbanken aufsetzen ▪ CI/CD Pipeline bauen ▪ Repos anlegen ▪ … Durchführung ▪ Engineer arbeitet Tickets ab
15. Daniel Architektur Clara PO Sarah Frontend Josh Backend Tim DevOps Das Board
16. Daniel Architektur Clara PO Sarah Frontend Josh Backend Tim DevOps Das Ticket
17. Daniel Architektur Clara PO Sarah Frontend Josh Backend Tim DevOps Die Umsetzung
18. Daniel Architektur Clara PO Sarah Frontend Josh Backend Tim DevOps Die Umsetzung KI DevOps
19. Daniel Architektur Clara PO Sarah Frontend Josh Backend KI DevOps Das Team Typische Aufgaben ▪ Fachliche Anforderungen ermitteln ▪ Epics & User Stories schreiben ▪ Kommunikation mit Devs & Stakeholdern Durchführung ▪ Schreibt Epics, Stories & Tickets ▪ QS, PM
20. Daniel Architektur Clara PO Sarah Frontend Josh Backend KI DevOps Das Team Typische Aufgaben ▪ Fachliche Anforderungen ermitteln ▪ Epics & User Stories schreiben ▪ Kommunikation mit Devs & Stakeholdern Durchführung ▪ Schreibt Epics, Stories & Tickets ▪ QS, PM Azure Open AI Service ▪ Eigene GPT- Instanzen hosten ▪ Spezialisierte GPT- Modelle bereitstellen ▪ Pre-Prompting ▪ Custom Data ▪ … KI PO
21. DEMO VIRTUELLES TEAM MITGLIED
22. PHASE 3: KI als Dev Team
23. Clara PO Sarah Frontend Josh Backend Tim DevOps Daniel Architektur Das Team Typische Aufgaben ▪ Technische Konzeption ▪ Prototyping ▪ Code schreiben ▪ Technical Review ▪ QM ▪ … Durchführung ▪ Dev Team steuern TheForgeAI / MS Prompt Flow ▪ Spezifische KIs in einem Workflow zusammenarbeiten lassen ▪ Jede KI übernimmt eine eigene Rolle ▪ KIs können miteinander kommunizieren
24. Typische Aufgaben ▪ Fachlichkeit analysieren ▪ Technische Konzeption ▪ KIs bauen ▪ Technical Review ▪ Customizing ▪ … Durchführung ▪ KIs steuern Clara PO Sarah Frontend Josh Backend Tim DevOps Daniel Architektur KI PO KI Frontend KI Backend KI DevOps Das Team TheForgeAI / MS Prompt Flow ▪ Spezifische KIs in einem Workflow zusammenarbeiten lassen ▪ Jede KI übernimmt eine eigene Rolle ▪ KIs können miteinander kommunizieren
25. DEMO VIRTUELLE TEAMS BAUEN
26. FAZIT ▪ KI wird die Softwareentwicklung verändern ▪ Mächtige Tools werden uns unterstützen ▪ Wir werden zukünftig AI-driven Software bauen ▪ Ein gutes Verständnis der Technologien ist erforderlich
27. RESSOURCEN ▪ ChatGPT ▪ BratGPT: der etwas andere Code-Generator ▪ GitHub Copilot: Code-Generator ▪ Cody: VSCode Extension ▪ Azure OpenAI: Service: Eigene GPT-basierte Modelle entwickeln ▪ TheForgeAI: KI-Workflows bauen ▪ LearnPrompting: Lernen wie man mit KI richtig spricht ▪ Kurse auf Deeplearning.ai
28. Q & A