Slide 1

Slide 1 text

ZURÜCK IN DIE ZUKUNFT AI-driven Software Development JÖRG NEUMANN | ACLUE NENO LOJE | FREELANCER

Slide 2

Slide 2 text

QUELLEN DER TRAININGSDATEN Common Crawl 67% C4 15% GitHub 4,5% Wikipedia 4,5% Books 4,5% ArXiv 2,5% Stack Exchange 2% [Trainingsdaten Mix von Meta‘s LLaMA Model]

Slide 3

Slide 3 text

TOKENS & EMBEDDINGS Tokens Text Token IDs Tokens  einzelne Zeichen, Wörter oder Teile von Wörtern  je nach verwendeter Tokenisierung und Sprache  100 Tokens ~= 75 Wörter  Byte Pair Encoding Algorithmus Token ID  Eindeutige ID eines Token  werden im Vokabular gespeichert – Liste aller Tokens, die das Modell kennt  GPT-3: ca. 50k Tokens Limits  Einschränkung für Input und Output Tokens  GPT-3: 4096 Tokens  GPT-4: 8096 Tokens/32K Parameter  Gewichte & Schwellenwerte  GPT-1: 117 Millionen  GPT-2: 1,5 Milliarden  GPT-3: 175 Milliarden  GPT-4: 170 Billionen Embeddings  Vektoren: Liste von 200+ Dimensionen  Fließkommazahlen mit denen das Modell rechnet

Slide 4

Slide 4 text

WIE FUNKTIONIERT‘S? PRETRAINING Internet Daten Billionen von Wörtern Relative schlechte Qualität Model kann deployed werden Beispiele: GPT, LLaMA, PaLM Language Modeling tausende GPUs monatelanges Training SUPERVISED FINETUNING Demonstrationen ideale Antworten manuell generiert Model kann deployed werden Beispiel: Vicuna-13B Language Modeling wenige GPUs tagelanges Training REWARD MODELING Vergleiche mögliche Antworten vergleichen manueller Vorgang Algorithmus sagt Rewards voraus wenige GPUs tagelanges Training REINFORCEMENT LEARNING Prompts bis zu hunderttausend Prompts manuell generiert Modell kann deployed werden Beispiel: ChatGPT, Claude Algorithmus generiert Tokens mit maximalen Rewards tagelanges Training / wenige GPUs

Slide 5

Slide 5 text

Daniel Architektur Clara PO Sarah Frontend Josh Backend Tim DevOps Das Team Herausforderungen  Steigerung der Produktivität  Verbesserung der Code Qualität  Weniger individuelles Fachwissen erforderlich  Entwicklung KI-gestützter Software  KI wird die Art und Weise verändern, wie wir Software entwickeln

Slide 6

Slide 6 text

PHASE 1: KI als Dev Tool

Slide 7

Slide 7 text

Daniel Architektur Clara PO Sarah Frontend Josh Backend Tim DevOps Das Team Wo kann KI unterstützen?  Code generieren  Code analysieren / verbessern  Bugs erkennen  Unit Tests schreiben  Code in andere Sprache übersetzen  Code erklären

Slide 8

Slide 8 text

DEMO CODE GENERATION MIT CHAT GPT

Slide 9

Slide 9 text

Daniel Architektur Clara PO Sarah Frontend Josh Backend Tim DevOps Das Team Was gibt‘s für Tools?  GitHub Copilot  Cody  StarCoder  Code Whisperer  Bito  …

Slide 10

Slide 10 text

DEMO CODE GENERATION TOOLS

Slide 11

Slide 11 text

PHASE 2: KI als virtuelles Team Mitglied

Slide 12

Slide 12 text

Daniel Architektur Clara PO Sarah Frontend Josh Backend Tim DevOps Das Team Typische Aufgaben  Infrastruktur bereitstellen  VMs provisionieren  Datenbanken aufsetzen  CI/CD Pipeline bauen  Repos anlegen  … Durchführung  Engineer arbeitet Tickets ab

Slide 13

Slide 13 text

Daniel Architektur Clara PO Sarah Frontend Josh Backend Tim DevOps Das Board

Slide 14

Slide 14 text

Daniel Architektur Clara PO Sarah Frontend Josh Backend Tim DevOps Das Ticket

Slide 15

Slide 15 text

Daniel Architektur Clara PO Sarah Frontend Josh Backend Tim DevOps Die Umsetzung KI DevOps

Slide 16

Slide 16 text

Daniel Architektur Clara PO Sarah Frontend Josh Backend KI DevOps Das Team Typische Aufgaben  Fachliche Anforderungen ermitteln  Epics & User Stories schreiben  Kommunikation mit Devs & Stakeholdern Durchführung  Schreibt Epics, Stories & Tickets  QS, PM Azure Open AI Service  Eigene GPT- Instanzen hosten  Spezialisierte GPT- Modelle bereitstellen  Pre-Prompting  Custom Data  … KI PO

Slide 17

Slide 17 text

DEMO VIRTUELLES TEAM MITGLIED

Slide 18

Slide 18 text

PHASE 3: KI als Dev Team

Slide 19

Slide 19 text

Clara PO Sarah Frontend Josh Backend Tim DevOps Daniel Architektur KI PO KI Frontend KI Backend KI DevOps Das Team Typische Aufgaben  Technische Konzeption  Prototyping  Code schreiben  Technical Review  QM  … Durchführung  Dev Team steuern Typische Aufgaben  Fachlichkeit analysieren  Technische Konzeption  KIs bauen  Technical Review  Customizing  … Durchführung  KIs steuern TheForgeAI / MS Prompt Flow  Spezifische KIs in einem Workflow zusammenarbeiten lassen  Jede KI übernimmt eine eigene Rolle  KIs können miteinander kommunizieren

Slide 20

Slide 20 text

DEMO VIRTUELLE TEAMS BAUEN

Slide 21

Slide 21 text

FAZIT  KI verbessert Produktivität und Qualität in der Softwareentwicklung  Dadurch haben wir mehr Zeit für die wichtigen Dinge  Ein gutes Verständnis der Technologien ist weiterhin erforderlich  Wir werden zukünftig AI-driven Software bauen

Slide 22

Slide 22 text

RESSOURCEN  ChatGPT  BratGPT: der etwas andere Code-Generator  GitHub Copilot: Code-Generator  Cody: VSCode Extension  Azure OpenAI: Service: Eigene GPT-basierte Modelle entwickeln  TheForgeAI: KI-Workflows bauen  LearnPrompting: Lernen wie man mit KI richtig spricht  Kurse auf Deeplearning.ai

Slide 23

Slide 23 text

Q & A