Was kann ChatGPT?

Transcript

1. Was kann ChatGPT?
   JÖRG NEUMANN | ACLUE
   VINCENT MARTENS | ACLUE
   

   View Slide

2. THEMEN
   ▪ Machine Learning
   ▪ Frontend Technologies
   ▪ Mobile Development
   ▪ Consulting, Coaching, Training
   KONTAKT
   ▪ Mail: Joerg.Neumann@Aclue.de
   ▪ Twitter: @JoergNeumann
   THEMEN
   ▪ AWS Solutions Architekt
   ▪ Machine Learning
   ▪ Go und Typescript DevOps
   ▪ Consulting, Training​
   KONTAKT
   ▪ Mail: Vincent.Martens@aclue.de
   JÖRG NEUMANN VINCENT MARTENS
   

   View Slide

3. View Slide

4. TOKENIZATION
   Tokens
   Text
   Token IDs
   Tokens
   ▪ einzelne Zeichen, Wörter oder
   Teile von Wörtern
   ▪ je nach verwendeter
   Tokenisierung und Sprache
   ▪ 100 Tokens ~= 75 Wörter
   ▪ Byte Pair Encoding Algorithmus
   Token ID
   ▪ Eindeutige ID eines Token
   ▪ werden im Vokabular
   gespeichert
   ▪ Liste, die alle Tokens
   enthält, die das Modell
   kennt
   ▪ GPT-3: ca. 50k Tokens
   Limits
   ▪ Einschränkung für Input
   und Output Tokens
   ▪ GPT-3: 4096 Tokens
   ▪ GPT-4: 8096 Tokens
   Parameter
   ▪ Gewichte & Schwellenwerte
   ▪ GPT-1: 117 Millionen
   ▪ GPT-2: 1,5 Milliarden
   ▪ GPT-3: 175 Milliarden
   ▪ GPT-4: 170 Billionen
   

   View Slide

5. QUELLEN DER TRAININGSDATEN
   Common Crawl
   67%
   C4
   15%
   GitHub
   4,5%
   Wikipedia
   4,5%
   Books
   4,5%
   ArXiv
   2,5%
   Stack Exchange
   2%
   [Trainingsdaten Mix von Meta‘s LLaMA Model]
   

   View Slide

6. WIE FUNKTIONIERT‘S?
   PRETRAINING
   Internet Daten
   Billionen von Wörtern
   Relative schlechte Qualität
   Model kann deployed werden
   Beispiele: GPT, LLaMA, PaLM
   Language Modeling
   tausende GPUs
   monatelanges Training
   SUPERVISED FINETUNING
   Demonstrationen
   ideale Antworten
   manuell generiert
   Model kann deployed werden
   Beispiel: Vicuna-13B
   Language Modeling
   wenige GPUs
   tagelanges Training
   REWARD MODELING
   Vergleiche
   mögliche Antworten vergleichen
   manueller Vorgang
   Algorithmus sagt Rewards voraus
   wenige GPUs
   tagelanges Training
   REINFORCEMENT LEARNING
   Prompts
   bis zu hunderttausend Prompts
   manuell generiert
   Modell kann deployed werden
   Beispiel: ChatGPT, Claude
   Algorithmus generiert Tokens
   mit maximalen Rewards
   tagelanges Training / wenige GPUs
   

   View Slide

7. Daniel
   Architektur
   Clara
   PO
   Sarah
   Frontend
   Josh
   Backend
   Tim
   DevOps
   Das Team
   Was bedeutet das für uns?
   ▪ KI wird die Art und Weise verändern,
   wie wir Software entwickeln
   ▪ Steigerung der Produktivität
   ▪ Verbesserung der Code Qualität
   ▪ Weniger individuelles Fachwissen
   erforderlich
   ▪ Entwicklung KI-gestützter Software
   

   View Slide

8. PHASE 1:
   KI als Dev Tool
   

   View Slide

9. Daniel
   Architektur
   Clara
   PO
   Sarah
   Frontend
   Josh
   Backend
   Tim
   DevOps
   Das Team
   Wo kann KI unterstützen?
   ▪ Code generieren
   ▪ Code analysieren / verbessern
   ▪ Bugs erkennen
   ▪ Unit Tests schreiben
   ▪ Code in andere Sprache
   übersetzen
   ▪ Code erklären
   

   View Slide

10. DEMO
    CODE GENERATION
    MIT CHAT GPT
    

    View Slide

11. Daniel
    Architektur
    Clara
    PO
    Sarah
    Frontend
    Josh
    Backend
    Tim
    DevOps
    Das Team
    Was gibt‘s für Tools?
    ▪ GitHub Copilot
    ▪ Cody
    ▪ StarCoder
    ▪ Code Whisperer
    ▪ Bito
    ▪ …
    

    View Slide

12. DEMO
    CODE GENERATION
    TOOLS
    

    View Slide

13. PHASE 2:
    KI als virtuelles
    Team Mitglied
    

    View Slide

14. Daniel
    Architektur
    Clara
    PO
    Sarah
    Frontend
    Josh
    Backend
    Tim
    DevOps
    Das Team
    Typische Aufgaben
    ▪ Infrastruktur bereitstellen
    ▪ VMs provisionieren
    ▪ Datenbanken aufsetzen
    ▪ CI/CD Pipeline bauen
    ▪ Repos anlegen
    ▪ …
    Durchführung
    ▪ Engineer arbeitet Tickets ab
    

    View Slide

15. Daniel
    Architektur
    Clara
    PO
    Sarah
    Frontend
    Josh
    Backend
    Tim
    DevOps
    Das Board
    

    View Slide

16. Daniel
    Architektur
    Clara
    PO
    Sarah
    Frontend
    Josh
    Backend
    Tim
    DevOps
    Das Ticket
    

    View Slide

17. Daniel
    Architektur
    Clara
    PO
    Sarah
    Frontend
    Josh
    Backend
    Tim
    DevOps
    Die Umsetzung
    

    View Slide

18. Daniel
    Architektur
    Clara
    PO
    Sarah
    Frontend
    Josh
    Backend
    Tim
    DevOps
    Die Umsetzung
    KI
    DevOps
    

    View Slide

19. Daniel
    Architektur
    Clara
    PO
    Sarah
    Frontend
    Josh
    Backend
    KI
    DevOps
    Das Team
    Typische Aufgaben
    ▪ Fachliche Anforderungen
    ermitteln
    ▪ Epics & User Stories
    schreiben
    ▪ Kommunikation mit Devs &
    Stakeholdern
    Durchführung
    ▪ Schreibt Epics,
    Stories & Tickets
    ▪ QS, PM
    

    View Slide

20. Daniel
    Architektur
    Clara
    PO
    Sarah
    Frontend
    Josh
    Backend
    KI
    DevOps
    Das Team
    Typische Aufgaben
    ▪ Fachliche Anforderungen
    ermitteln
    ▪ Epics & User Stories
    schreiben
    ▪ Kommunikation mit Devs &
    Stakeholdern
    Durchführung
    ▪ Schreibt Epics,
    Stories & Tickets
    ▪ QS, PM
    Azure Open AI Service
    ▪ Eigene GPT-
    Instanzen hosten
    ▪ Spezialisierte GPT-
    Modelle bereitstellen
    ▪ Pre-Prompting
    ▪ Custom Data
    ▪ …
    KI
    PO
    

    View Slide

21. DEMO
    VIRTUELLES
    TEAM MITGLIED
    

    View Slide

22. PHASE 3:
    KI als
    Dev Team
    

    View Slide

23. Clara
    PO
    Sarah
    Frontend
    Josh
    Backend
    Tim
    DevOps
    Daniel
    Architektur
    Das Team
    Typische Aufgaben
    ▪ Technische Konzeption
    ▪ Prototyping
    ▪ Code schreiben
    ▪ Technical Review
    ▪ QM
    ▪ …
    Durchführung
    ▪ Dev Team steuern
    TheForgeAI / MS Prompt Flow
    ▪ Spezifische KIs in einem
    Workflow zusammenarbeiten
    lassen
    ▪ Jede KI übernimmt eine
    eigene Rolle
    ▪ KIs können miteinander
    kommunizieren
    

    View Slide

24. Typische Aufgaben
    ▪ Fachlichkeit analysieren
    ▪ Technische Konzeption
    ▪ KIs bauen
    ▪ Technical Review
    ▪ Customizing
    ▪ …
    Durchführung
    ▪ KIs steuern
    Clara
    PO
    Sarah
    Frontend
    Josh
    Backend
    Tim
    DevOps
    Daniel
    Architektur
    KI
    PO
    KI
    Frontend
    KI
    Backend
    KI
    DevOps
    Das Team
    TheForgeAI / MS Prompt Flow
    ▪ Spezifische KIs in einem
    Workflow zusammenarbeiten
    lassen
    ▪ Jede KI übernimmt eine
    eigene Rolle
    ▪ KIs können miteinander
    kommunizieren
    

    View Slide

25. DEMO
    VIRTUELLE
    TEAMS BAUEN
    

    View Slide

26. FAZIT
    ▪ KI wird die Softwareentwicklung verändern
    ▪ Mächtige Tools werden uns unterstützen
    ▪ Wir werden zukünftig AI-driven Software bauen
    ▪ Ein gutes Verständnis der Technologien ist erforderlich
    

    View Slide

27. RESSOURCEN
    ▪ ChatGPT
    ▪ BratGPT: der etwas andere Code-Generator
    ▪ GitHub Copilot: Code-Generator
    ▪ Cody: VSCode Extension
    ▪ Azure OpenAI: Service: Eigene GPT-basierte Modelle entwickeln
    ▪ TheForgeAI: KI-Workflows bauen
    ▪ LearnPrompting: Lernen wie man mit KI richtig spricht
    ▪ Kurse auf Deeplearning.ai
    

    View Slide

28. Q & A
    

    View Slide