Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Neumann_Loje_BASTA2023_Keynote_GPT.pdf

Jörg Neumann
September 26, 2023

 Neumann_Loje_BASTA2023_Keynote_GPT.pdf

Jörg Neumann

September 26, 2023
Tweet

More Decks by Jörg Neumann

Other Decks in Technology

Transcript

  1. ZURÜCK IN DIE ZUKUNFT
    AI-driven Software Development
    JÖRG NEUMANN | ACLUE
    NENO LOJE | FREELANCER

    View full-size slide

  2. QUELLEN DER TRAININGSDATEN
    Common Crawl
    67%
    C4
    15%
    GitHub
    4,5%
    Wikipedia
    4,5%
    Books
    4,5%
    ArXiv
    2,5%
    Stack Exchange
    2%
    [Trainingsdaten Mix von Meta‘s LLaMA Model]

    View full-size slide

  3. TOKENS & EMBEDDINGS
    Tokens
    Text
    Token IDs
    Tokens
     einzelne Zeichen, Wörter oder
    Teile von Wörtern
     je nach verwendeter
    Tokenisierung und Sprache
     100 Tokens ~= 75 Wörter
     Byte Pair Encoding Algorithmus
    Token ID
     Eindeutige ID eines Token
     werden im Vokabular
    gespeichert – Liste aller
    Tokens, die das Modell
    kennt
     GPT-3: ca. 50k Tokens
    Limits
     Einschränkung für Input
    und Output Tokens
     GPT-3: 4096 Tokens
     GPT-4: 8096 Tokens/32K
    Parameter
     Gewichte & Schwellenwerte
     GPT-1: 117 Millionen
     GPT-2: 1,5 Milliarden
     GPT-3: 175 Milliarden
     GPT-4: 170 Billionen
    Embeddings
     Vektoren: Liste von 200+
    Dimensionen
     Fließkommazahlen mit
    denen das Modell rechnet

    View full-size slide

  4. WIE FUNKTIONIERT‘S?
    PRETRAINING
    Internet Daten
    Billionen von Wörtern
    Relative schlechte Qualität
    Model kann deployed werden
    Beispiele: GPT, LLaMA, PaLM
    Language Modeling
    tausende GPUs
    monatelanges Training
    SUPERVISED FINETUNING
    Demonstrationen
    ideale Antworten
    manuell generiert
    Model kann deployed werden
    Beispiel: Vicuna-13B
    Language Modeling
    wenige GPUs
    tagelanges Training
    REWARD MODELING
    Vergleiche
    mögliche Antworten vergleichen
    manueller Vorgang
    Algorithmus sagt Rewards voraus
    wenige GPUs
    tagelanges Training
    REINFORCEMENT LEARNING
    Prompts
    bis zu hunderttausend Prompts
    manuell generiert
    Modell kann deployed werden
    Beispiel: ChatGPT, Claude
    Algorithmus generiert Tokens
    mit maximalen Rewards
    tagelanges Training / wenige GPUs

    View full-size slide

  5. Daniel
    Architektur
    Clara
    PO
    Sarah
    Frontend
    Josh
    Backend
    Tim
    DevOps
    Das Team
    Herausforderungen
     Steigerung der Produktivität
     Verbesserung der Code Qualität
     Weniger individuelles Fachwissen
    erforderlich
     Entwicklung KI-gestützter Software
     KI wird die Art und Weise verändern,
    wie wir Software entwickeln

    View full-size slide

  6. PHASE 1:
    KI als Dev Tool

    View full-size slide

  7. Daniel
    Architektur
    Clara
    PO
    Sarah
    Frontend
    Josh
    Backend
    Tim
    DevOps
    Das Team
    Wo kann KI unterstützen?
     Code generieren
     Code analysieren / verbessern
     Bugs erkennen
     Unit Tests schreiben
     Code in andere Sprache
    übersetzen
     Code erklären

    View full-size slide

  8. DEMO
    CODE GENERATION
    MIT CHAT GPT

    View full-size slide

  9. Daniel
    Architektur
    Clara
    PO
    Sarah
    Frontend
    Josh
    Backend
    Tim
    DevOps
    Das Team
    Was gibt‘s für Tools?
     GitHub Copilot
     Cody
     StarCoder
     Code Whisperer
     Bito
     …

    View full-size slide

  10. DEMO
    CODE GENERATION
    TOOLS

    View full-size slide

  11. PHASE 2:
    KI als virtuelles
    Team Mitglied

    View full-size slide

  12. Daniel
    Architektur
    Clara
    PO
    Sarah
    Frontend
    Josh
    Backend
    Tim
    DevOps
    Das Team
    Typische Aufgaben
     Infrastruktur bereitstellen
     VMs provisionieren
     Datenbanken aufsetzen
     CI/CD Pipeline bauen
     Repos anlegen
     …
    Durchführung
     Engineer arbeitet Tickets ab

    View full-size slide

  13. Daniel
    Architektur
    Clara
    PO
    Sarah
    Frontend
    Josh
    Backend
    Tim
    DevOps
    Das Board

    View full-size slide

  14. Daniel
    Architektur
    Clara
    PO
    Sarah
    Frontend
    Josh
    Backend
    Tim
    DevOps
    Das Ticket

    View full-size slide

  15. Daniel
    Architektur
    Clara
    PO
    Sarah
    Frontend
    Josh
    Backend
    Tim
    DevOps
    Die Umsetzung
    KI
    DevOps

    View full-size slide

  16. Daniel
    Architektur
    Clara
    PO
    Sarah
    Frontend
    Josh
    Backend
    KI
    DevOps
    Das Team
    Typische Aufgaben
     Fachliche Anforderungen
    ermitteln
     Epics & User Stories
    schreiben
     Kommunikation mit Devs &
    Stakeholdern
    Durchführung
     Schreibt Epics,
    Stories & Tickets
     QS, PM
    Azure Open AI Service
     Eigene GPT-
    Instanzen hosten
     Spezialisierte GPT-
    Modelle bereitstellen
     Pre-Prompting
     Custom Data
     …
    KI
    PO

    View full-size slide

  17. DEMO
    VIRTUELLES
    TEAM MITGLIED

    View full-size slide

  18. PHASE 3:
    KI als
    Dev Team

    View full-size slide

  19. Clara
    PO
    Sarah
    Frontend
    Josh
    Backend
    Tim
    DevOps
    Daniel
    Architektur
    KI
    PO
    KI
    Frontend
    KI
    Backend
    KI
    DevOps
    Das Team
    Typische Aufgaben
     Technische Konzeption
     Prototyping
     Code schreiben
     Technical Review
     QM
     …
    Durchführung
     Dev Team steuern
    Typische Aufgaben
     Fachlichkeit analysieren
     Technische Konzeption
     KIs bauen
     Technical Review
     Customizing
     …
    Durchführung
     KIs steuern
    TheForgeAI / MS Prompt Flow
     Spezifische KIs in einem
    Workflow zusammenarbeiten
    lassen
     Jede KI übernimmt eine
    eigene Rolle
     KIs können miteinander
    kommunizieren

    View full-size slide

  20. DEMO
    VIRTUELLE
    TEAMS BAUEN

    View full-size slide

  21. FAZIT
     KI verbessert Produktivität und Qualität in der Softwareentwicklung
     Dadurch haben wir mehr Zeit für die wichtigen Dinge
     Ein gutes Verständnis der Technologien ist weiterhin erforderlich
     Wir werden zukünftig AI-driven Software bauen

    View full-size slide

  22. RESSOURCEN
     ChatGPT
     BratGPT: der etwas andere Code-Generator
     GitHub Copilot: Code-Generator
     Cody: VSCode Extension
     Azure OpenAI: Service: Eigene GPT-basierte Modelle entwickeln
     TheForgeAI: KI-Workflows bauen
     LearnPrompting: Lernen wie man mit KI richtig spricht
     Kurse auf Deeplearning.ai

    View full-size slide