Prompt Engineering

In einer Zeit, in der Large-Language-Models wie OpenAI’s GPT-Serie immer mehr an Bedeutung gewinnen, stehen Entwickler und Software-Architekten vor der spannenden Herausforderung, diese Technologien in Chat-Anwendungen optimal zu nutzen. Die Qualität der Interaktion mit solchen Modellen hängt maßgeblich davon ab, wie präzise und durchdacht unsere Anfragen formuliert werden.
Zunächst tauchen wir tief in die Kunst des “Prompt-Engineerings” ein. Weiterhin beleuchten wir die Unterschiede und Anwendungsgebiete von Few-Shots, Zero-Shots und Many-Shots. Jeder dieser Ansätze besitzt eigene Stärken, und es ist entscheidend, zu verstehen, wann und wie sie am besten in Chat-Anwendungen eingesetzt werden können. Besonders herausgestellt wird die Herausforderung der begrenzten Token-Zahl und Strategien, um innerhalb dieser Begrenzung klare, kohärente und hilfreiche Antworten zu erzielen.

Transcript

1. View Slide

2. ralf.d.mueller@deutschebahn.com
   @ralfdmueller
   ➔ xing.to/rdmuller
   ◼
   ◼
   ◼
   

   View Slide

3. 🐶
   

   View Slide

4. View Slide

5. View Slide

6. View Slide

7. View Slide

8. View Slide

9. GPT-3 (Generative Pre-trained Transformer 3) was released in 2020. It was pre-
   trained on a massive dataset of 570GB of text data and had a capacity of 175
   billion parameters. It was fine-tuned for a wide range of language tasks, such as
   text generation, language translation, and question answering.
   GPT-3 (Generative Pre-trained Transformer 4) was released in 2021, it was pre-
   trained on a massive dataset of many terabytes of text data and had a capacity
   of over 500 billion parameters. It was fine-tuned for a wide range of language
   tasks, such as text generation, language translation, and question answering
   with even more accuracy and fluency than GPT-3.
   

   View Slide

10. Comparative performance of humans versus GPT-4.0 and GPT-3.5 in the self-
    assessment program of American Academy of Ophthalmology
    Out of 1023 questions,
    GPT-4.0 achieved the best score (82.4%),
    followed by humans (75.7%)
    and GPT-3.5 (65.9%)
    *Ophthalmologie ist der Zweig der Medizin, der sich mit der
    Anatomie, Physiologie und den Krankheiten des Auges
    beschäftigt.
    

    View Slide

11. View Slide

12. View Slide

13. View Slide

14. View Slide

15. GPT-3: 2.048 Token
    GPT-4: 32.000 Token
    (etwa 25,000 Wörter)
    

    View Slide

16. View Slide

17. View Slide

18. View Slide

19. View Slide

20. View Slide

21. View Slide

22. View Slide

23. Ich bin ein erfahrener Software-Architekt im Bereich Web-
    Entwicklung. Meine bevorzugte Programmiersprache ist Java bzw.
    Groovy. JavaScript und entsprechende Frameworks sind nicht mein
    Ding. Ich komme eher lieber mit minimalem JavaScript aus.
    

    View Slide

24. Ich bin ein erfahrener Software-Architekt im
    Bereich Web-Entwicklung. Meine bevorzugte
    Programmiersprache ist Java bzw. Groovy.
    JavaScript und entsprechende Frameworks sind
    nicht mein Ding. Ich komme eher lieber mit
    minimalem JavaScript aus.
    Ich bin ein erfahrener Software-Architekt im Bereich Web-
    Entwicklung. Meine bevorzugte Programmiersprache ist
    Python und JavaScript. Ich liebe moderne JavaScript
    Frameworks.
    

    View Slide

25. Ich bin ein erfahrener Software-Architekt im
    Bereich Web-Entwicklung. Meine bevorzugte
    Programmiersprache ist Java bzw. Groovy.
    JavaScript und entsprechende Frameworks sind
    nicht mein Ding. Ich komme eher lieber mit
    minimalem JavaScript aus.
    Meine Expertise erstreckt sich auf moderne Technologien und
    Ansätze wie Spring Boot für die Erstellung robuster und
    skalierbarer Backend-Services. Ich schätze das leichte und
    responsive Design von Twitter Bootstrap, welches ich gezielt
    einsetze, um Benutzeroberflächen effizient zu gestalten.
    Dokumentation ist ein integraler Bestandteil meiner Arbeit, wobei
    ich den Docs-as-Code-Ansatz bevorzuge, da er es ermöglicht,
    Dokumentation als Teil des Entwicklungscodes zu pflegen, was eine
    hohe Aktualität und Qualität sicherstellt. Diese Werkzeuge und
    Methodologien bilden das Fundament meiner Arbeit, ermöglichen
    mir eine agile und reaktionsfähige Entwicklungsumgebung, und
    helfen mir, sauberen, wartbaren Code zu schreiben.
    

    View Slide

26. Was möchten Sie, dass ChatGPT über Sie wissen, um Ihnen bessere Antworten
    geben zu können?
    

    View Slide

27. https://twitter.com/dr_cintas/status/1691160385297006593
    

    View Slide

28. View Slide

29. View Slide

30. View Slide

31. View Slide

32. View Slide

33. Give the model time to “think”
    

    View Slide

34. Give the model time to “think”
    

    View Slide

35. View Slide

36. View Slide

37. View Slide

38. View Slide

39. Iterative Prompt Development
    

    View Slide

40. View Slide

41. View Slide

42. View Slide

43. View Slide

44. View Slide

45. View Slide

46. View Slide

47. View Slide

48. The Future is Now
    Vielen Dank
    

    View Slide

49. 📺🐦
    🐶 🚨
    👇
    

    View Slide