LLMs : et si on arrêtait de coder à l’aveugle ? Le TDD à la rescousse !

Slide 1

Slide 1 text

Conférence LLMs : et si on arrêtait de coder à l’aveugle ? Le TDD à la rescousse ! Raphaël ANJOU Soirée du Test Logiciel Sophia Antipolis 17 octobre 2024 17h à 22h30 Polytech Nice Sophia à Biot 7ème édition de la

Slide 2

Slide 2 text

Conférence Qui suis-je ? Architecte Solutions IA Générative

Slide 3

Slide 3 text

Conférence Qui êtes-vous ?

Slide 4

Slide 4 text

Conférence ALERTES ACRONYMES !!! LLMs, et si on arrêtait de coder à l’aveugle ? Le TDD à la rescousse !

Slide 5

Slide 5 text

Conférence C’est quoi un LLM ? Large Language Model Entrée Sortie

Slide 6

Slide 6 text

Conférence C’est quoi le TDD ? Test Driven Development

Slide 7

Slide 7 text

Conférence LLMs, et si on arrêtait de coder à l’aveugle ? Le TDD à la rescousse !

Slide 8

Slide 8 text

Conférence Pourquoi c’est un sujet ?

Slide 9

Slide 9 text

Conférence Pourquoi c’est compliqué ?

Slide 10

Slide 10 text

Conférence Les LLMs sont imprévisibles

Slide 11

Slide 11 text

Conférence Les LLMs sont imprévisibles

Slide 12

Slide 12 text

Conférence Les LLMs sont imprévisibles

Slide 13

Slide 13 text

Conférence Les prompts sont stables

Slide 14

Slide 14 text

Conférence Comment fait-on pour garantir la stabilité ?

Slide 15

Slide 15 text

Conférence Mais Raph !!! Comment on test un truc qu’on NE PEUT PAS prévoir ???

Slide 16

Slide 16 text

Conférence C’est quoi un test ? Fonction Entrée Résultat attendu Résultat obtenu Validation

Slide 17

Slide 17 text

Conférence Validation Résultat obtenu Résultat attendu Fonction Entrée C’est quoi un test de LLM ? Appel à un LLM Appel à un process utilisant un LLM

Slide 18

Slide 18 text

Conférence Validation Résultat obtenu Résultat attendu Fonction Entrée C’est quoi un test de LLM ? Demande utilisateur Prompt système Contenu externe

Slide 19

Slide 19 text

Conférence Validation Résultat obtenu Résultat attendu Fonction Entrée C’est quoi un test de LLM ? Format structuré Format non-structuré

Slide 20

Slide 20 text

Conférence Validation Résultat obtenu Résultat attendu Fonction Entrée C’est quoi un test de LLM ?

Slide 21

Slide 21 text

Conférence Validation Résultat obtenu Résultat attendu Fonction Entrée C’est quoi un test de LLM ? Format structuré Format non-structuré Métriques évaluées par un autre LLM Métriques déterministiques

Slide 22

Slide 22 text

Conférence Passons au concret !

Slide 23

Slide 23 text

Conférence Quelle est la fonctionnalité ? « En tant qu’utilisateur, je souhaite obtenir des informations sur les évènements disponibles à un moment donné » J’ai envie de sortir ce soir. Y a-t-il des expositions en avril 2025 ? J'aimerais sortir en famille et en ville le 19 octobre.

Slide 24

Slide 24 text

Conférence Quelle est la fonctionnalité ? Ça veut dire quoi « matin », « soir », « après-midi » ? Si la date n’est pas précisée ? Si l’heure n’est pas précisée ? S’il n’ y a pas de détails donnés par l’utilisateur ?

Slide 25

Slide 25 text

Conférence Passons aux tests ! « Promptfoo »

Slide 26

Slide 26 text

Conférence Passons aux tests !

Slide 27

Slide 27 text

Conférence Passons aux tests !

Slide 28

Slide 28 text

Conférence Passons à la fonctionnalité !

Slide 29

Slide 29 text

Conférence Passons aux tests !

Slide 30

Slide 30 text

Conférence Et ma pipeline de CI alors ?

Slide 31

Slide 31 text

Conférence En conclusion Tester, c’est possible ! Mais c’est pas si facile…

Slide 32

Slide 32 text

Conférence Merci de votre écoute ! Soirée du Test Logiciel Sophia Antipolis 17 octobre 2024 17h à 22h30 Polytech Nice Sophia à Biot 7ème édition de la Votre avis nous intéresse