LangChain4j - Des applications IA prêtes pour la production

Les applications IA entrent dans une nouvelle ère, celle où elles doivent être fiables, traçables et sécurisées dès la mise en production.
Trop souvent, les projets LLM tombent dans le piège de la démo “magique” : prompts non maîtrisés, absence de tests, dérives de coûts, et aucun moyen de comprendre ce que le modèle fait vraiment. Ces lacunes freinent l’adoption en entreprise et rendent difficile la mise en prod.
Dans cette conférence, découvrez comment LangChain4j, avec l'aide de Quarkus, permettent d’ajouter des garde-fous robustes, d’écrire des tests non déterministes dédiés aux LLM, et d’améliorer l’observabilité de vos flux conversationnels. Le tout démontré en code, étape par étape.
Repartez avec les bonnes pratiques et snippets prêts à l’emploi pour rendre vos applications IA "production-ready".

Transcript

1. LangChain4j Des applications IA prêtes pour la production
2. Mohamed AIT ABDERRAHMAN Java Developer Coach Craftsmanship Contributeur : @LangChain4j @JHipster @Seed4j
3. Comment éviter que n’importe qui peut utiliser mon LLM comme il veut ? Ai Java Developer Si je modifie le prompt, comment le tester avant la mise en prod ? Comment observer les interactions avec mon LLM ?
4. LangChain4j
5. Guardrails Comment éviter que n’importe qui peut utiliser mon LLM comme il veut ?
6. Testing Si je modifie le prompt, comment le tester avant la mise en prod ?
7. Observability Comment observer les interactions avec mon LLM ?
8. LangChain4j
9. Utilisateur SystemMessage ChatMemory ContentRetriever Tools (Function calling) LLM UserMessage AiMessage
10. AiService ChatModel SystemMessage ChatMemory ChatMemory Guardrails Observability Tools
12. Guardrails
13. C’est quoi ? UserMessage AiMessage
14. 14 C’est quoi ? https://docs.langchain4j.dev/tutorials/guardrails Vérifier si le message de l’utilisateur n’est pas hors contexte Eviter les prompt injections Vérifier que le format de sortie est correct S’assurer que la sortie du LLM est cohérente avec les règles métiers et les contraintes Détecter les hallucinations
15. 15 Comment ? dev.langchain4j.guardrail.* << interface >> InputGuardrail InputGuardrailResult validate(UserMessage) InputGuardrailResult validate(InputGuardrailRequest) << interface >> OutputGuardrail OutputGuardrailResult validate(AiMessage) OutputGuardrailResult validate(OutputGuardrailRequest)
16. 16 https://docs.langchain4j.dev/tutorials/guardrails
17. Live coding...
18. Testing Testing
19. Testing Testing Non-deterministic
20. Comment ? Parameter Expected output score assertion
21. Concepts Scorer : l’évaluateur Samples : les cas de test Evaluation Strategy : la stratégie d’évaluation (similarité ou juge) Evaluation Report : Le résultat de l’évaluation
22. Live testing...
23. CI ou pas CI ? Temps Argent
24. Observability
25. C’est quoi ? https://docs.quarkiverse.io/quarkus-langchain4j/dev/observability.html Métriques : le « quoi » et le « à quelle fréquence » Traces : le « pourquoi » et le « où » Logs : le « ce qui s’est réellement passé »
26. Pourquoi ? Pour comprendre le comporte en production Pour détecter les dérives Pour corréler une sortie anormale avec le contexte, le prompt, ou la version du modèle utilisé Pour mesurer la qualité et la fiabilité des réponses Pour anticiper les régressions après une mise à jour
27. Trace (Bonus) Utiliser la requête suivante : { true } Puis click sur le TraceID
28. Trace : Trace Id
29. Trace : Opérations
30. Live monitoring...
31. Takeaway Toujours valider ce qui entre et sort du LLM Tester, même dans un contexte non déterministe Observer pour comprendre On ne peut pas améliorer ce qu’on ne mesure pas
32. Thank you! Any questions ? or feedback ? mohamed-ait-abderrahman 32
33. Repo git : https://github.com/anunnakian/langchain4j-new-features Documentation : Guardrails: https://docs.langchain4j.dev/tutorials/guardrails Testing : https://docs.quarkiverse.io/quarkus-langchain4j/dev/testing.html Observability : https://docs.quarkiverse.io/quarkus-langchain4j/dev/observability.html Links
34. Next talk : Vendredi 11h