Sans tests, vos agents ne sont pas fiables

Previous talks:
Agentforce CLI : https://speakerdeck.com/nabondance/agentforce-world-tour-paris-25-agentforce-cli-creer-un-agent-depuis-votre-terminal
Agentforce DevOps: State of the Art : https://speakerdeck.com/nabondance/agentforce-devops-state-of-the-art

Transcript

1. Sans tests, vos agents ne sont pas fiables Subtitle Nathan Abondance CTO @ Think2 /nabondance
2. Nathan Abondance CTO @ Think2
3. Agenda /nabondance - Think2 Pourquoi tester les agents Comment tester les agents C'est pas headless du coup ? Le futur 1 2 3 4
4. Pourquoi tester
5. Pourquoi tester les agents Pour les mêmes raisons qu'on teste l'Apex /nabondance - Think2 🔧 Valider le fonctionnement 🛡 Éviter les régressions 🚀 Déployer sereinement 📖 Documenter le comportement attendu
6. Pourquoi tester les agents Ce qu'on veut vérifier /nabondance - Think2 🎯 Le bon topic et subagent est déclenché ⚡ La bonne action est appelée 📦 Avec les bons paramètres 💬 La réponse reste dans les clous (ton, format, guardrails)
7. Comment tester
8. Comment tester les agents En quelques clics /nabondance - Think2 🚫 Pas besoin de framework externe 🧰 Outil fourni par Salesforce : Testing Center 🤖 Créer les jeux de tests avec Agentforce ou un import csv 📋 Choisir ce qu'on vérifie
9. Comment tester les agents ? Le Les testing centers Setup Agentforce Studio 🟢 Dédié aux tests d'agents 🟢 Métadonnée AiEvaluationDefinition 🟢 Possible d'interagir via la CLI ❌ Impossible de modifier un jeu de test 🟢 Construit sur Agentforce Grid 🟢 Plus de fonctionnalités: ➕ Modification des jeux de test ➕ Bouchonnage de la donnée ➕ Meilleur debuggage ➕ Scoring personnalisable ➕ Historique des tests ❌ Pas de Métadonnée récupérable ❌ Invisible via CLI /nabondance - Think2 Celui du futur → Compatible avec la CLI →
10. C'est le moment de cliquer
11. C'est pas headless du coup ?
12. C'est pas headless du coup ? Tester sans clic grâce à l'agentforce CLI /nabondance - Think2 🔎 Pour les scripts CI/CD complets et la logique 👉 🔎 Explication approfondie de l'agentforce CLI 👉 󰳕 Gérer les tests depuis un terminal 🔁 Répétable, versionnable (git) 📄 Sortie machine-readable (JSON, JUnit) ⌨ sf agent test run --api-name=MyTest
13. C'est pas headless du coup ? ⚙ Se base sur la Agentforce CLI 🚨 Lancé sur chaque PR ✔ Assertions : "bonne action" vs "exception levée" 📊 Seuil d'évaluation (pas juste pass/fail) ⚠ Seuls les tests du Testing Center Setup sont déployables ⚠ Chaque run = appels LLM = €€ Intégrer les tests d'agents dans une CI/CD /nabondance - Think2 🔎 Pour les scripts CI/CD complets et la logique 👉
14. Le futur Et la conclusion
15. Mais du coup c'est quoi la suite ? Ce qui arrive (ou pas) /nabondance - Think2 ✅ Testing Center in Agentforce Studio — GA Juin ✅ Custom Scoring Evals : Définir ses propres critères (ton de marque, conformité, qualité de résolution), le Testing Center score automatiquement ✅ Multi-turn Conversation Testing : Tester des conversations complètes, avec simulation voix et historique de runs 🧪 A/B Testing API — Pilote : Splitter le trafic prod entre deux versions d'agent, promouvoir la gagnante via API ⛔ Métadonnée de Testing Center in Agentforce Studio : Aucune info 😢
16. Si vous avez des sueurs froides à mettre en prod de l'apex pas testé, pourquoi le faire avec des agents ?
17. Conclusion Et le QR code /nabondance - Think2 1⃣ Tester ses agents comme son code 2⃣ Deux Testing Center avec leurs qualités et défauts 3⃣ On peut intégrer les tests d'agents dans une CI slides
18. Thank you Paris 🫶