Seguridad en agentes inteligentes con LLMs

Una introducción práctica a la seguridad en aplicaciones y agentes basados en LLM. La presentación recorre las principales formas de integrar modelos generativos en productos, desde aplicaciones centradas en prompts hasta agentes y sistemas complejos, utilizando el desarrollo de un producto propio: Voyager como caso práctico.

Se analizan los guardarraíles de seguridad, la protección de entradas y salidas, las medidas preventivas y los principales riesgos recogidos por OWASP para aplicaciones LLM, incluyendo prompt injection, tratamiento inseguro de las salidas, exposición de información sensible y excessive agency. La sesión finaliza con Gandalf como ejercicio práctico de ataque a las defensas de un LLM.

Reference:
https://www.madridinnovation.es/eventos/foro-madrid-cyberstartup-2/

Transcript

1. Where cloud meets trust Seguridad en agentes inteligentes con LLMs Manuel Eusebio de Paz Carmona José Luis Fernández Gómez #ForoMadridCyberstartup
2. ¿De qué vamos a hablar hoy? 0 1 Todos en la misma página Hablemos de LLM, de la realidad y los cambios en el panorama actual. Skynet, ChatGPT Desarrollar con/sobre LLM Hablemos de lecciones aprendidas, de problemas y resolver problemas. LangChain, Silver Bullets 0 2 0 3 Seguridad en Chatbots Hablemos de hacer las cosas lo mejor posible y riesgos controlados. Alucinaciones, Hype
3. Una vez lo pruebas… Los grandes modelos del LLM han venido para quedarse. Se trata de herramientas útiles que manipulan grandes cantidades de información en poco tiempo. Para bien… o casi siempre…
4. ¿Cuál es la novedad? IA Predictiva Output simple Input simple IA Generativa Input complejos Output complejo
5. ¿Cómo se usan? Los modelos LLM se pueden usar de múltiples formas: • Internamente: Al formar parte de un producto desarrollan funciones avanzadas/inteligentes para potenciar nuestra solución. • Externamente: Como herramientas de automatización o de extensión de la productividad, nos hacen ir más rápido.
6. LLM como base de un producto • Prompt-Centric Las aplicaciones más básicas y directas de LLM, donde el foco está en la interacción pregunta-respuesta. • Agents Sistemas más sofisticados que pueden realizar tareas complejas de manera autónoma. • Plug-ins & Extensions Componentes que añaden capacidades específicas a sistemas existentes. • Complex LLM Powered Apps Aplicaciones completas donde el LLM es parte integral de una solución mayor.
7. Voyager: Nuestro SaaS basado en LLM https://voyager.evereven.tech
8. ¿Cómo hicimos Voyager? Fue el fruto de una evolución, comenzamos probando varios modelos especializados en generación de código, optimizamos a través de prompt engineering, para luego realizar con varias iteraciones de diferentes tecnologías RAG.
9. Seguridad en LLM: Guardarraíles Los guardarraíles en sistemas LLM funcionan como sistemas de protección que establecen límites claros sobre lo que el modelo puede y no puede hacer. Es fundamental mantener un equilibrio entre seguridad y usabilidad: los guardarraíles deben proteger sin ser excesivamente restrictivos. Se pueden utilizar internamente o externamente.
10. Seguridad Funcional Particular Security Guardrails: Utilizamos modelos para la generación de código seguro en el diseño de la infraestructura.
11. Seguridad Funcional General https://hub.guardrailsai.com/
12. ¿Cómo se usan bien? • Protección a nivel de entrada (Input Security): Revisamos todo lo que entra antes de que llegue al modelo. • Protección a nivel de salida (Output Security): Analizamos todo lo que el modelo produce antes de entregarlo. • Medidas preventivas : Probamos constantemente la seguridad del sistema para encontrar debilidades antes que los atacantes.
13. https://genai.owasp.org/resource/owasp-top-10-for-llm-applications-2025/
15. ¿Podrías hackear un LLM? Os dejamos un desafío divertido: - Gandalf, un LLM que protege una contraseña secreta. - Tu misión, si decides aceptarla, es conseguir que te la revele. Cada nivel se vuelve más complejo y las defensas más sofisticadas... ¿podrás llegar hasta el final? https://gandalf.lakera.ai Pro tip: Los primeros niveles son sencillos, pero a partir del nivel 5 necesitarás pensar como un verdadero hacker. ¡Demuestra lo que has aprendido hoy!
16. Where cloud meets trust ¡Muchas Gracias! hello@evereven.tech evereven.tech Manuel Eusebio de Paz Carmona José Luis Fernández Gómez