Integrando IA generativa con Bases de Datos relacionales en AWS

En esta charla mostraremos cómo AWS Bedrock puede conectarse a una base de datos tradicional, comprender su estructura, y generar consultas a partir de preguntas en lenguaje cotidiano. Este mecanismo permite crear integraciones para que usuarios de diversos perfiles puedan acceder y analizar datos complejos de manera eficiente.

Transcript

1. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Integrando IA generativa con Bases de Datos Relacionales Franchesco Romero AWS Community Builder & AWS User Group Leader
2. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Introducción Datos empresariales Mejorar experiencia de usuario Aumentar con IA generativa
3. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Introducción IA Generativa Foundation Models (FMs) IA capaz de crear nuevo contenido e ideas, conversaciones, historias, imágenes, videos y música Modelos de aprendizaje automático entrenados en un amplio espectro de datos
4. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Foundation models FOUNDATION MODELS Pretrain Adapt Tasks Text generation Summarization Info extraction Q&A Chatbot Unlabeled data FM
5. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. AWS Bedrock FMs + +
6. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Arquitectura
7. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Componentes clave Amazon Aurora 3.06+ Amazon Bedrock Amazon Aurora ML AWS Lambda Sistema de gestión de bases de datos relacionales (RDBMS) Permite llamar algoritmos de ML usando SQL FMs de IA Generativa Servicio de Computación sin servidor
8. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Arquitectura
9. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Pre-requisitos Crear rol y política IAM para el cluster Aurora Habilitar modelos base + Acceso Endpoints Asignar rol IAM al cluster Aurora Crear funciones
10. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Casos de Uso
11. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Casos de uso más comunes Integración directa para complementar y analizar datos Generación de consultas SQL a partir de lenguaje natural Resúmenes
12. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Demo
13. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Usemos IA generativa + BDs
14. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Usemos IA generativa + BDs • Dataset público de películas de IMDb ◦ Información de películas/series ▪ Calificaciones ▪ Información de personas (actores, directores, etc.)
15. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Creación de funciones SQL para Bedrock
16. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Insights de Cultura Pop • Analizar datos de películas de los 90s • Generar insights culturales y curiosidades sobre la época ◦ Como contexto histórico, cultural, etc.
17. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Insights de Cultura Pop
18. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Insights de Cultura Pop
19. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Resumir Tendencias de los 90s • Qué sucedía en el mundo en 1999 • Qué películas eran populares?
20. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Resumir Tendencias de los 90s
21. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Resumir Tendencias de los 90s
22. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Consultas en Lenguaje Natural • "Encuentra las 10 películas mejor calificadas de la década de 1990"
23. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Consultas en Lenguaje Natural
24. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados.
25. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Resumen de peliculas • Bedrock interpreta la información de la película y genera un resumen coherente
26. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados.
27. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Caso de usos avanzados Query Planning y optimización Análisis de patrones, sugerencias de índices Calidad de datos Detección de anomalías en datos y corrección Análisis de schema Cambios y evolución
28. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Mejores prácticas
29. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Mejores prácticas • Safe defaults ◦ DB Config: cliente/servidor • Chain of Transformations ◦ get_data() -> enrich_with_ai() -> ◦ validate_data() -> store_in_db() • Prompt Engineering con templates
30. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Mejores prácticas • Caching inteligente ◦ k/v + consultas similares • Rate limiting ◦ Evitar Resource Exhaustion • Manejo de errores
31. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Mejores prácticas • Métricas ◦ Latencia de generación de prompts ◦ % de éxito/fallo de LLM ◦ Calidad de respuestas ◦ Uso de tokens/costos ◦ Cache hit/miss ratio
32. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Resumen
33. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Resumen • Facilita el acceso a datos complejos • Aprovechamiento de IA generativa ◦ Sin mover datos fuera de la base de datos • Posibilidad de adicionar a infraestructuras existentes
34. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Consideraciones • Seguridad y control de acceso a datos sensibles ◦ Amazon Bedrock Guardrails ◦ Amazon Bedrock abuse detection • Posibles limitaciones en la precisión de la IA ◦ Amazon Bedrock Guardrails • Otras soluciones?
35. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Soluciones alternas [PostgreSQL/MariaDB] <-> [LangChain] <-> [LLaMA 2/Mistral] ^ ^ | | [Application] [Vector Store] ^ | [Users]
36. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Recursos Github - Amazon Bedrock and Aurora MySQL Integration
37. © 2024 Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Gracias! Franchesco Romero @elchesco linkedin.com/in/elchesco Meetup.com Linkedin AWS UG Jalisco