Curso PINNs - Mapi3 2024

La modelación de fenómenos físicos mediante ecuaciones diferenciales parciales (EDP) es esencial en varias áreas de las matemáticas puras y aplicadas. Estos modelos describen cómo cambian ciertas cantidades físicas en el espacio y el tiempo, permitiendo abordar problemas cruciales como: predecir comportamientos, optimizar procesos y diseñar soluciones en campos como la química, la biología, la economía y la ingeniería. Dada la complejidad de muchos de estos problemas, encontrar soluciones exactas es a menudo imposible, lo que subraya la necesidad de métodos numéricos efectivos para aproximar las soluciones.

Aunque el análisis numérico clásico ofrece numerosas herramientas para aproximar soluciones de EDP, los recientes avances en la computación científica destacan la importancia de explorar nuevos métodos numéricos que amplíen las aplicaciones. Y además, como matemáticos, es crucial investigar y fortalecer la fundamentación de estos nuevos desarrollos. Por ejemplo, el teorema de aproximación universal establece que las redes neuronales pueden aproximar funciones continuas con gran precisión, abriendo nuevas posibilidades para la modelación matemática. Por otro lado, avances como la diferenciación automática (autodiff) permiten calcular derivadas de funciones complejas de manera precisa y eficiente, facilitando la integración de estos métodos en procesos de optimización y entrenamiento de modelos.

Las Physics-Informed Neural Networks (PINNs) son una clase emergente de redes neuronales que incorporan directamente las leyes físicas expresadas mediante EDP en el proceso de aprendizaje. A diferencia de las redes neuronales tradicionales, las PINN utilizan información física para guiar el entrenamiento, imponiendo las EDP como restricciones en la función de pérdida, lo que permite que las redes aprendan soluciones que respeten las leyes físicas subyacentes.

Este curso de teoría e implementación de PINN está diseñado para matemáticos interesados en desarrollar y aplicar métodos numéricos avanzados para resolver problemas descritos por EDP. Durante las dos sesiones, se introducirán los conceptos matemáticos y algorítmicos fundamentales para entender y utilizar PINN, combinando principios físicos con técnicas de aprendizaje automático para resolver problemas clásicos. Los participantes aprenderán a implementar estas metodologías utilizando software de código abierto, facilitando así la extensión del conocimiento adquirido a otros problemas en sus respectivas áreas de estudio. El curso estará organizado en dos partes, cada una compuesta por dos sesiones. En la primera parte, se cubrirán la formulación de problemas físicos mediante EDP y los fundamentos teóricos de las PINN. La segunda parte estará enfocada en la implementación práctica, utilizando herramientas de software y trabajando en ejemplos y ejercicios prácticos.

Transcript

1. Introducci´ on a las redes neuronales informadas por la f´ ısica Manuela Bastidas1 y Nicol´ as Guar´ ın-Zapata2 1Universidad Nacional de Colombia sede Medell´ ın 2Universidad EAFIT
3. Contenido 1 Teor´ ıa de Aproximaci´ on 2 M´ etodo de Colocaci´ on 3 Redes Neuronales 4 Introducci´ on a PyTorch 5 Teorema de aproximaci´ on universal 6 PINNs
4. Vamos a hacer un paralelo entre los m´ etodos de colocaci´ on y PINNs
5. Teor´ ıa de Aproximaci´ on ¿C´ omo se pueden aproximar funciones complejas mediante funciones m´ as simples? x y f (x) P(x) ϵ
6. Aproximaci´ on de Funciones en PDEs Las PDEs modelan fen´ omenos f´ ısicos como difusi´ on, ondas y electrost´ atica. Soluciones exactas complejas → necesitamos aproximar la soluci´ on. N(u) = f en Ω ⊂ Rn u = g en ∂Ω Cl´ asicamente aproximamos u en un dominio discreto usando colocaci´ on, diferencias finitas, elementos finitos, etc.
7. Teorema de aproximaci´ on de Weierstrass Cualquier funci´ on continua en un intervalo cerrado puede ser aproximada arbitrariamente bien por un polinomio. x y f (x) P1 (x) x y f (x) P3 (x)
8. M´ etodo de Colocaci´ on Aproxima la soluci´ on usando funciones de prueba en puntos espec´ ıficos (puntos de colocaci´ on). 1 Elegir funciones de base {ϕi (x)}n i=1 . 2 Aproximar u(x) ≈ n i=1 ci ϕi (x). 3 Seleccionar puntos de colocaci´ on {xj }m j=1 . 4 Resolver el sistema N   n i=1 ci ϕi (xj )   = f (xj ).
9. M´ etodo de Colocaci´ on 1 0 1 u(x) Exacta Aproximada 0.0 0.2 0.4 0.6 0.8 1.0 x 50 0 50 R(x) Residual Puntos de colocación Ventajas: Alta precisi´ on en puntos de colocaci´ on. Desventajas: Posible baja precisi´ on fuera de los puntos de colocaci´ on.
10. Redes Neuronales Modelos computacionales: capas de nodos interconectados, cada nodo realiza operaciones simples y las conexiones entre nodos tienen pesos que se ajustan durante el entrenamiento. . . . . . . . . . . . . Entradas Capas ocultas Salida x u . . . . . . . . .
11. Redes neuronales Figure: Playground
12. Aspectos Importantes de las Redes Neuronales Funci´ on de P´ erdida: Mide el error entre las predicciones y los valores reales. Error cuadr´ atico medio (MSE), Entrop´ ıa Cruzada. Retropropagaci´ on: Algoritmo para calcular los gradientes de la funci´ on de p´ erdida. M´ etodos de Entrenamiento: Descenso de Gradiente (SGD, Adam).
13. Introducci´ on a PyTorch Biblioteca de aprendizaje autom´ atico de Meta AI. Tensors: Similares a arreglos de NumPy, con soporte para GPU. Autograd: Diferenciaci´ on autom´ atica para el entrenamiento. Optim: Algoritmos de optimizaci´ on. NN: M´ odulos predefinidos para redes neuronales. Nuestra primera red neuronal basada en datos
14. Teorema de Aproximaci´ on Universal Una red neuronal con una sola capa oculta y una funci´ on de activaci´ on no constante, acotada y continua σ, puede aproximar cualquier funci´ on continua f definida en un dominio cerrado y acotado Ω con una precisi´ on arbitraria.
15. Teorema de Aproximaci´ on Universal Teorema Para cualquier funci´ on continua f ∈ C(Ω) y ϵ > 0, existe una red neuronal de la forma ϕ(x) = N i=1 αi σ(wT i x + bi ) con par´ ametros αi , wi , bi , y un n´ umero finito de neuronas N en la capa oculta, tal que ∥f − ϕ∥ < ϵ en Ω.
16. PINNs Basados en el teorema de aproximaci´ on universal, ¿C´ omo construimos y entrenamos un modelo tipo red neuronal que aproxime la soluci´ on a una ecuaci´ on diferencial? Physics-informed Deep Learning → PINNs Raissi, M., Perdikaris, P., & Karniadakis, G. E. (2019). Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations. Journal of Computational physics, 378, 686-707.
17. PINNs . . . . . . . . . . . . Entradas Capas ocultas Salida x uθ L(uθ ) . . . . . . . . .
18. PINNs - Funci´ on de p´ erdida Error en la f´ ısica (Physics Loss): Medida del error en el residual de la ecuaci´ on diferencial. Lossphysics = 1 M M j=1 (N(uθ (xj )) − f (xj ))2 Condiciones de Frontera (Boundary Conditions): Penalizaci´ on por el incumplimiento de las condiciones de frontera. Lossboundary = 1 B B k=1 (uθ (xk ) − g(xk ))2 Funci´ on de P´ erdida Total: L(uθ ) = λphysics Lossphysics + λboundary Lossboundary