A la caza de exoplanetas por imagen directa con Python: De la ciencia de datos, la exoplanetología y otros demonios

Charla presentada en la PyconES 2018 (Málaga, España).

1. A la caza de exoplanetas por imagen directa con Python De la ciencia de datos, la exoplanetología y otros demonios Carlos Alberto Gomez Gonzalez Pycon ES. Málaga. Oct 7, 2018
2. whoami Colombia Rusia España Belgica Francia (PhD astrophysics and machine learning)
3. whoami Investigador (chair) en ciencia de datos para las ciencias de la Tierra, el Espacio y del Ambiente
4. whoami I have a very particular set of skills :)
5. A la caza de exoplanetas por imagen directa con Python De la ciencia de datos, la exoplanetología y otros demonios Mmm…
6. Sistema Solar A la caza de exoplanetas por imagen directa con Python De la ciencia de datos, la exoplanetología y otros demonios
7. Exo de extrasolar: planetas extrasolares (fuera del Sistema Solar) A la caza de exoplanetas por imagen directa con Python De la ciencia de datos, la exoplanetología y otros demonios
8. Exo de extrasolar: planetas extrasolares (fuera del Sistema Solar)
9. A la caza de exoplanetas por imagen directa con Python De la ciencia de datos, la exoplanetología y otros demonios
10. A la caza de exoplanetas por imagen directa con Python De la ciencia de datos, la exoplanetología y otros demonios
11. Beta Pictoris b Disco circunestelar (debris disk)
12. Si, este es el exoplaneta
13. A la caza de exoplanetas por imagen directa con Python De la ciencia de datos, la exoplanetología y otros demonios
14. A la caza de exoplanetas por imagen directa con Python De la ciencia de datos, la exoplanetología y otros demonios
15. A la caza de exoplanetas por imagen directa con Python De la ciencia de datos, la exoplanetología y otros demonios
16. http://exoplanetarchive.ipac.caltech.edu, 25 Jan 2018
17. http://exoplanetarchive.ipac.caltech.edu, 25 Jan 2018 Tarea: estimar la contribución anual de planetas detectados por imagen directa (buscar este color)
18. Planeta sintetico (muy luminoso) Señal y ruido
19. Imágenes remuestreadas espacialmente t0 t0 Señal y ruido Con un espectrógrafo de campo integral
20. Procesamiento de imágenes para la detección de exoplanetas El exoplaneta
21. Pipeline de procesamiento de imágenes
22. Pipeline de procesamiento de imágenes Disminuyendo el ruido
23. Pipeline de procesamiento de imágenes Look ma, I’ve found an exoplanet!
24. Algoritmos para imagen directa de exoplanetas • El problema es complejo • Últimos 10 años -> muchos algoritmos: Median frame subtraction, least squares, PCA, NMF, low-rank plus sparse decompositions, matched filtering, maximum likelihood estimation, forward modeling with PCA, etc
25. Investigador crea su propia librería open-source
27. ¡Sin reinventar la rueda!
29. • https://github.com/vortex-exoplanet/VIP • http://vip.readthedocs.io/
30. • https://github.com/vortex-exoplanet/VIP • http://vip.readthedocs.io/ Querido usuario: por favor muestra tu
31. VIP: zoo de algoritmos Comparación de multiples algoritmos en la misma secuencia de imágenes
32. Tarea: revelar la señal del exoplaneta y remover el ruido VIP: zoo de algoritmos
33. Diseñando APIs para hacer ciencia
34. Diseñando APIs para hacer ciencia
36. D — M = R R - residuo que contiene la señal del exoplaneta Detección directa de exoplanetas Algoritmo de reducción de ruido (rango dinámico)
37. Observador (clasificador) D — M = R o R - residuo que contiene la señal del exoplaneta Detección directa de exoplanetas Algoritmo de reducción de ruido (rango dinámico)
38. No supervisado Supervisado PC 1 PC 2 Dimensionality reduction Clustering Reforzado Density estimation Regression Classification Aprendizaje automatico
39. f = arg min fθ,θ∈Θ n i=1 L(yi, fθ (xi )) + g(θ) f : X → Y, Datos de entrenamiento (ejemplos) chihuahua muffin (xi, yi )i=1,...,n Aprendizaje supervisado
40. { Arquitectura de la red f = arg min fθ,θ∈Θ n i=1 L(yi, fθ (xi )) + g(θ) f : X → Y, (xi, yi )i=1,...,n Aprendizaje supervisado
41. Función de perdida y regularización { Optimización f = arg min fθ,θ∈Θ n i=1 L(yi, fθ (xi )) + g(θ) f : X → Y, (xi, yi )i=1,...,n Aprendizaje supervisado
42. Generación de datos de entrenamiento Diseño y entrenamiento de la red Predicción (detección de exoplanetas) Gomez Gonzalez et al. 2018
44. Investigador crea su propia librería (soon-to-be) open-source
45. • Resultados reproducibles • Permite tunear hyper-parametros y la arquitectura de la red DataLabeler Model Predictor • Samples flux vs S/N • Estimates fluxes/contrast • Grabbing samples • Data augmentation • Data persistence (load/ save with HDF5) • Builds a model (Keras and Tensorflow) • Trains the model • Model persistence (load/save with HDF5) • Grabs target samples • Generates predictions with trained model • Inspect probability map • Results to HDF5 SODINN
46. 2d Max pooling size=(2x2) 2d Max pooling size=(2x2) 2d Max pooling size=(2x2) 2d Max pooling size=(2x2) 2d Max pooling size=(2x2) 2d Max pooling size=(2x2) 3d Convolutional layer kernel=(3x3x3), filters=40 3d Convolutional layer kernel=(2x2x2), filters=80 Dense layer units=128 Output dense layer units=1 3d Max pooling size=(2x2x2) 3d Max pooling size=(2x2x2) ReLU activation + dropout Sigmoid activation X and y to train/test/validation sets 2d Convolutional layer kernel=(3x3), filters=40 Dense layer units=128 Output dense layer units=1 ReLU activation + dropout Sigmoid activation X and y to train/test/validation sets 2d Convolutional layer kernel=(3x3), filters=40 2d Convolutional layer kernel=(3x3), filters=40 2d Convolutional layer kernel=(2x2), filters=80 2d Convolutional layer kernel=(2x2), filters=80 2d Convolutional layer kernel=(2x2), filters=80 … … B-LSTM / B-GRU layer 2d Max pooling size=(2x2) 2d Max pooling size=(2x2) 2d Max pooling size=(2x2) 2d Max pooling size=(2x2) 2d Max pooling size=(2x2) 2d Max pooling size=(2x2) 3d Convolutional layer kernel=(3x3x3), filters=40 3d Convolutional layer kernel=(2x2x2), filters=80 Dense layer units=128 Output dense layer units=1 3d Max pooling size=(2x2x2) 3d Max pooling size=(2x2x2) ReLU activation + dropout Sigmoid activation X and y to train/test/validation sets 2d Convolutional layer kernel=(3x3), filters=40 Dense layer units=128 Output dense layer units=1 ReLU activation + dropout Sigmoid activation X and y to train/test/validation sets 2d Convolutional layer kernel=(3x3), filters=40 2d Convolutional layer kernel=(3x3), filters=40 2d Convolutional layer kernel=(2x2), filters=80 2d Convolutional layer kernel=(2x2), filters=80 2d Convolutional layer kernel=(2x2), filters=80 … … B-LSTM / B-GRU layer
47. ¿Trae alguna ventaja o estamos matando una mosca a cañonazos?
48. ¿Trae alguna ventaja o estamos matando una mosca a cañonazos? VS
49. PCA least squares Encuentra el exoplaneta ;)
50. VS VS PCA least squares SODINN SODINN
52. A la caza de exoplanetas por imagen directa con Python De la ciencia de datos, la exoplanetología y otros demonios
53. Un momento excitante para estar haciendo ciencia, pero… • Construir un CV académico multidisciplinar es como darse un tiro en el propio pie • La investigación brinda muy pocas oportunidades de estabilidad laboral * aunque el dejar la investigación sigue siendo el camino alternativo (fracaso)
54. Credit: Alexander Refsum Jensenius • Cross/interdisciplinariedad poco reconocida • El avance en la carrera científica depende del “paper” • La ciencia se mueve a un ritmo lento, comparado con campos como el ML o la ciencia de datos • Establecer colaboraciones es difícil: investigadores son reacios a salir de su zona de confort
55. https://carlgogo.github.io/exoimaging_challenge/ https://github.com/carlgogo/exoimaging_challenge_extras ¿Tienes alguna idea para un nuevo algoritmo? ¡Participa en nuestro data challenge!
56. ¡Gracias! http://carlgogo.github.io/ (Home) carlgogo (Github) carlgogo (Speakerdeck) carlosalbertogomezgonzalez (Linkedin)