Cómo enseñé a mi red neuronal a hablar (casi) tan bien como Rajoy

"Pero así por un balcón, dios me hacía mucha cosa, para que esto es que le dijo de la mano y en el mas de despedir de los perdios y por las cosas que se habia estado y solo a lo que no habia que decir"

¿Te suena raro este texto? Pues aunque parezca mejorable, habría sido totalmente impensable leer un texto así hace tan sólo unos años. No porque respetáramos más la gramática, sino porque se trata de un texto escrito por un ordenador.

La inteligencia artificial ha avanzado de una forma que poco tiempo atrás no podíamos ni imaginar, y gracias a ello hemos conseguido hacer realidad lo que antes solo podíamos soñar. Gran ejemplo de ello son las redes neuronales: hoy en día existen redes capaces de conducir, de pintar cuadros, de jugar a ajedrez... y en muchos casos, incluso mejor que los humanos.

En esta charla aprenderemos cómo es posible entrenar una red neuronal para conseguir que sea capaz de desarrollar otra de esas habilidades que habríamos pensado que estaba reservada para las personas: hablar (en este caso, escribir). Utilizaremos para ello LSTM, un tipo especial de redes neuronales recurrentes que son capaces de aprender incluso detalles internos del texto, como el tiempo verbal que se está utilizando en una frase concreta o el género o número del sujeto del que se está hablando.

Y es que, aunque la gramática y la sintaxis sean demasiado complejas como para que generar texto de forma automática sea algo sencillo, hay redes neuronales que ya hablan mejor que algunos humanos. Porque en este caso, "es el texto el que elige la predicción, y es la predicción la que quiere el texto que sea la predicción".

Transcript

1. “ Pero así por un balcón, Dios, me hacía mucha cosa. Para que esto es que le dijo de la mano y en el mas de despedir de los perdios Y por las cosas que se había estado y solo a lo que no había que decir Mi ordenador portátil, 2017
2. Cóm o e nse ñé a m i re d ne uronal a hablar casi tan bie n com o Rajoy
3. ¡Hola! Soy Alex Gascón Teleco con pasión por el software Revolucionando desde los seguros para PYMEs Puedes leerme en: 3 @AlexGascon @Psicomanchester
4. “ Pero así por un balcón, Dios, me hacía mucha cosa. Para que esto es que le dijo de la mano y en el mas de despedir de los perdios Y por las cosas que se había estado y solo a lo que no había que decir 4 Mi ordenador portátil, 2017
5. Introd ucción 1
6. Re d e s ne uronale s Conjuntos de neuronas que hacen cálculos 6
7. Re d e s ne uronale s re curre nte s Redes neuronales conectadas a etapas anteriores de sí mismas 7
8. Re d e s ne uronale s re curre nte s 8
10. Re d e s ne uronale s re curre nte s 10 La red le lleva información a su yo del futuro
11. LSTM 11 Long Short-Term Memory
12. Te cnología 2
13. Stack 13 + Keras Theano + Python
14. Stack 14 (2016) ? ? + = + =
15. Stack 15
16. Im ple m e ntación 3
17. Pre parand o e l d atase t Obtención Limpieza “Desocupado lector: sin juramento me podrás creer que quisiera que este libro” “desocupado lector sin juramento me podras creer que quisiera que este libro” 17 Codificación “a” 1 “b” 2 … “\ n” 54 “\ t” 55
18. Pre parand o los inputs 18 “Desocupado lector: sin juramento me podrás creer que quisiera que este libro” “Desocupado lector: s” “i” “lector: sin juramento ” “m” “amento me podrás c” “r” “creer que quisiera qu” “e” Input Output
19. Pre parand o los outputs 19
20. Cre and o la re d ne uronal 20 Lo que la gente entiende cuando piensa en crear una red neuronal compleja
21. Cre and o la re d ne uronal 21 Cómo es realmente el proceso si usas Keras
22. ¡A e ntre nar!
24. Hace m os los pre parativos 24
25. Entre nam os e l m od e lo 25
27. Google Colaboratory 27
29. Re sultad os 4
30. Ge ne rand o pre d iccione s 30 “En un lugar de la Mancha, de cuyo nombre… ” Red neuronal “no quiero acordarme… ”
31. Re sultad o (m alo) 31
32. Evitand o re pe ticione s 32 “En un lugar de la Mancha, de cuyo nombre… ” Red neuronal “no quiero acordarme, no quiero acordarme, no quiero acordarme… ”
33. Evitand o re pe ticione s 33
34. Re sultad o (bue no) 34
35. Más posibilid ad e s 5
36. A picture is worth a thousand word s Shakespeare 36
37. A picture is worth a thousand word s Latex 37
38. A picture is worth a thousand word s Linux Source code! 38
39. A picture is worth a se nte nce 39
40. Ponie nd o la re d a prue ba 40 “Es el vecino el que elige al a… ” “Es el vecino el que elige al alcalde, y es el alcalde el que quiere que sean los vecinos el alcalde” “Es el vecino el que elige al afán de la conpetitividad de la Comunidad Internacional”
41. 41 ¡Muchas gracias! ¿Preguntas? No dudéis en contactarme @Psicomanchester @AlexGascon / in/ alexgascon @AlexGascon alexgascon.93@gmail.com
42. Cre d its Agradecimientos especiales a aquellos que hicieron posible esta presentación poniendo recursos gratis • Plantilla de la presentación: SlidesCarnival • Giphy, y toda la gente que cuelga cosas allí 42
43. Enlace s • Repositorio con el código del proyecto: https:/ / github.com/ AlexGascon/ playing-with-keras • Understanding LSTM Networks, Colah’s blog http:/ / colah.github.io/ posts/ 2015-08-Understanding-LSTMs/ • The unreasonable effectiveness of Recurrent Neural Networks, Andrej Karpathy’s Blog http:/ / karpathy.github.io/ 2015/ 05/ 21/ rnn-effectiveness/ 43
44. 44 We are hiring! https://www.coverwallet.com/jobs/tech