Char-rnn aurkezpena

Transcript

1. Poesiaren metrika DL bidez Manex Agirrezabal https://github.com/manexagirrezabal/char-rnn/
2. Proba ezberdinak TensorFlow: Sequence-to-sequence models https://www.tensorflow.org/versions/master/tutorials/seq2seq/index.html Torch: char-rnn (Andrew Karpathy) https://github.com/karpathy/char-rnn/
3. Char-rnn http://karpathy.github.io/2015/05/21/rnn-effectiveness/ Karaktere mailako hizkuntz-ereduak sortzeko balio du. Sarrera gisa testu hutsa.
4. Char-rnn Gure beharretarako moldatu behar: to swell the gourd and plump the ha zel shells - ' - ' - ' - ' - ' wo man much missed how you call to me call to me ' - - ' - - ' - - ' - -
5. Char-rnn Dataset-a testu soil gisa: To_= swell_+ the_= gourd_+ and_= plump_+ the_= ha_+ zel_= shells_+ To_= swell_+ the_= gourd_+ and_= plump_+ the_= hazel_+= shells_+ Wo_+ man_= much_= missed_+ how_= you_= call_+ to_= me_= call_+ to_= me_= Woman_+= much_= missed_+ how_= you_= call_+ to_= me_= call_+ to_= me_=
6. Char-rnn (training) $ th train.lua Parametroak: Model: [RNN, LSTM edo GRU] rnn_size: LSTMaren (zelda) barruko tamaina num_layers: LSTMaren kapa kopurua seq_length: sekuentzian ikasteko karaktere kopurua
7. Char-rnn (prediction) $ th sample(mod).lua Parametroak: Model: eredu entrenatua Primetext: sarrera testua (_ karakterearekin amaituta)
8. Char-rnn (prediction) Python programa bat (callSampleMod.py) aurreko programari deitzeko pausuz pausu: $ th sampleMod.lua ­model M1 ­primetext “to_” = $ th sampleMod.lua ­model M1 ­primetext “to_= swell_” + $ th sampleMod.lua ­model M1 ­primetext “to_= swell_+ the_” = ...
9. Char-rnn (prediction) Arazoa: Hasieran, informazio gutxi duenez, batzuetan hanka sartzen (+ propagatzen) du predikzioan. Adibidez, “to_” sarrerarekin Horrentzako soluzioa, predikzioa bi aldetara egitea.
10. Char-rnn (FW) Parametroak optimizatu nahi ditugu (seq_length, batch_size, rnn_size, ...) Embedding-ak erabili nahi ditugu, baina gure hipotesia da ez dutela asko lagunduko.