Char-rnn aurkezpena

Transcript

1. Poesiaren metrika DL bidez Manex Agirrezabal https://github.com/manexagirrezabal/char-rnn/

2. Proba ezberdinak TensorFlow: Sequence-to-sequence models https://www.tensorflow.org/versions/master/tutorials/seq2seq/index.html Torch: char-rnn (Andrew Karpathy)

   https://github.com/karpathy/char-rnn/

3. Char-rnn http://karpathy.github.io/2015/05/21/rnn-effectiveness/ Karaktere mailako hizkuntz-ereduak sortzeko balio du. Sarrera gisa

   testu hutsa.

4. Char-rnn Gure beharretarako moldatu behar: to swell the gourd and

   plump the ha zel shells - ' - ' - ' - ' - ' wo man much missed how you call to me call to me ' - - ' - - ' - - ' - -

5. Char-rnn Dataset-a testu soil gisa: To_= swell_+ the_= gourd_+ and_=

   plump_+ the_= ha_+ zel_= shells_+ To_= swell_+ the_= gourd_+ and_= plump_+ the_= hazel_+= shells_+ Wo_+ man_= much_= missed_+ how_= you_= call_+ to_= me_= call_+ to_= me_= Woman_+= much_= missed_+ how_= you_= call_+ to_= me_= call_+ to_= me_=

6. Char-rnn (training) $ th train.lua Parametroak: Model: [RNN, LSTM edo

   GRU] rnn_size: LSTMaren (zelda) barruko tamaina num_layers: LSTMaren kapa kopurua seq_length: sekuentzian ikasteko karaktere kopurua

7. Char-rnn (prediction) $ th sample(mod).lua Parametroak: Model: eredu entrenatua Primetext:

   sarrera testua (_ karakterearekin amaituta)

8. Char-rnn (prediction) Python programa bat (callSampleMod.py) aurreko programari deitzeko pausuz

   pausu: $ th sampleMod.lua ­model M1 ­primetext “to_” = $ th sampleMod.lua ­model M1 ­primetext “to_= swell_” + $ th sampleMod.lua ­model M1 ­primetext “to_= swell_+ the_” = ...

9. Char-rnn (prediction) Arazoa: Hasieran, informazio gutxi duenez, batzuetan hanka sartzen

   (+ propagatzen) du predikzioan. Adibidez, “to_” sarrerarekin Horrentzako soluzioa, predikzioa bi aldetara egitea.

10. Char-rnn (FW) Parametroak optimizatu nahi ditugu (seq_length, batch_size, rnn_size, ...)

    Embedding-ak erabili nahi ditugu, baina gure hipotesia da ez dutela asko lagunduko.