文献紹介: Decomposable Neural Paraphrase Generation

Transcript

1. Decomposable Neural Paraphrase Generation

2. https://arxiv.org/abs/1906.09741

3. • • • •

4. • • •

5. •

6. • • •

7. • • •

8. • •

9. • • = [1 , … , ] • =

   [1 , … , ]

10. • • • ℎ = BiLSTM( ; ℎ−1 , ℎ+1

    ) • = LSTM ℎ , −1 ; −1 • = GumbelSoftmax( , )

11. • • = − encoderz (, ) • 1:−1 ,

    = − encoderz , 1:−1

12. • • 1:−1 , = σ 1:−1 , ( |1:−1

    , )

13. • 0 , 1 • = LSTM 0 ; 1

    ; −1 ; −1 • 1:−1 , = GumbelSoftmax ,

14. • • ∗ = 0 ∗ = 1

15. • • ℒ = σ=1 log 1:−1 , + σ=1

    log ∗ + σ=1 log ( ∗ 1:−1 ,

16. • • •

17. • •

18. •

19. • •

20. • •

21. • •

22. • •

23. • •

24. • • From 1(best) to 4(worst)

25. • • • • •