Slide 16
Slide 16 text
• Retrieverをscratchから学習すると上⼿くいかない
• Inverse Cloze Task [Lee+, ACLʼ19]にて教師あり学習
16
Retrieverのみの事前学習(ICT Pre-training)
[Lee+, ACL’19] https://www.aclweb.org/anthology/P19-1612/
“...Zebras have four gaits: walk, trot, canter and gallop. They are generally
slower than horses, but their great stamina helps them outrun predators.
When chased, a zebra will zig- zag from side to side...”
⽂qを抽出して
クエリにする
抽出元の⽂書
(クエリ⽂qを除外)
を正例にする