Slide 3
Slide 3 text
概要
• 貢献
o Web ページのテキストと構造情報の両⽅を
使った事前学習⽅法 (Webformer) を提案
• 既存の事前学習の課題
o Web ⽂書をプレーンテキストとして扱う
• 構造情報を使っていない
• Web 検索では構造も⼤事な情報 (後で補⾜)
o 512 トークンまでしか⼊⼒できない
• ⼤規模⾔語モデルの仕様
• 512 トークンより⻑い⽂書は切り捨て/パッセージ
分割
2022.11.12
IRReading2022秋 3
※ トークン:頻出パターン (語やその⼀部分)
3つのパートに分かれる
各パートの構造同じ