本⽇の内容 • 盛り込もうとしたこと o 情報検索の概要 o 情報検索技術のパラダイム • 各パラダイムの技術の概要紹介 o トランスフォーマーベースの⼿法の概要 • 前提 o Web 検索・テキスト検索を想定 o 情報検索と検索システムを同じ意図で利⽤ o 最近 (2021 年) の話はキャッチアップできておらず o 詳しく知り合い⼈は Pretrained Transformers for Text Ranking: BERT and Beyond がおすすめ o めちゃくちゃ固いです… 2021.8.28 Machine Learning 15minutes! Broadcast: 機械学習を⽤いた情報検索技術の⼊⾨と概要 3
(補⾜スライド) BERT の学習 • ⼤規模⾔語表現 o BERT, XLNet, RoBERTa etc. • Pre-training (事前学習) o たくさん本を読んで⼀般教養 (素養) を⾝につける o (陽に問題は解かない) • Fine-tuning (再学習 ≒ 転移学習) o 試験科⽬の問題集 (解答例のあるもの) を解き対策する • Inference o 試験を受ける IRReading2020秋 14 2020.10.31
(補⾜) BERT 以降の研究 • XLNet (NeurIPS 2019) o BERT の pre-training を変えて改良 • RoBERTa (2019) o BERT の pre-training の枠組みのまま改良 • ELECTRA (ICLR2020) o BERT の MLM を敵対的学習する • ALBERT (ICLR 2020) o 軽量版 BERT (A Lite BERT) • T5 (2019) o Google AI が開発した転移学習フレームワーク o 論⽂⾒当たらず • GPT-3 (2020) o Open AI が開発した⾔語⽣成モデル o 1,750億個のパラメータを使⽤ (論⽂にアーキテクチャなし) 2021.1.28 3.6 Beyond BERT 20 BERT の後継モデル BERT の亜種 ELECTRA