最後に試すモデル
BERT. ここ最近のベースライン(重くて辛い)
BERT (Bidirectional Encoder Representations from Transformers)
NAACL 2019”BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding”
TokenEmbedder: PretrainedBertEmbedder
Seq2SeqEncoder: なし
Seq2VecEncoder: BertPooler
...にしたかったが動かなかったのでほぼ同じモデルで代用
参考: https://github.com/allenai/allennlp/blob/master/allennlp/models/bert_for_classification.py
Slide 38
Slide 38 text
最後に試すモデル
BERT. ここ最近のベースライン(重くて辛い)
BERT (Bidirectional Encoder Representations from Transformers)
NAACL 2019”BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding”
best validation loss: 0.0489 -> 0.0392
Private Score(AUC): 0.9839
Public Score(AUC): 0.9845
公開されているkernelのシングルモデルの中では一番AUCが高いが、
Discussionに出てくる上位のシングルモデルに負けるぐらいのモデル
Slide 39
Slide 39 text
まとめ
AllenNLPはいいぞ
NLPコンペ出よう
Slide 40
Slide 40 text
参考にしたサイト
"Writing code for NLP Research" Tutorial at EMNLP 2018
https://docs.google.com/presentation/d/17NoJY2SnC2UMbVegaRCWA7Oca7UCZ3vHnMqBV4SUayc/
“An In-Depth Tutorial to AllenNLP (From Basics to ELMo and BERT)”
http://mlexplained.com/2019/01/30/an-in-depth-tutorial-to-allennlp-from-basics-to-elmo-and-bert/