AllenNLPを使った開発

Transcript

1. AllenNLPを使った開発 ⾕⼝泰史
2. ⽬次 1. AllenNLPとは︖ 2. AllenNLPの概要 3. AllenNLPによる実装例 4. まとめ
3. 1. AllenNLPとは • NLP研究に特化したPyTorchベースのライブラリ • プロトタイプ作成が簡単 • ハイパーパラメータ管理が簡単
4. 1. AllenNLPとは • NLP研究に特化したPyTorchベースのライブラリ • プロトタイプ作成が簡単 • ハイパーパラメータ管理が簡単
5. 1. プロトタイプ作成
6. 1. プロトタイプ作成 論⽂で提案された様々な⼿法が実装済み
7. 1. AllenNLPとは • NLP研究に特化したPyTorchベースのライブラリ • プロトタイプ作成が簡単 • ハイパーパラメータ管理が簡単
8. 1. パラメータ管理 python -m torch.distributed.launch --nproc_per_node=8 ./examples/run_squad.py ¥ --model_type bert ¥ --model_name_or_path bert-large-uncased-whole-word-masking ¥ --do_train ¥ --do_eval ¥ --do_lower_case ¥ --train_file $SQUAD_DIR/train-v1.1.json ¥ --predict_file $SQUAD_DIR/dev-v1.1.json ¥ --learning_rate 3e-5 ¥ --num_train_epochs 2 ¥ --max_seq_length 384 ¥ --doc_stride 128 ¥ --output_dir ../models/wwm_uncased_finetuned_squad/ ¥ --per_gpu_eval_batch_size=3 ¥ --per_gpu_train_batch_size=3 ¥
9. 1. パラメータ管理 allennlp train ¥ --include-package pretrained_bert ¥ model_config/pretrained_bert_large_squad1.1.jsonnet
10. 1. パラメータ管理 allennlp train ¥ --include-package pretrained_bert ¥ model_config/pretrained_bert_large_squad1.1.jsonnet ファイルで指定するのでGit管理可能
11. 2. AllenNLPの概要
12. Trainer データセットの準備 実験 モデル構築 DatasetReader Model torch.optim, etc Config files $ allennlp train 2. AllenNLPの概要
13. 2. AllenNLPの概要 DatasetReader Model
14. 2. AllenNLPの概要 DatasetReader Model
15. 2. DatasetReaderの役割 誰が⼀番に着くか私には分かりません。 DatasetReader tensor([88, 19, 226, 3, 151, 25, 18, 14, 3, 1, 273, 34, 17, 37, 26, 0])
16. 2. AllenNLPの概要 DatasetReader Model
17. 2. Modelの役割 tensor([88, 19, 226, 3, 151, 25, 18, 14, 3, 1, 273, 34, 17, 37, 26, 0]) Model {“loss”: tensor([0.1234])}
18. 3. AllenNLPによる実装例
19. 3. AllenNLPによる実装例 • 感情分析タスク (IMDB Dataset) に取り組む • 与えられた⽂書が肯定的か・否定的かを予測する • DatasetReaderとModelの実装を紹介
20. 3. DatasetReaderの実装 @overrides def text_to_instance(self, string, label): fields = {} tokens = self._tokenizer.tokenize(string) fields['tokens'] = TextField(tokens, self._token_indexers) fields['label'] = LabelField(label, skip_indexing=True) return Instance(fields) • トークナイゼーション • インデックス化
21. 3. DatasetReaderの実装 • ⽂書のトークナイズを⾏う • トークナイザは設定ファイルで指定する @overrides def text_to_instance(self, string, label): fields = {} tokens = self._tokenizer.tokenize(string) fields['tokens'] = TextField(tokens, self._token_indexers) fields['label'] = LabelField(label, skip_indexing=True) return Instance(fields)
22. 3. DatasetReaderの実装 • トークナイズした⽂書からTextFieldを⽣成 • インデックス化はTextFieldが実⾏ @overrides def text_to_instance(self, string, label): fields = {} tokens = self._tokenizer.tokenize(string) fields['tokens'] = TextField(tokens, self._token_indexers) fields['label'] = LabelField(label, skip_indexing=True) return Instance(fields)
23. 3. Modelの実装 def forward(self, tokens, label): embedded_text = self._text_field_embbeder(tokens) mask = get_text_field_mask(tokens).float() encoded_text = self._dropout( self._seq2vec_encoder(embedded_text, mask=mask) ) logits = self._classification_layer(encoded_text) probs = F.softmax(logits, dim=1) loss = self._loss(logits, label.long().view(-1)) return {“loss”: loss} • ⼊⼒からロスを計算 • dict形式で値を返却
24. 3. 設定ファイル作成 allennlp configure --include-package allennlp_imdb
25. 3. 設定ファイル作成
26. 3. 学習 allennlp train –include-package allennlp_imdb ¥ -s /path/to/serialization ¥ training_config/base_cpu.jsonnet • 設定ファイルを指定して実験を⾏う
27. 3. 学習 allennlp train –include-package allennlp_imdb ¥ -s /path/to/serialization ¥ -o ‘{“trainer”: {“cuda_device”: 0}}’ training_config/base_cpu.jsonnet • 設定ファイルを指定して実験を⾏う • 設定の上書きも可能
28. 4. まとめ • AllenNLPを使えば、必要最低限の実装で実験を⾏える • プロトタイプ作成、ハイパーパラメータの管理も簡単 • コードは下記リンク https://github.com/yasufumy/allennlp_imdb