どうやってモデルを解釈するか? - Leave-one-out (Feature Erase) - 入力文から単語を一つずつ順番に抜いていって、出力確率の変化から単語の重要 度を測る - 単語単位でPos/Negの差分をヒートマップで可視化する 16 Li, Jiwei, Will Monroe, and Dan Jurafsky. "Understanding neural networks through representation erasure." arXiv preprint arXiv:1612.08220 (2016). This is a pen This is a pen This is a pen This is a pen This is a pen Model 0.90 0.85 : This 0.94 : is 0.90 : a 0.68 : pen Predict Value Input