Instance-Based Neural Dependency Parsing ⼤内啓樹1,3 鈴⽊潤2,3 ⼩林颯介2,4 横井祥2,3 栗林樹⽣2,5 吉川将司2,3 乾健太郎2,3 1奈 良 先 端 科 学 技 術 ⼤ 学 院 ⼤ 学 2東 北 ⼤ 学 3理 化 学 研 究 所 4株 式 会 社 P r e f e r r e d N e t w o r k s 5L a n g s m i t h 株 式 会 社 1 2 /0 1 N L P コ ロキ ウム
「事例ベース」っぽい⼿法はいろいろある 「事例ベース」に関連するキーワード 4 n 「instance-based」「example-based」「memory-based」 n “Instance-based learning algorithms” Aha et al. 1991. n “Example-based machine translation” Sato. 1992. n “Memory-based language processing” Daelemans. 2005 n 「nearest neighbor」 n “Nearest neighbor machine translation” Khandelwal et al. 2020 n “Nearest neighbor language models” Khandelwal et al. 2019 n 「contrastive learning」
提案する事例ベースモデル 事例間類似度を利⽤して解釈性向上をねらう 9 スコアを学習事例との類似度に分解 Ø 各学習事例のスコアへの貢献度がわかる 重みベースモデル (Weight-based Model) 各ラベルの重みベクトルを利⽤ h1 Barack Obama was born … I Franz Liszt played … B They had to … O 5.3 2.4 1.9 2.2 2.4+2.2+5.3+1.9=11.8 ラベルB のスコア (我々の)事例ベースモデル (Instance-based Model) h1 3.4 -0.2 1.7 wB wI wO 学 習事 例 の 特 徴 ベ クト ル を 利 ⽤
事例ベースモデルの学習 ミニバッチの作り⽅がいつもと少し違う 11 n 各ミニバッチは2種類の⽂から構成される n Qu ery ( クエ リ ) n Sup p o rt ( サ ポー ト ) 𝒟 学習データ ROOT Kafka wrote novels ROOT Because I have … ROOT John loves Mary ROOT She wrote books ・・・ ・・・ Support Random Sampling Query ミニバッチ (32 sents) (10 sents) Feature Extractor (BERT + BiLSTM) h2,3 h1,3 h0,3 正解エッジ に近づく 不正解エッジ から離れる n 損失関数はいつものクロスエントロピー
モデルを評価する 実験の詳細 13 n ⽐較モデル n ベースライン：重みベースモデル n 提案モデル：事例ベースモデル n 類似度関数 n 内積(dot) n コサイン類似度(cos) n 特徴抽出器 n Multilingual BERT + BiLSTL Layers n データセット n Universal Dependencies Ver.2.7 n 13⾔語の平均正解率を報告する
解釈性を評価する前に… 「解釈性」という⽤語の曖昧性について 15 Faithfulness (忠実性) Does the explanation accurately describes the true reasoning process of the model? Plausibility (妥当性) Is it convincing as an explanation to the interpreted process? n モデルの設計上、我々のモデルは学習事例を⽤いて「忠実」な説明が可能 n 残すは「妥当性」だが、どうやって定量的に評価するの？ n 「解釈性」の2つの側⾯ [Jacovi&Goldberg, ACL2020]
解釈妥当性を評価するための健全性テスト(Sanity Check) Identical Subclass Test (IST) 16 The similar instance for evidence should belong to the same latent subclass as that of the test instance Minimal Requirement Measure agreement between the latent subclasses of each predicted instance and its nearest training instance Sanity Check n 解釈妥当性の評価はオープンクエスション n ⼿ごろなアプローチが提案された[Hanawa+, ICLR2021] wrote novels ✔ This candidate “wrote → novels” is a dependency because it is similar to “published → books” TEST obj published books TRAIN obj wrote novels TEST ✖ obj the novels TRAIN det This candidate “wrote → novels” is a dependency because it is similar to “novels → the”
ISTの直感的な説明 依存構造解析におけるIST 17 ROOT If they continue エッジ(開発データ) to … If you want to … 最近傍のエッジ(学習データ) ROOT 同じだったら正解 mark mark n 各エッジ(開発データ)とその最近傍のエッジ(学習データ)の 潜在サブクラスの⼀致率を測定する
ISTの結果 コサインは良い、内積は悪い 18 Cosine is much better than Dot Instance-Based Model is better than Weight-Based Model コサイン類似度と組み合わせた事例ベースモデルは 「妥当」な学習事例を予測根拠として提⽰可能な場合が多い
分析：なぜ「内積(dot)」はうまく機能していないのか？ 「ハブ」が悪さをしているから 19 エ ッ ジ ( 開 発 デ ー タ ) 最 近 傍 ベ ス ト 3 事 例 ベ ー ス ＋ d o t 最 近 傍 ベ ス ト 3 事 例 ベ ー ス ＋ c o s ど れ も 同 じ よ う な 学 習 事 例 が 近 傍 に 来 て い る Ø 「 ハ ブ ( h u b s ) 」 の 出 現 A small number of specific training instances that often appear in the neighborhood regardless of queries [Radovanovic et al., JMLR2010]
「ハブ」に関する議論 なぜ「ハブ」は出現するのか？ 20 n 特徴ベクトルのノルムが深く関係してそう n 実験においても、ハブとなっている事例の特徴ベクトルのノルム は極端に⼤きかった n コサイン類似度を使うときはノルムを正規化する(1にする)ので ハブが抑制された可能性 n 今後詳しく調べられるといい
hiroki13
.png){kind=avatar}
researchconf
kuehara
masakat0
yosukefk
sensetime_japan
inoichan
icoxfog417
smartfukushilab1
kuanyi_n_n
koheishinden
bakanaouji
robhawkes
thekraken
sonatard
soudai
sugarenia
cromwellryan
rasmusluckow
ddemaree
eitanlees
trishagee
shpigford
yeseniaperezcruz