The proportion of tokens by shifting and projection ● 言語平均のシフト + 言語部分空間への射影 ○ μ_A -> μ_B , Proj_B vs No projection(赤 vs 青) ○ 言語Bの割合が大幅に増加 ○ 言語感受性の高い軸の存在を示唆 14
POS axes were relatively stable across layers one through ten ● 品詞軸は1層から10層まで安定 ○ 中間層では high-level (意味情報など)の情報を処理 [Jawahar et al.,2019] [Tenney et al., 2019] ○ low-level の情報は保持されている 24