双曲空間と機械学習 〜 階層性を活かした学習〜 Hyperbolic Space and Machine Learning ~ Learning that Leverages Hierarchical Structure ~

Transcript

1. 双曲空間と機械学習 株式会社ニューロジカ 開発部 美⿑津諒 双曲空間と機械学習 〜 階層性を活かした学習 〜
2. 1. 機械学習と階層性 2. 双曲空間 3. 応⽤事例 a. Word Embedding b. 双曲空間版CLIP c. Transformer 4. まとめ アジェンダ アジェンダ 階層性 双曲空間 応⽤事例 まとめ © Neurogica Inc.
3. 現実の概念には階層性が存在 • ⿃ → くちばし / ⽻⽑ • ⿃ → オウム → クサビオインコ属 指数関数的に要素数が増える⽊構造 次元数に対し体積が多項式的に増えるユーク リッド空間 機械学習と階層性 アジェンダ 階層性 双曲空間 応⽤事例 まとめ ⿃ くちばし オウム クサビオインコ属 ウロコメキシコ インコ属 © Neurogica Inc.
4. 双曲空間 • 外へ向かって広がる歪んだ空間．内積，距離 等の定義が異なる • 外側に向かって座標軸が詰まることで， ⽊構造に似た特徴的な座標系を構成 双曲空間 アジェンダ 階層性 双曲空間 応⽤事例 まとめ 図１．双曲空間における⼀様充填 ⽊構造と空間の特徴が整合 © Neurogica Inc.
5. Poincaré Embeddings for Learning Hierarchical Representations (NeurIPS 2017) [1] • 階層的なWord embeddingにおいて，ユークリッド空間（200次元）の 精度を双曲空間（5次元）が⼤幅に上回ると報告 応⽤事例 - Word Embedding タスク アジェンダ 階層性 双曲空間 応⽤事例 まとめ © Neurogica Inc.
6. Hyperbolic image-text representations (PMLR 2023) [2] 応⽤事例 - 双曲空間版CLIP アジェンダ 階層性 双曲空間 応⽤事例 まとめ Dog テキストは抽象概念，画像は詳細な概 念の階層性が存在 • "Dog" というテキストは多くの⽝ 画像を包含する上位概念 • CLIPはこの⾮対称な関係を無視 し、同じ点に埋め込もうとする • 双曲空間なら「テキストは原点寄 り（抽象）、画像は外側（具 体）」と⾃然に表現できる © Neurogica Inc.
7. Hyperbolic image-text representations (PMLR 2023) [2] • CLIPの共通空間を双曲空間で実装 • 画像分類タスク，Image - Text retrievalタスクにおいて，従来のユークリッ ド的CLIPに⽐べ精度が改善することを報告 応⽤事例 - 双曲空間版CLIP アジェンダ 階層性 双曲空間 応⽤事例 まとめ © Neurogica Inc.
8. 機械学習と階層性 • 現実の概念には階層性があり、⽊構造は指数的に成⻑ 双曲空間 • 双曲空間は体積が指数的に増えるため、⽊構造と⾃然に整合 応⽤事例 • Poincaré Embeddings：双曲5次元がユークリッド200次元を上回る • MERU：画像-テキスト間の抽象度の階層を双曲空間で表現し、CLIPの 性能を改善 まとめ アジェンダ 階層性 双曲空間 応⽤事例 まとめ © Neurogica Inc.
9. [1] Nickel, Maximillian, and Douwe Kiela. "Poincaré embeddings for learning hierarchical representations." Advances in neural information processing systems 30 (2017). [2] Desai, Karan, et al. "Hyperbolic image-text representations." International Conference on Machine Learning. PMLR, 2023. 参考⽂献 アジェンダ 階層性 双曲空間 応⽤事例 まとめ © Neurogica Inc.