Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【論文紹介】Sparse Embedded k-means Clustering
Search
Shuhei Goda
January 21, 2018
Technology
0
340
【論文紹介】Sparse Embedded k-means Clustering
Shuhei Goda
January 21, 2018
Tweet
Share
More Decks by Shuhei Goda
See All by Shuhei Goda
Turing × atmaCup #18 - 1st Place Solution
hakubishin3
0
920
ジョブマッチングサービスにおける相互推薦システムの応用事例と課題
hakubishin3
3
980
とある事業会社にとっての Kaggler の魅力
hakubishin3
8
2.7k
課題の解像度が荒かったことで意図した改善ができなかった話
hakubishin3
3
1k
Wantedly におけるマッチング体験を最大化させるための推薦システム
hakubishin3
4
1.2k
Recommendation Industry Talks #1 Opening
hakubishin3
1
410
会社訪問アプリ「Wantedly Visit」での シゴトに関する興味選択機能と推薦改善
hakubishin3
0
660
論文紹介: Improving Implicit Feedback-Based Recommendation through Multi-Behavior Alignment(Xin Xin et al., 2023)
hakubishin3
0
660
Feedback Prize - English Language Learning における擬似ラベルの品質向上の取り組み
hakubishin3
0
1.1k
Other Decks in Technology
See All in Technology
【5分でわかる】セーフィー エンジニア向け会社紹介
safie_recruit
0
30k
Amazon Bedrock AgentCore でプロモーション用動画生成エージェントを開発する
nasuvitz
6
460
mruby(PicoRuby)で ファミコン音楽を奏でる
kishima
1
300
進捗
ydah
1
160
VPC Latticeのサービスエンドポイント機能を使用した複数VPCアクセス
duelist2020jp
0
310
株式会社ARAV 採用案内
maqui
0
380
7月のガバクラ利用料が高かったので調べてみた
techniczna
3
670
ゆるふわエンジニアでもAIフローにチャレンジしたい!!~Zapierのすゝめ~
masakiokuda
2
100
人を動かすことについて考える
ichimichi
2
350
Backboneとしてのtimm2025
yu4u
4
1.7k
絶対に失敗できないキャンペーンページの高速かつ安全な開発、WINTICKET × microCMS の開発事例
microcms
0
160
Browser
recruitengineers
PRO
5
1.2k
Featured
See All Featured
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
31
2.2k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Designing for humans not robots
tammielis
253
25k
Git: the NoSQL Database
bkeepers
PRO
431
65k
Java REST API Framework Comparison - PWX 2021
mraible
33
8.8k
Rails Girls Zürich Keynote
gr2m
95
14k
Agile that works and the tools we love
rasmusluckow
329
21k
Large-scale JavaScript Application Architecture
addyosmani
512
110k
Side Projects
sachag
455
43k
Code Review Best Practice
trishagee
70
19k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
27k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Transcript
Sparse Embedded k-Means Clustering 2018/01/21 マジ卍論文読み会
概要 l 背景 ü K-meansクラスタリングは、高次元データに対して計算コストが高い。 ü 先行研究では、Random ProjectionやSVDなどの線形次元削減による 手法を用いて計算コストの改善を行っているが、それでも、 程度 の計算コストが生じている。
l 本論文の手法 ü Random Projectionで用いる写像行列にスパース行列を採用して、 高速な行列演算を実行することで、計算コストを に抑える。 l 結論 ü 本論文の手法は、先行研究の手法に比べて、十分なクラスタリング精度 を達成しつつ、計算時間を大幅に短縮している。 1 ) (nd O )) ( ( X nnz O
k平均法の計算コスト削減を目的とした先行手法 l SVDやRandom Projectionを使用した、データ行列の次元削減 ü state-of-the-artなRPでも、 の計算量と (2+ε)の精度 2
) log( 2 d ndk O
本手法の概要 l Sparse Embedded k-Means Clustering ü RPの写像行列にスパース行列を採用することで、RPの計算量を にする。
ü 埋め込み次元が である場合、信頼度 で、クラスタリングの最適解への近似精度が(1+ε)となる。 3 )) 6 , ) / 1 log( (max( 2 2 k O ) ( 1 O )) ( ( X nnz O
Sparse Embedding Algorithm 4 ランダム直交行列の作成 )) ( ( X
nnz O
ε-Approximation Embedded Matrix 5 k-Means Clusteringの目的は (1)式を満たす計画行列Dを得ること
ε-Approximation Embedded Matrix 6 元データXのクラスタリング精度に対して(1±ε)の誤差を持つような、 埋め込み後のデータ行列X^ を扱う
ε-Approximation Embedded Matrix 7 γとは、埋め込み後の データ行列X^に対する 計画行列D^が、最適解D^*に どの程度近いかを表す指標 D^がX^に対する最適解(γ=1)であるならば、
D^はデータ行列Xに対して精度(1+ε)を保証する
ε-Approximation Embedded Matrix l まとめると ü ε近似解(2)式を満たすような次元削減後のデータ行列X^があり、 ü D^がX^に対する最適解である(γ=1)ならば、 ü
D^はデータ行列Xに対して精度(1+ε)を保証する。 8
Sparse Embedding Matrix ≈ ε-Approximation Embedded Matrix 9 埋め込み次元の大きさに制約をかけることで、
ランダム直交行列R=(QΦ)'を使った埋め込み行列X^=XR'は、 1-O(δ)の確率で(2)式の条件を満たす。(証明は3章)
実験結果 10 ・クラスタリング精度 ・次元削減の計算時間