Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【論文紹介】Sparse Embedded k-means Clustering
Search
Shuhei Goda
January 21, 2018
Technology
0
320
【論文紹介】Sparse Embedded k-means Clustering
Shuhei Goda
January 21, 2018
Tweet
Share
More Decks by Shuhei Goda
See All by Shuhei Goda
Turing × atmaCup #18 - 1st Place Solution
hakubishin3
0
890
ジョブマッチングサービスにおける相互推薦システムの応用事例と課題
hakubishin3
3
950
とある事業会社にとっての Kaggler の魅力
hakubishin3
8
2.6k
課題の解像度が荒かったことで意図した改善ができなかった話
hakubishin3
3
1k
Wantedly におけるマッチング体験を最大化させるための推薦システム
hakubishin3
4
1.2k
Recommendation Industry Talks #1 Opening
hakubishin3
1
390
会社訪問アプリ「Wantedly Visit」での シゴトに関する興味選択機能と推薦改善
hakubishin3
0
640
論文紹介: Improving Implicit Feedback-Based Recommendation through Multi-Behavior Alignment(Xin Xin et al., 2023)
hakubishin3
0
640
Feedback Prize - English Language Learning における擬似ラベルの品質向上の取り組み
hakubishin3
0
1k
Other Decks in Technology
See All in Technology
Postman AI エージェントビルダー最新情報
nagix
0
110
20250625 Snowflake Summit 2025活用事例 レポート / Nowcast Snowflake Summit 2025 Case Study Report
kkuv
1
310
PostgreSQL 18 cancel request key長の変更とRailsへの関連
yahonda
0
120
HiMoR: Monocular Deformable Gaussian Reconstruction with Hierarchical Motion Representation
spatial_ai_network
0
110
PHP開発者のためのSOLID原則再入門 #phpcon / PHP Conference Japan 2025
shogogg
4
730
Clineを含めたAIエージェントを 大規模組織に導入し、投資対効果を考える / Introducing AI agents into your organization
i35_267
4
1.6k
Observability infrastructure behind the trillion-messages scale Kafka platform
lycorptech_jp
PRO
0
140
米国国防総省のDevSecOpsライフサイクルをAWSのセキュリティサービスとOSSで実現
syoshie
2
1.1k
Claude Code Actionを使ったコード品質改善の取り組み
potix2
PRO
6
2.2k
Amazon Bedrockで実現する 新たな学習体験
kzkmaeda
2
540
Snowflake Summit 2025全体振り返り / Snowflake Summit 2025 Overall Review
mtpooh
2
400
「Chatwork」の認証基盤の移行とログ活用によるプロダクト改善
kubell_hr
1
150
Featured
See All Featured
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Build your cross-platform service in a week with App Engine
jlugia
231
18k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
8
670
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
29
9.5k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
2.9k
Mobile First: as difficult as doing things right
swwweet
223
9.7k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
46
9.6k
Faster Mobile Websites
deanohume
307
31k
Transcript
Sparse Embedded k-Means Clustering 2018/01/21 マジ卍論文読み会
概要 l 背景 ü K-meansクラスタリングは、高次元データに対して計算コストが高い。 ü 先行研究では、Random ProjectionやSVDなどの線形次元削減による 手法を用いて計算コストの改善を行っているが、それでも、 程度 の計算コストが生じている。
l 本論文の手法 ü Random Projectionで用いる写像行列にスパース行列を採用して、 高速な行列演算を実行することで、計算コストを に抑える。 l 結論 ü 本論文の手法は、先行研究の手法に比べて、十分なクラスタリング精度 を達成しつつ、計算時間を大幅に短縮している。 1 ) (nd O )) ( ( X nnz O
k平均法の計算コスト削減を目的とした先行手法 l SVDやRandom Projectionを使用した、データ行列の次元削減 ü state-of-the-artなRPでも、 の計算量と (2+ε)の精度 2
) log( 2 d ndk O
本手法の概要 l Sparse Embedded k-Means Clustering ü RPの写像行列にスパース行列を採用することで、RPの計算量を にする。
ü 埋め込み次元が である場合、信頼度 で、クラスタリングの最適解への近似精度が(1+ε)となる。 3 )) 6 , ) / 1 log( (max( 2 2 k O ) ( 1 O )) ( ( X nnz O
Sparse Embedding Algorithm 4 ランダム直交行列の作成 )) ( ( X
nnz O
ε-Approximation Embedded Matrix 5 k-Means Clusteringの目的は (1)式を満たす計画行列Dを得ること
ε-Approximation Embedded Matrix 6 元データXのクラスタリング精度に対して(1±ε)の誤差を持つような、 埋め込み後のデータ行列X^ を扱う
ε-Approximation Embedded Matrix 7 γとは、埋め込み後の データ行列X^に対する 計画行列D^が、最適解D^*に どの程度近いかを表す指標 D^がX^に対する最適解(γ=1)であるならば、
D^はデータ行列Xに対して精度(1+ε)を保証する
ε-Approximation Embedded Matrix l まとめると ü ε近似解(2)式を満たすような次元削減後のデータ行列X^があり、 ü D^がX^に対する最適解である(γ=1)ならば、 ü
D^はデータ行列Xに対して精度(1+ε)を保証する。 8
Sparse Embedding Matrix ≈ ε-Approximation Embedded Matrix 9 埋め込み次元の大きさに制約をかけることで、
ランダム直交行列R=(QΦ)'を使った埋め込み行列X^=XR'は、 1-O(δ)の確率で(2)式の条件を満たす。(証明は3章)
実験結果 10 ・クラスタリング精度 ・次元削減の計算時間