Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【論文紹介】Sparse Embedded k-means Clustering
Search
Shuhei Goda
January 21, 2018
Technology
0
300
【論文紹介】Sparse Embedded k-means Clustering
Shuhei Goda
January 21, 2018
Tweet
Share
More Decks by Shuhei Goda
See All by Shuhei Goda
Turing × atmaCup #18 - 1st Place Solution
hakubishin3
0
830
ジョブマッチングサービスにおける相互推薦システムの応用事例と課題
hakubishin3
3
910
とある事業会社にとっての Kaggler の魅力
hakubishin3
8
2.4k
課題の解像度が荒かったことで意図した改善ができなかった話
hakubishin3
3
990
Wantedly におけるマッチング体験を最大化させるための推薦システム
hakubishin3
4
1.2k
Recommendation Industry Talks #1 Opening
hakubishin3
1
370
会社訪問アプリ「Wantedly Visit」での シゴトに関する興味選択機能と推薦改善
hakubishin3
0
620
論文紹介: Improving Implicit Feedback-Based Recommendation through Multi-Behavior Alignment(Xin Xin et al., 2023)
hakubishin3
0
600
Feedback Prize - English Language Learning における擬似ラベルの品質向上の取り組み
hakubishin3
0
980
Other Decks in Technology
See All in Technology
Amebaにおける Platform Engineeringの実践
kumorn5s
6
890
アセスメントで紐解く、10Xのデータマネジメントの軌跡
10xinc
1
290
AIエージェント開発における「攻めの品質改善」と「守りの品質保証」 / 2024.04.09 GPU UNITE 新年会 2025
smiyawaki0820
0
380
テキスト解析で見る PyCon APAC 2025 セッション&スピーカートレンド分析
negi111111
0
270
LLM とプロンプトエンジニアリング/チューターをビルドする / LLM, Prompt Engineering and Building Tutors
ks91
PRO
1
200
DuckDB MCPサーバーを使ってAWSコストを分析させてみた / AWS cost analysis with DuckDB MCP server
masahirokawahara
0
170
Devinで模索する AIファースト開発〜ゼロベースから始めるDevOpsの進化〜
potix2
PRO
2
1.2k
バックオフィス向け toB SaaS バクラクにおけるレコメンド技術活用 / recommender-systems-in-layerx-bakuraku
yuya4
1
100
20250413_湘南kaggler会_音声認識で使うのってメルス・・・なんだっけ?
sugupoko
1
320
AWSLambdaMCPServerを使ってツールとMCPサーバを分離する
tkikuchi
1
590
やさしいMCP入門
minorun365
PRO
146
92k
AI AgentOps LT大会(2025/04/16) Algomatic伊藤発表資料
kosukeito
0
100
Featured
See All Featured
Side Projects
sachag
452
42k
Scaling GitHub
holman
459
140k
Measuring & Analyzing Core Web Vitals
bluesmoon
7
380
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
356
30k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
23
2.6k
GitHub's CSS Performance
jonrohan
1030
460k
Speed Design
sergeychernyshev
29
880
Building a Scalable Design System with Sketch
lauravandoore
462
33k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
5
520
Making Projects Easy
brettharned
116
6.1k
A Tale of Four Properties
chriscoyier
158
23k
Transcript
Sparse Embedded k-Means Clustering 2018/01/21 マジ卍論文読み会
概要 l 背景 ü K-meansクラスタリングは、高次元データに対して計算コストが高い。 ü 先行研究では、Random ProjectionやSVDなどの線形次元削減による 手法を用いて計算コストの改善を行っているが、それでも、 程度 の計算コストが生じている。
l 本論文の手法 ü Random Projectionで用いる写像行列にスパース行列を採用して、 高速な行列演算を実行することで、計算コストを に抑える。 l 結論 ü 本論文の手法は、先行研究の手法に比べて、十分なクラスタリング精度 を達成しつつ、計算時間を大幅に短縮している。 1 ) (nd O )) ( ( X nnz O
k平均法の計算コスト削減を目的とした先行手法 l SVDやRandom Projectionを使用した、データ行列の次元削減 ü state-of-the-artなRPでも、 の計算量と (2+ε)の精度 2
) log( 2 d ndk O
本手法の概要 l Sparse Embedded k-Means Clustering ü RPの写像行列にスパース行列を採用することで、RPの計算量を にする。
ü 埋め込み次元が である場合、信頼度 で、クラスタリングの最適解への近似精度が(1+ε)となる。 3 )) 6 , ) / 1 log( (max( 2 2 k O ) ( 1 O )) ( ( X nnz O
Sparse Embedding Algorithm 4 ランダム直交行列の作成 )) ( ( X
nnz O
ε-Approximation Embedded Matrix 5 k-Means Clusteringの目的は (1)式を満たす計画行列Dを得ること
ε-Approximation Embedded Matrix 6 元データXのクラスタリング精度に対して(1±ε)の誤差を持つような、 埋め込み後のデータ行列X^ を扱う
ε-Approximation Embedded Matrix 7 γとは、埋め込み後の データ行列X^に対する 計画行列D^が、最適解D^*に どの程度近いかを表す指標 D^がX^に対する最適解(γ=1)であるならば、
D^はデータ行列Xに対して精度(1+ε)を保証する
ε-Approximation Embedded Matrix l まとめると ü ε近似解(2)式を満たすような次元削減後のデータ行列X^があり、 ü D^がX^に対する最適解である(γ=1)ならば、 ü
D^はデータ行列Xに対して精度(1+ε)を保証する。 8
Sparse Embedding Matrix ≈ ε-Approximation Embedded Matrix 9 埋め込み次元の大きさに制約をかけることで、
ランダム直交行列R=(QΦ)'を使った埋め込み行列X^=XR'は、 1-O(δ)の確率で(2)式の条件を満たす。(証明は3章)
実験結果 10 ・クラスタリング精度 ・次元削減の計算時間