Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
階層、非階層クラスタリング
Search
Ringa_hyj
January 06, 2021
Science
0
120
階層、非階層クラスタリング
Ringa_hyj
January 06, 2021
Tweet
Share
More Decks by Ringa_hyj
See All by Ringa_hyj
DVCによるデータバージョン管理
ringa_hyj
0
85
deeplakeによる大規模データのバージョン管理と深層学習フレームワークとの接続
ringa_hyj
0
53
Hydraを使った設定ファイル管理とoptunaプラグインでのパラメータ探索
ringa_hyj
0
64
ClearMLで行うAIプロジェクトの管理(レポート,最適化,再現,デプロイ,オーケストレーション)
ringa_hyj
0
60
Catching up with the tidymodels.[Japan.R 2021 LT]
ringa_hyj
3
840
多次元尺度法MDS
ringa_hyj
0
290
因子分析(仮)
ringa_hyj
0
150
tidymodels紹介「モデリング過程料理で表現できる説」
ringa_hyj
0
430
深層学習をつかった画像スタイル変換の話と今までの歴史
ringa_hyj
0
420
Other Decks in Science
See All in Science
データマイニング - ノードの中心性
trycycle
PRO
0
130
CV_5_3dVision
hachama
0
140
Masseyのレーティングを用いたフォーミュラレースドライバーの実績評価手法の開発 / Development of a Performance Evaluation Method for Formula Race Drivers Using Massey Ratings
konakalab
0
160
Factorized Diffusion: Perceptual Illusions by Noise Decomposition
tomoaki0705
0
390
データベース03: 関係データモデル
trycycle
PRO
1
120
Machine Learning for Materials (Challenge)
aronwalsh
0
300
機械学習 - DBSCAN
trycycle
PRO
0
920
04_石井クンツ昌子_お茶の水女子大学理事_副学長_D_I社会実現へ向けて.pdf
sip3ristex
0
510
白金鉱業Meetup Vol.16_数理最適化案件のはじめかた・すすめかた
brainpadpr
3
1.8k
baseballrによるMLBデータの抽出と階層ベイズモデルによる打率の推定 / TokyoR118
dropout009
1
490
データベース10: 拡張実体関連モデル
trycycle
PRO
0
720
局所保存性・相似変換対称性を満たす機械学習モデルによる数値流体力学
yellowshippo
1
280
Featured
See All Featured
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
107
19k
Reflections from 52 weeks, 52 projects
jeffersonlam
351
20k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Building a Modern Day E-commerce SEO Strategy
aleyda
42
7.4k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
Art, The Web, and Tiny UX
lynnandtonic
299
21k
Being A Developer After 40
akosma
90
590k
Building an army of robots
kneath
306
45k
The Art of Programming - Codeland 2020
erikaheidi
54
13k
Unsuck your backbone
ammeep
671
58k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
10
950
Rebuilding a faster, lazier Slack
samanthasiow
82
9.1k
Transcript
クラスター分析、クラスタリング、数値分類(toxonomy) 外的基準の無い状態でデータを集合にする手法 n個体をk群に分ける組み合わせの「総数」は 「第二スターリング数」で計算できる ※二項係数とよく似ているため、nCkになぞらえてnSkとあらわされる。 ※パスカルの三角形とも似ているが、単純に数列として求まるものではない。 , = 1 !
=0 −1 1 −
階層的手法 距離、類似度といった評価値から、近いものを順にまとめていく 凝集型階層的分類法とよばれたりする あと分枝型とか。 例:最近傍,最遠法、重心法、メディアン、加重平均、可変法、ウォード法 重心法: データ点ごとのユークリッド距離を計算 一番近い二点の重心(平均)をもとめ、二点を一点に置き換える。 これを繰り返す。 どのデータを結合したとき、重心がいくつであったか?を樹状にplotする←デンドログラム
樹状のなかでどの枝で切るか(クラスタをいくつにするか)を決める ※ユークリッドの他にメディアンなどを使ってもいいが、その場合「距離の逆転」が起こる
非階層的手法 階層以外の手法たち 例:k平均、ファジィc平均,ISODATA法 など 確率分布をクラスタと考えるので、混合分布ガウスモデルもこちらの分類 ヒストグラムで2分割: テストの点数を上位と下位に分けるとする。 まず並べる ヒストグラムを書いて谷で縦に切り2クラスに分ける (群間分散と郡内分散の比の最大化を目指す
群内/群間 の比が最大になるときが、最も谷が深い地点) k平均: データに適当にクラスを割り振る クラス内の平均を計算し、これに近いものを順にラベルつけなおしする また平均、収束するまで繰り返し ※初期値に依存、外れ値に弱い、シングルトン(ひとつだけのクラス)ができる
混合正規分布モデル いくつかの正規分布が背景に存在すると考え、 データから最尤法によってどの正規分布に属しているかを分ける EM法によって求めるが、長くなるので別記する(つもり) クラス数(いくつの正規分布が潜んでいるか)はクラスタリングあるあるだが、 AICによって決めたり、経験だったり
クラスタリングでの距離の公理 dij が0以上である dii=0 同じ点の距離は0 dij=dji 距離は方向で変化しない dij <= dik
+ djk 三角不等式が成り立つ ここまでを「計量的な距離」の公理 dij <= max(dik,djk) 超距離不等式が成り立つ これを加えると「超計量な距離」の公理 別称:ウルトラメトリック これを満たさないものを 非計量的な距離 とよぶ
距離の測り方 絶対距離、チェビシェフ、ユークリッド、平均ユークリッド、ミンコフスキー 類似度の測り方 相関係数、余弦係数 質的データは距離は考えられない。 対応分析の数量化得点を使って無理やり数値にしてから扱う場合は時々ある
あ