Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
階層、非階層クラスタリング
Search
Ringa_hyj
January 06, 2021
Science
0
120
階層、非階層クラスタリング
Ringa_hyj
January 06, 2021
Tweet
Share
More Decks by Ringa_hyj
See All by Ringa_hyj
DVCによるデータバージョン管理
ringa_hyj
0
120
deeplakeによる大規模データのバージョン管理と深層学習フレームワークとの接続
ringa_hyj
0
67
Hydraを使った設定ファイル管理とoptunaプラグインでのパラメータ探索
ringa_hyj
0
110
ClearMLで行うAIプロジェクトの管理(レポート,最適化,再現,デプロイ,オーケストレーション)
ringa_hyj
0
100
Catching up with the tidymodels.[Japan.R 2021 LT]
ringa_hyj
3
840
多次元尺度法MDS
ringa_hyj
0
300
因子分析(仮)
ringa_hyj
0
150
tidymodels紹介「モデリング過程料理で表現できる説」
ringa_hyj
0
440
深層学習をつかった画像スタイル変換の話と今までの歴史
ringa_hyj
0
430
Other Decks in Science
See All in Science
データベース08: 実体関連モデルとは?
trycycle
PRO
0
930
ランサムウェア対策にも考慮したVMware、Hyper-V、Azure、AWS間のリアルタイムレプリケーション「Zerto」を徹底解説
climbteam
0
110
NASの容量不足のお悩み解決!災害対策も兼ねた「Wasabi Cloud NAS」はここがスゴイ
climbteam
0
120
03_草原和博_広島大学大学院人間社会科学研究科教授_デジタル_シティズンシップシティで_新たな_学び__をつくる.pdf
sip3ristex
0
600
点群ライブラリPDALをGoogleColabにて実行する方法の紹介
kentaitakura
1
390
高校生就活へのDA導入の提案
shunyanoda
0
5.9k
07_浮世満理子_アイディア高等学院学院長_一般社団法人全国心理業連合会代表理事_紹介資料.pdf
sip3ristex
0
600
機械学習 - 決定木からはじめる機械学習
trycycle
PRO
0
1k
ウェブ・ソーシャルメディア論文読み会 第25回: Differences in misinformation sharing can lead to politically asymmetric sanctions (Nature, 2024)
hkefka385
0
130
凸最適化からDC最適化まで
santana_hammer
1
290
傾向スコアによる効果検証 / Propensity Score Analysis and Causal Effect Estimation
ikuma_w
0
130
My Favourite Book in 2024: Get Rid of Your Japanese Accent
lagenorhynque
1
110
Featured
See All Featured
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
139
34k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
27k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
Practical Orchestrator
shlominoach
190
11k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
We Have a Design System, Now What?
morganepeng
53
7.8k
Optimizing for Happiness
mojombo
379
70k
The Cost Of JavaScript in 2023
addyosmani
53
8.9k
Agile that works and the tools we love
rasmusluckow
330
21k
The World Runs on Bad Software
bkeepers
PRO
70
11k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
6k
Being A Developer After 40
akosma
90
590k
Transcript
クラスター分析、クラスタリング、数値分類(toxonomy) 外的基準の無い状態でデータを集合にする手法 n個体をk群に分ける組み合わせの「総数」は 「第二スターリング数」で計算できる ※二項係数とよく似ているため、nCkになぞらえてnSkとあらわされる。 ※パスカルの三角形とも似ているが、単純に数列として求まるものではない。 , = 1 !
=0 −1 1 −
階層的手法 距離、類似度といった評価値から、近いものを順にまとめていく 凝集型階層的分類法とよばれたりする あと分枝型とか。 例:最近傍,最遠法、重心法、メディアン、加重平均、可変法、ウォード法 重心法: データ点ごとのユークリッド距離を計算 一番近い二点の重心(平均)をもとめ、二点を一点に置き換える。 これを繰り返す。 どのデータを結合したとき、重心がいくつであったか?を樹状にplotする←デンドログラム
樹状のなかでどの枝で切るか(クラスタをいくつにするか)を決める ※ユークリッドの他にメディアンなどを使ってもいいが、その場合「距離の逆転」が起こる
非階層的手法 階層以外の手法たち 例:k平均、ファジィc平均,ISODATA法 など 確率分布をクラスタと考えるので、混合分布ガウスモデルもこちらの分類 ヒストグラムで2分割: テストの点数を上位と下位に分けるとする。 まず並べる ヒストグラムを書いて谷で縦に切り2クラスに分ける (群間分散と郡内分散の比の最大化を目指す
群内/群間 の比が最大になるときが、最も谷が深い地点) k平均: データに適当にクラスを割り振る クラス内の平均を計算し、これに近いものを順にラベルつけなおしする また平均、収束するまで繰り返し ※初期値に依存、外れ値に弱い、シングルトン(ひとつだけのクラス)ができる
混合正規分布モデル いくつかの正規分布が背景に存在すると考え、 データから最尤法によってどの正規分布に属しているかを分ける EM法によって求めるが、長くなるので別記する(つもり) クラス数(いくつの正規分布が潜んでいるか)はクラスタリングあるあるだが、 AICによって決めたり、経験だったり
クラスタリングでの距離の公理 dij が0以上である dii=0 同じ点の距離は0 dij=dji 距離は方向で変化しない dij <= dik
+ djk 三角不等式が成り立つ ここまでを「計量的な距離」の公理 dij <= max(dik,djk) 超距離不等式が成り立つ これを加えると「超計量な距離」の公理 別称:ウルトラメトリック これを満たさないものを 非計量的な距離 とよぶ
距離の測り方 絶対距離、チェビシェフ、ユークリッド、平均ユークリッド、ミンコフスキー 類似度の測り方 相関係数、余弦係数 質的データは距離は考えられない。 対応分析の数量化得点を使って無理やり数値にしてから扱う場合は時々ある
あ