Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
はじめてのパターン認識読書会 #11 部分空間法
Search
KOMIYA Atsushi
February 04, 2014
Technology
1
990
はじめてのパターン認識読書会 #11 部分空間法
KOMIYA Atsushi
February 04, 2014
Tweet
Share
More Decks by KOMIYA Atsushi
See All by KOMIYA Atsushi
#JJUG Java における乱数生成器とのつき合い方
komiya_atsushi
5
5.2k
#JJUG Fork/Join フレームワークを効率的に正しく使いたい
komiya_atsushi
0
470
[#JSUG] SmartNews における container friendly な Spring Boot アプリケーション開発
komiya_atsushi
1
11k
Java のデータ圧縮ライブラリを極める #jjug_ccc #ccc_c7
komiya_atsushi
4
4.8k
#devsumi 自然言語処理・機械学習によるファクトチェック業務の支援
komiya_atsushi
1
4.4k
SmartNews Ads における機械学習の活用とその運用 #mlops
komiya_atsushi
3
19k
GBDT によるクリック率予測を高速化したい #オレシカナイト vol.4
komiya_atsushi
5
1.3k
Maven central repository の artifact をランキングする #渋谷java
komiya_atsushi
0
1.3k
確率的データ構造を Java で扱いたい! #JJUG
komiya_atsushi
6
2.2k
Other Decks in Technology
See All in Technology
ディスプレイ広告(Yahoo!広告・LINE広告)におけるバックエンド開発
lycorptech_jp
PRO
0
510
DeepSeekとは?何がいいの? - Databricksと学ぶDeepSeek! 〜これからのLLMに備えよ!〜
taka_aki
1
170
OCI Success Journey OCIの何が評価されてる?疑問に答える事例セミナー(2025年2月実施)
oracle4engineer
PRO
2
180
入門 PEAK Threat Hunting @SECCON
odorusatoshi
0
170
【詳説】コンテンツ配信 システムの複数機能 基盤への拡張
hatena
0
280
AI Agent時代なのでAWSのLLMs.txtが欲しい!
watany
3
350
AWSではじめる Web APIテスト実践ガイド / A practical guide to testing Web APIs on AWS
yokawasa
8
760
AIエージェント開発のノウハウと課題
pharma_x_tech
8
4.4k
日経のデータベース事業とElasticsearch
hinatades
PRO
0
260
ウォンテッドリーのデータパイプラインを支える ETL のための analytics, rds-exporter / analytics, rds-exporter for ETL to support Wantedly's data pipeline
unblee
0
140
LINE NEWSにおけるバックエンド開発
lycorptech_jp
PRO
0
330
Amazon Aurora のバージョンアップ手法について
smt7174
2
180
Featured
See All Featured
How GitHub (no longer) Works
holman
314
140k
The Art of Programming - Codeland 2020
erikaheidi
53
13k
Why You Should Never Use an ORM
jnunemaker
PRO
55
9.2k
Bash Introduction
62gerente
611
210k
The Invisible Side of Design
smashingmag
299
50k
The Cult of Friendly URLs
andyhume
78
6.2k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
30
4.6k
RailsConf 2023
tenderlove
29
1k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Build The Right Thing And Hit Your Dates
maggiecrowley
34
2.5k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
9.3k
Large-scale JavaScript Application Architecture
addyosmani
511
110k
Transcript
はじめての パターン認識 読書会 #11 Chap.9 部分空間法 KOMIYA Atsushi (@komiya_atsushi )
2014.2.4 http://connpass.com/event/4978/
by Allert Aalders http://www.flickr.com/photos/50553647@N00/424644321/ 今日は 「9.1 部分空間」 「9.2 主成分分析」 の発表です
2
数式の解説は 難しいので 諦めました すみません>< 3
by ume-y http://www.flickr.com/photos/29989965@N00/2881945138/ 部分空間 の定義的なもの 4
部分空間をざっくり説明すると… • 次元ベクトル空間 の部分空間とは、 上にある 個 ( ≤ ) の
1 次独立な ベクトル 1 , 2 , … , を1次結合するこ とで表現されるベクトルすべての集合で ある 5
部分空間をざっくり説明すると… • 次元ベクトル空間 の部分空間とは、 上にある 個 ( ≤ ) の
1 次独立な ベクトル 1 , 2 , … , を1次結合するこ とで表現されるベクトルすべての集合で ある 6
部分空間:もう少しわかりやすく •3 次元のベクトル空間 で考えてみよう • 1 次従属じゃない、すなわち 1 次独立 な
3 個以下の ベクトルを用意します • 1 = 3,1,0 , 2 = (0,2,1) • 1 = 2 を満たすような実数 はないよね? → 一次独立 • 1 , 2 のベクトルを 1 次結合して得られるすべてのベク トルを考える • = 1 1 + 2 2 • 1 , 2 は実数とする • このベクトル が属する集合を の部分空間 という • = 1 1 + 2 2 1 ∈ , 2 ∈ } • は実数の集合を表す 7
部分空間:もう少しわかりやすく •3 次元のベクトル空間 で考えてみよう • 1 次従属じゃない、すなわち 1 次独立 な
3 個以下の ベクトルを用意します • 1 = 3,1,0 , 2 = (0,2,1) • 1 = 2 を満たすような実数 はないよね? → 一次独立 • 1 , 2 のベクトルを 1 次結合して得られるすべてのベク トルを考える • = 1 1 + 2 2 • 1 , 2 は実数とする • このベクトル が属する集合を の部分空間 という • = 1 1 + 2 2 1 ∈ , 2 ∈ } • は実数の集合を表す 8
部分空間:もう少しわかりやすく •3 次元のベクトル空間 で考えてみよう • 1 次従属じゃない、すなわち 1 次独立 な
3 個以下の ベクトルを用意します • 1 = 3,1,0 , 2 = (0,2,1) • 1 = 2 を満たすような実数 はないよね? → 一次独立 • 1 , 2 のベクトルを 1 次結合して得られるすべてのベク トルを考える • = 1 1 + 2 2 • 1 , 2 は実数とする • このベクトル が属する集合を の部分空間 という • = 1 1 + 2 2 1 ∈ , 2 ∈ } • は実数の集合を表す 9
部分空間:さらにわかりやすく(?) 2 次元平面で考えてみよう! 10
部分空間:さらにわかりやすく(?) = 1,2 2 次元平面で考えてみよう! 11
部分空間:さらにわかりやすく(?) = 1,2 2 次元平面で考えてみよう! このベクトルで 表現できる 部分空間は…? 12
部分空間:さらにわかりやすく(?) = 1,2 = = 1,2 2 次元平面で考えてみよう! このベクトルで 表現できる
部分空間は…? 13
部分空間:乱暴に言うと… • 上のベクトルを幾つか( の次元数以 下に抑えつつ)選び、その選んだベクト ルだけで他のベクトルを表現しようぜ、 みたいな? 14
部分空間:乱暴に言うと… • 上のベクトルを幾つか( の次元数以 下に抑えつつ)選び、その選んだベクト ルだけで他のベクトルを表現しようぜ、 みたいな? 15
部分空間 と直行している部分空間 ⊥ 16
部分空間 と直行している部分空間 ⊥ W に直行してい る部分空間 ⊥ 17
部分空間 と直行している部分空間 ⊥ W に直行してい る部分空間 ⊥ 18
部分空間 と直行している部分空間 ⊥ W に直行してい る部分空間 ⊥ 19
部分空間 と直行している部分空間 ⊥ W に直行してい る部分空間 ⊥ ⊥ 20
部分空間 と直行している部分空間 ⊥ W に直行してい る部分空間 ⊥ ⊥ = +
⊥ 21
グラム-シュミットの正規直交化 •すみません割愛します・・・ 22
by Digital Archaeology http://www.flickr.com/photos/54899285@N06/8392517937/ 主成分分析 23
たぶん今日のメイントピック •どんなものなのか? •どのように使うのか? •どのように求めるのか? 24
主成分分析:どんなものなのか? •「学習データの分散が最大になる方向へ の線形変換を求める手法である」 •「データの無相関化と同じこと」 25
主成分分析:どんなものなのか? •「学習データの分散が最大になる方向へ の線形変換を求める手法である」 •「データの無相関化と同じこと」 26
主成分分析:どのように使うのか? •※勝手な想像が多分に入り混じってます •分析対象のデータの概要・傾向を知るため • 次元数 – 1 個の総合指標を算出するイメージ • 単変量解析
→ 2 変量解析の後ぐらいに実施? •たくさんある説明変数 (=高次元) を削減 するため • 説明変数そのものを削減するのではない • さして影響を与えない(寄与率の低い)総合 指標を削る •むしろ皆様の使い方をお聞かせ下さい… 27
主成分分析:どのように使うのか? •※勝手な想像が多分に入り混じってます •分析対象のデータの概要・傾向を知るため • 次元数 – 1 個の総合指標を算出するイメージ • 単変量解析
→ 2 変量解析の後ぐらいに実施? •たくさんある説明変数 (=高次元) を削減 するため • 説明変数そのものを削減するのではない • さして影響を与えない(寄与率の低い)総合 指標を削る •むしろ皆様の使い方をお聞かせ下さい… 28
主成分分析:どのように使うのか? •※勝手な想像が多分に入り混じってます •分析対象のデータの概要・傾向を知るため • 次元数 – 1 個の総合指標を算出するイメージ • 単変量解析
→ 2 変量解析の後ぐらいに実施? •たくさんある説明変数 (=高次元) を削減 するため • 説明変数そのものを削減するのではない • さして影響を与えない(寄与率の低い)総合 指標を削る •むしろ皆様の使い方をお聞かせ下さい… 29
主成分分析:より具体的な使い方 •http://markezine.jp/article/detail/16870 30
主成分分析:どのように求めるのか? •共共分散行列を求める •分散行列の固有値問題を解く •d 個の固有値と固有ベクトルが得られる •固有ベクトルを使い、主成分を計算する •固有値を使い、寄与率を計算する 31
共分散行列 •学習データ = 1 , … , •学習データの行列 = 1
, … , •各成分の平均を表すベクトル = 1 , … , •平均を減じた学習データの行列 = 1 − , … , − •共分散行列 = Var = 1 32
固有値問題 •固有値問題 = λ (1 ≤ ≤ ) を解く •しかしなぜ固有値問題?
•平均を減じた学習データ − に対し て、係数ベクトル を使って線形変換 したベクトル を得る = 1 , … , = •線形変換後のデータの分散 = = = 33
固有値問題(続き) •「ラグランジュの未定乗数法」という よくわからない黒魔術を使って さらに式変形する = − λ( − 1) •
で微分する ∂ = 2 − λ = λ 34
固有値問題(続き) •「ラグランジュの未定乗数法」という よくわからない黒魔術を使って さらに式変形する = − λ( − 1) •
で微分する ∂ = 2 − λ = λ 35
主成分/寄与率 •めでたく固有値/固有ベクトルがもとまっ た体で話を進めます… •第 主成分 •最大の固有値から順に λ1 , … ,
λ 、対応する固 有ベクトルを 1 , … , としたときに の固 有ベクトルで線形変換することで求められる •寄与率 •第 主成分の寄与率は = λ =1 λ 36
主成分/寄与率 •第 1 主成分 •データを最もよく説明してくれる総合指標 • 分散が最も大きい • 分散は λ1
が対応している •続いて第 2 主成分、第 3 主成分… の順に、 データをよく説明する総合指標となる •寄与率 •具体的に、その主成分が全体の何割を説明し てくれるのか、の指標値 37
まとめ •部分空間 •元のベクトル空間上のいくつかのベクトル を利用して、線形結合により部分空間を表 現する •主成分分析 •データがよくバラつく(分散が大きくな る)方向に線形変換する •データの特性を確認したり、次元を削減し たり…
38
自己紹介 39
KOMIYA Atsushi @komiya_atsushi 40
分析力をコアとする マーケティングソリューションカンパニー エンジニアやってます 41
42 by vandys http://www.flickr.com/photos/41028635@N00/245922527/ ありがとう ございました