対応分析研究会 第６回報告スライド

『対応分析の理論と実践』オーム社刊2020、の第10章、11方の報告

Transcript

1. 対応分析研究会 第6回 ３つの特徴的な事例（第10章） と慣性の分解（第11章） 2021年5⽉22⽇ ver1.6 5/23 津⽥塾⼤学 数学・計算機科学研究所 藤本⼀男 kazuo.fujimoto2007@gmail.com
2. 本⽇の構成 • 第10章の事例3の解説 • あわせて、RでCAを⾏うステップ • 第11章の慣性の分解 • 第9章のsmokeデータの理解 2021/5/22 対応分析研究会 第６回 2
3. 第7章 最適化尺度 法 第6章 次元を縮減 する 第5章 Χ2距離をプ ロットする 第4章 Χ2距離と慣 性 第1章 散布図と マップ 第2章 プロファイ ルとプロファイル 空間 第3章 質量と重⼼ ２つの量変数の関係を⾒る → 散布図 カテゴリカル変数をどう扱うか 距離！ CAの基本概念：プロファイル それが位置するプロファイル 空間。三⾓座標でみていく。 プロファイル：周辺度数→質量 頂点とプロファイル、 平均プロファイル（期待値プロ ファイル）、重⼼ 距離： Χ2距離 慣性： Χ2値/n（プロファイル値で 表現） 最⼤慣性：頂点に⼀致 最⼩慣性：原点（重⼼）に⼀致 Χ2距離をユークリッド距離 に変換し図⽰する。 分布の同等性（分布的に等価） ここまで3次元。これからより 多数の次元を扱う。 低次元下位空間を同定する（回帰 との⽐較） SVD：特異値分解 近似：表⽰の質 第10章 さらに３つ の事例 DS5：科学研究者の評価 DS6：海底試料中海洋種 DS7：著者ごとの⽂字種 慣性の分解 ⾮対称マップ/対称マップ 慣性の⼤きさによる表⽰ の特徴 第9章 2次元表⽰ 主軸のネスティング プロファイルと頂点 ⾮対称マップ/対称マップ 第8章 ⾏分析と列 分析の対称性 頂点位置とプロファイル スケーリング係数 主座標と標準座標 正準相関：最⼤化 整数尺度（likert） 解釈の基準 プロファイル空間の幾何学（1） プロファイル空間の幾何学（2） 2021/5/22 対応分析研究会 第６回 3 DS1 DS2 DS3 DS4
4. DS5：科学研究者の評価 第10章 ３つの典型 事例 2021/5/22 DS5：科学研究者の評価 DS6：海底試料中海洋種 DS7：著者ごとの⽂字種 慣性の分解 ⾮対称マップ/対称マップ 慣性の⼤きさによる表⽰ の特徴 第11章 慣性の分解 第12章 サプリメン タリ・ポイント 第13章 対応分析バ イプロット 第14章 推移と回帰 の関係 第15章 ⾏と列のク ラスタリング 第16章 多重表 第17章 積み重ね表 第18章 多重対応分 析 第19章 同時対応分 析 第20章MCAのス ケーリング特性 第21章 サブセット 対応分析 DS5：科学研究者の評価 DS5：科学研究者の評価 DS5：科学研究者の評価 DS5：科学研究者の評価 DS8：⾷品店における 年齢分布 DS3：健康⾃⼰評価 組み合わせコーディング DS9：働く⼥性に対する 態度 DS9：働く⼥性に対する 態度 DS9：働く⼥性に対する 態度 第21章 サブセット 対応分析 第21章 サブセット 対応分析 第21章 サブセット 対応分析 第21章 サブセット 対応分析 〜 30章まで 対応分析研究会 第６回 4
5. 第10章 ３つの典型事例 2021/5/22 対応分析研究会 第６回 5
6. 3つの事例の概要 • データセット5 科学研究者の評価（10 x 5） • プロファイル・ポイントの分散は⼩さい（原点近くに密集） • ⾮対称マップと対称マップ • 次元解釈の⼿順 • データセット6 海底資料中の海洋種の存在量(92 x 13) • 海洋⽣物学における典型的なデータセット • データセット7 6⼈の著者ごとの書籍にみる⽂字種の度数（12x 26） 2021/5/22 対応分析研究会 第６回 6
7. ⼿順 • データを⽤意する • この事例はExcelファイル • データセット：http://www.carme-n.org/ • 読み込む • PCにダウンロード • クロス表に対する基礎的分析はしておく。 • χ2検定、⾏分析、列分析（mosaic plot） • CAに投げる • res.CA <- CA(データ) • resultを評価する • スクリープロット（慣性の分解度合い） • ⾮対称マップ、対称マップで概要確認 • 空間（⾮対称マップの標準座標の⽅の軸）へのプロファイルポイントの寄与を確認。→ 軸の性格付 け • （このあと、サプリメタリ処理をして再度CAとか続く） 2021/5/22 対応分析研究会 第６回 7
8. CA処理前後の処理 CA（対応分析） CAを⾏う前処理 CAのresultの評価 分析の本体 2021/5/22 対応分析研究会 第６回 8 mosaic plot factoextra explor etc.. このLoopをいかに効率よくまわすか。 tidyverse。
9. グラフ化 • reslutを描画する • 探索過程でのグラフ化 • 最終出⼒としてのグラフ化 • オプション • 対称マップ • ⾮対称マップ • インターラクティブ・グラフ • explor • グラフのポイントへの修飾 • ⽮印表⽰ • ポイント間を線分でつなぐ（形状、⾊、太さ） 2021/5/22 対応分析研究会 第６回 9
10. 事例１ データセット５科学研究者評価 • 研究費の配分が⽬的 • ５つのカテゴリー：A〜E • 796⼈ • 10の専⾨分野 • Data set 5: funding.xls (74 KB) Evaluation of scientific researchers (chapter 10) 2021/5/22 対応分析研究会 第６回 10
11. funding.xls ダウンロードしたこのxlsファイルをRに取り込むスクリプトは、chap10.Rmd、chap10.htmlを参照 2021/5/22 対応分析研究会 第６回 11
12. CA投⼊まえグラフ（mosaic plot） 2021/5/22 対応分析研究会 第６回 12
13. CA実⾏！（この例はFactoMineR::CA） CAが出⼒したres.CAは、 内部が区分されている。 その区分にアクセスする ⽅法の⼀つが、＄でその 項⽬を指定すること。 例）$eigを選ぶと固有値 つまり、慣性が⼿に⼊る 2021/5/22 対応分析研究会 第６回 13
14. スクリープロット:慣性の分解（１） 2021/5/22 対応分析研究会 第６回 14
15. 2021/5/22 対応分析研究会 第６回 15
16. 2021/5/22 対応分析研究会 第６回 16
17. 事例2 データセット6 • 海底試料中の海洋種の存在量 • 92種 x 13地点 2021/5/22 対応分析研究会 第６回 17
18. 2021/5/22 対応分析研究会 第６回 18
19. 2021/5/22 対応分析研究会 第６回 19
20. 2021/5/22 対応分析研究会 第６回 20
21. 2021/5/22 対応分析研究会 第６回 21
22. 2021/5/22 対応分析研究会 第６回 22
23. 2021/5/22 対応分析研究会 第６回 23
24. 事例3 データセット7 • ６⼈の著者ごとの書籍にみる⽂字種の度数 • 12書籍 x 26⽂字 2021/5/22 対応分析研究会 第６回 24
25. 2021/5/22 対応分析研究会 第６回 25
26. 2021/5/22 対応分析研究会 第６回 26
27. 2021/5/22 対応分析研究会 第６回 27
28. 第11章 慣性への寄与 「慣性は、個々の主軸に沿って⾏および列の成分に分解することができる。 これらの慣性部分の分析は、分散分析に似ており、対応分析（CA）の解釈 を⽀える重要な役割を果たす」 参照されるのは、第10章の事例１のデータセット 2021/5/22 対応分析研究会 第６回 28
29. 慣性の分解 n⾏m列 の多次元 空間 min(n, m)-1 次元空間に再構成 各軸ごと(Dim1〜3…)に慣性が分解される（分解１） 固有値：スクリープロット 各軸が全体の何％を体現しているか 慣性=χ2/N Dim1 Dim2 Dim3 Dim1 Dim2 Dim3 各軸 (Dim1〜3…)の⽣成に各ポイントがどれだけ 寄与しているか（分解３） ポイントごとに各軸への寄与率を合計すると１にな る。 絶対的寄与率（CONTR） Dim1 Dim2 Dim3 ポイントが、各軸でどれだけ表現されているか。 （分解４） ポイントごとに各軸（Dim1〜3…）を合計すると１ になる。 表⽰の「質」相対的寄与率（COS2） 部分空間の表⽰の質は、部分空間を形成する軸ごと の相対的寄与率の合計。 2021/5/22 対応分析研究会 第６回 29 各プロファイルが体現している慣性（分解2−1） 各セルが体現している慣性（分解2−2） prof3 prof4 prof5 prof1 cell1.1 cell1,2 cell1.2 prof2 cell2.1 cell2.2 cell2.3 : : Exhibit11.1 Exhibit11.2 Exhibit11.3 Exhibit11.4 Exhibit11.5 Exhibit11.6 Exhibit11.8
30. データセット5 funding.xls ダウンロードしたこのxlsファイルをRに取り込むスクリプトは、chap10.Rmd、chap10.htmlを参照 2021/5/22 対応分析研究会 第６回 30
31. CA投⼊前にグラフ（mosaic plot）で確認 2021/5/22 対応分析研究会 第６回 31
32. 2021/5/22 対応分析研究会 第６回 32 第２軸までで慣性の83.9%が体現されている ポイントの慣性 軸への寄与 軸からの寄与 χ2値とp値 これは、FactoMineR::CAの result（summary） 個別の値は、リストへのアクセス で取得可能。
33. スクリープロット:慣性の分解（分解１） 2021/5/22 対応分析研究会 第６回 33
34. 各ポイントの慣性（分解2−1） 2021/5/22 対応分析研究会 第６回 34
35. 2021/5/22 対応分析研究会 第６回 35 分解2−2
36. Exhibit 11.2 セルのcontribution 2021/5/22 対応分析研究会 第６回 36
37. 2021/5/22 対応分析研究会 第６回 37 分解2−2
38. ⼆つの寄与率 （分解３、４） • 絶対的寄与（分解３） • 座標軸へのプロファイル・ポイントの寄与 • 軸の解釈の根拠 • 相対的寄与（分解４） • 各軸がプロファイル・ポイントをどれだけ表現しているか • 注⽬している軸でそのポイントの何％が表現されているか。 • ポイントと軸の相関係数 • 1−2軸（部分空間）でのポイントの表現の「質」 • １軸、２軸での相対的寄与（cos2θ）の和 2021/5/22 対応分析研究会 第６回 38
39. 2021/5/22 対応分析研究会 第６回 39
40. ⾏プロファイル、列プロファイルが、各軸の⽣成にどれだけ寄与しているか、を表すのが contribution（寄与率）。 Dim i の列和が100（％）になっている 2021/5/22 対応分析研究会 第６回 40
41. 2021/5/22 対応分析研究会 第６回 41
42. 2021/5/22 対応分析研究会 第６回 42
43. 0.055 + 0.861 + 0.072 = 1.000 2021/5/22 対応分析研究会 第６回 43 分解４
44. 2021/5/22 対応分析研究会 第６回 44 横⽅向に分割 本当は転置して 縦⽅向に分割 したい..（⼿抜き） 合計1000
45. 2021/5/22 対応分析研究会 第６回 45 横⽅向に分割 本当は転置して 縦⽅向に分割 したい..（⼿抜き） 合計1000
46. Dim 1とDim2のcos2 を加算して、Quality となる。 2021/5/22 対応分析研究会 第６回 46
47. p87−88の「因⼦分析による類推」 • ごめんなさい、因⼦分析を使ってないので、よくわからず、で す。 • 詳しい⽅、コメントいただけると助かります！ 2021/5/22 対応分析研究会 第６回 47
48. 第９章のデータセット4再考 smokeを⾒てみましょう！ 2021/5/22 対応分析研究会 第６回 48
49. データセット4:: smoke • 職員群の喫煙習慣 2021/5/22 対応分析研究会 第６回 49
50. 2021/5/22 対応分析研究会 第６回 50
51. smokeの⾮対称マップ 2021/5/22 対応分析研究会 第６回 51
52. 慣性の分解（１） 2021/5/22 対応分析研究会 第６回 52
53. 慣性の分解（２） 2021/5/22 対応分析研究会 第６回 53
54. 2021/5/22 対応分析研究会 第６回 54
55. 2021/5/22 対応分析研究会 第６回 55 列⽅向に分割されているように転置して表⽰
56. 2021/5/22 対応分析研究会 第６回 56
57. 次回、第７回は • 第12章、サプリメンタリ・ポイント、第13章対応分析バイプ ロットをやらせていただきます。 2021/5/22 対応分析研究会 第６回 57