MSN Users Clustering

Transcript

1. MSN Users Clustering 日落 2009.05.18
2. Introduction  What is MSN for ?
3. Introduction 程式設計 美食 阿宅 嘴炮
4. Introduction  讀取對話記錄  中文斷詞  清除無用資料  K-mean
5. 中文斷詞  雞哥是蘿莉控  雞哥 / 是 / 蘿莉 / 控
6. 中文斷詞  中研院中文斷詞系統 (CKIP)  Yahoo 斷章取義
7. 清除無用資料 關鍵字：  自拍  洗澡 痴漢：哈囉 正妹：哈囉 痴漢：你喜歡自拍嗎？ 正妹：掰掰 ...... 去洗澡
8. 清除無用資料  全形、半形符號  大小寫英文  注音  代名詞：你、我、他  結構助詞：的、地、得  關連詞：因為、所以、然後、結果  嘆詞：嗨、啊、喔、嗚、科科 ....... etc
9. 清除無用資料 我們晚上去 85℃ 喝咖啡 去喝咖啡
10. 清除無用資料 歐趴糖
11. K-mean  計算距離  取得重心  分群
12. K-mean - Text Retrievaling  我讀逢甲大學  我是逢甲大學學生  我是大學生 相似度高 相似度低
13. K-mean - Text Retrievaling  我讀逢甲大學  我是逢甲大學學生  我是大學生 逢甲 / 大學 大學
14. K-mean - Text Retrievaling  相似度 重複次數 集合中詞彙總數
15.  我讀逢甲大學  我是逢甲大學學生  我是大學生 K-mean - Text Retrievaling 2 7 = 29% 1 7 = 14%
16. K-mean - Text Retrievaling  資料間的距離 = 1 - 相似度
17. K-mean - Text Retrievaling  U1 = { 1, 2, 3, 4 } U2 = { 1, 2, 3 } U3 = { 1, , 5, 6 } U1 U2 U3 U1 U2 U3 0 0.25 0.83 0 0.80 0
18. K-mean - Text Retrievaling  優點  容易計算  缺點  陣列大小 = N x N
19. K-mean - Clustering  K ：分群數量  K = 1, 2, 3 .... ?
20. K-mean - Clustering  K = 2 ？ ① ②
21. K-mean - Clustering 工具可分很多種
22. K-mean - Clustering  停止條件  重心多次沒有改變  重心計算超過 m 次  群集小於 n
23. Live Demo
24. CKIP has CRASHED
25. Q & A