MSN Users Clustering - Speaker Deck

MSN Users Clustering

Embed

Start on current slide

Slide 1

Slide 1 text

MSN Users Clustering 日落 2009.05.18

Slide 2

Slide 2 text

Introduction  What is MSN for ?

Slide 3

Slide 3 text

Introduction 程式設計美食阿宅嘴炮

Slide 4

Slide 4 text

Introduction  讀取對話記錄  中文斷詞  清除無用資料  K-mean

Slide 5

Slide 5 text

中文斷詞  雞哥是蘿莉控  雞哥 / 是 / 蘿莉 / 控

Slide 6

Slide 6 text

中文斷詞  中研院中文斷詞系統 (CKIP)  Yahoo 斷章取義

Slide 7

Slide 7 text

清除無用資料關鍵字：  自拍  洗澡痴漢：哈囉正妹：哈囉痴漢：你喜歡自拍嗎？正妹：掰掰 ...... 去洗澡

Slide 8

Slide 8 text

清除無用資料  全形、半形符號  大小寫英文  注音  代名詞：你、我、他  結構助詞：的、地、得  關連詞：因為、所以、然後、結果  嘆詞：嗨、啊、喔、嗚、科科 ....... etc

Slide 9

Slide 9 text

清除無用資料我們晚上去 85℃ 喝咖啡去喝咖啡

Slide 10

Slide 10 text

清除無用資料歐趴糖

Slide 11

Slide 11 text

K-mean  計算距離  取得重心  分群

Slide 12

Slide 12 text

K-mean - Text Retrievaling  我讀逢甲大學  我是逢甲大學學生  我是大學生相似度高相似度低

Slide 13

Slide 13 text

K-mean - Text Retrievaling  我讀逢甲大學  我是逢甲大學學生  我是大學生逢甲 / 大學大學

Slide 14

Slide 14 text

K-mean - Text Retrievaling  相似度重複次數集合中詞彙總數

Slide 15

Slide 15 text

 我讀逢甲大學  我是逢甲大學學生  我是大學生 K-mean - Text Retrievaling 2 7 = 29% 1 7 = 14%

Slide 16

Slide 16 text

K-mean - Text Retrievaling  資料間的距離 = 1 - 相似度

Slide 17

Slide 17 text

K-mean - Text Retrievaling  U1 = { 1, 2, 3, 4 } U2 = { 1, 2, 3 } U3 = { 1, , 5, 6 } U1 U2 U3 U1 U2 U3 0 0.25 0.83 0 0.80 0

Slide 18

Slide 18 text

K-mean - Text Retrievaling  優點  容易計算  缺點  陣列大小 = N x N

Slide 19

Slide 19 text

K-mean - Clustering  K ：分群數量  K = 1, 2, 3 .... ?

Slide 20

Slide 20 text

K-mean - Clustering  K = 2 ？ ① ②

Slide 21

Slide 21 text

K-mean - Clustering 工具可分很多種

Slide 22

Slide 22 text

K-mean - Clustering  停止條件  重心多次沒有改變  重心計算超過 m 次  群集小於 n