資料視覺化工作坊

資料視覺化工作坊游騰林 | TENG-LIN YU 2022-11-24

游騰林 TENG-LIN YU | Mail: [email protected] NCCU - 資料視覺化工作坊游騰林
國泰世華銀行 | 數據部 | 資料科學分析師 Facebook: https://www.facebook.com/tlyu0419 SD: https://speakerdeck.com/tlyu0419 Github: https://github.com/TLYu0419/ 2

游騰林 TENG-LIN YU | Mail: [email protected] NCCU - 資料視覺化工作坊 3
Join at Slido.com #3828330

游騰林 TENG-LIN YU | Mail: [email protected] NCCU - 資料視覺化工作坊為什麼要把
資料視覺化? 4

Ref: Same Stats, Different Graphs 相同的均值、標準差以及相關係數(?

Ref: 可支配所得平均連8年慘輸！大學64.37萬vs.專科66.64萬大學真的不如專科嗎? 而到底該不該繼續唸研究所?

待遇在4萬以上的比例 Ref: 產業、應用與待遇 - Python 在勞動市場中的職缺分析有人知道這張圖塞了幾個維度的資訊嗎?

Ref: 小米笔记本被疯狂吐槽，这可能恰恰是雷军想要的效果_百科TA说視覺化能幫忙提升行銷的效果?*

Ref: The $100 Trillion Global Economy, by Country 將各國的 GPD 以面積的方式視覺化幫觀眾快速了解各洲/各國的狀況

Ref: 與Bourdieu相約巷仔口咖啡店：台灣人的階級品味如何？通過對應分析將類別資料的交叉表降維找出不同社會階層的文化品味差異社會學的觀點認為每個人背後都有一個看不見的階級，而不同階級的人會有明顯的生活品味差異

Ref: 誰識KOL? 2020台灣總統大選在 Facebook 上的社群網絡分析(II) 帶職參選博士論文庶民總統國家認同政績評論香港民主小英加油韓的負面議題藍綠都一樣韓國瑜蔡英文宋楚瑜網路聲量高的候選人就會當選嗎?

Ref: 行動寬頻用戶數排名！最受歡迎的電信是？簡單的長條圖也可以很 Fancy~

Ref: https://www.bbc.com/news/world-latin-america-63451470 2022巴西總統大選（亞馬遜雨林保育派勝出了一點）波索納鼓勵亞馬遜雨林的開發，威脅要讓巴西退出世界衛生組織和巴黎氣候協定魯拉保護亞馬遜雨林、對抗飢餓、貧窮

用表格數據一樣可以呈現地圖樣貌，但在閱讀和理解上遠遠比不上直接畫出來來得直接

Ref: 用python分析《三国演义》中的社交网络

1. 客戶沒有耐心找他需要的服務 2. 自助服務無法解決客戶問題

到底是什麼原因讓員工選擇離職?

預測離職預測不離職實際離職實際不離職

美國眾議院議長裴洛西訪台公司治理俄烏戰爭費城半導體指數美國晶片法案日月光投控楠梓產業園區節能減碳富邦特選高股息汽電共生美國升息道瓊工業指數後疫情時代日召開法說會新冠肺炎疫情大陸封歷史次高桃園市長參選人國安基金護盤消費者物價指數新竹市立棒球場次現金增資美晶片法案中國封城波洛西訪台央行升息台灣出口國泰永續高股息都市更新大陸封城美中關係防疫保單理賠資產管理公司中國半導體產業股盈餘達業外獲利台日關係抗病毒藥物上海封城消費者信心指數桃園國際機場美國制裁台出口天然砂創辦人暨執行長離岸風場開發俄烏衝突圍台軍演日召開法說氫燃料電池中國封城影響國艦國造台美關係台北晶華酒店次高紀錄最高行政法院第四次台海危機兩岸關係緊張年營收可望達季創新高外送平台最新民調次台海危機全明星運動會疫情指揮中心確診新冠肺炎防疫險理賠金額感染新冠肺炎疫情封城邊境管制年獲利創營收可望逐兒童新樂園最新出爐獲利表現亮眼矽晶圓長約總統教育獎得主首季獲利年累計稅後中國侵台世界盃少棒錦標賽印太戰略中美對抗令人意外壽險公會理事長染疫後眾議院議長訪台蘋果頭戴裝置公會改選美國就業數據半導體進入庫存邊境開放治療新冠肺炎中國軍演影響遠傳網路門市資費最低南韓半導體產業次世代疫苗美國能源投資離岸風電國產化美中台敏感神經全球首座台灣大學新聞中央流行疫情指揮繞台軍演中國經濟成長美元兌日圓新型冠狀病毒核酸中國記憶體晶片製造商烏俄戰爭上海封城佩洛西訪台晶片法案疫情理賠中美對抗桃園市長選舉中美對抗

Ref:咖啡基因印尼曼特寧意式拼配濃縮深烘焙埃塞俄比亞耶加雪菲

游騰林 TENG-LIN YU | Mail: [email protected] NCCU - 資料視覺化工作坊所以為什麼需要需要視覺化?
22

游騰林 TENG-LIN YU | Mail: [email protected] NCCU - 資料視覺化工作坊怎麼通過
Python 畫圖? 24

Ref: From data to Viz | Find the graphic you need

游騰林 TENG-LIN YU | Mail: [email protected] NCCU - 資料視覺化工作坊文本資料視覺化實作
26

游騰林 TENG-LIN YU | Mail: [email protected] NCCU - 資料視覺化工作坊資料介紹
27 • 黑特東華分析專頁 • 15K likes • 16K followers • 11,000+ posts • 黑特東華 NDHU Hate | Facebook • 來自各方的黑特文 • 教、職、員、工、生、店家 • 可以將黑特文視為客訴，天生就適合用來找出學校的問題在實際的工作中，一項重大客訴的處理成本要高達 3,000 元

資料收集方式 • Github: TLYu0419/facebook_crawler • Publish Date: 2021-06-14 • Stars: 205 / Forks: 43 簡單高效免登入

資料內容總共 11,468 則貼文，資料時間範圍: 2014 ~ 欄位說明: • NAME: 粉絲專頁名稱 • POSTID: 貼文ID • TIME: 貼文時間 • MESSAGE: 貼文內容 • REACTIONCOUNT: 總互動數(LIKE, HAHA,WOW…) • COMENTCOUNT: 留言數 • SHARECOUNT: 分享數 • LIKE, HAHA, WOW, SAD, LOVE, CARE: 各種情緒的數量

LIKE Comment LOVE SAD SHARE WOW HAHA CARE

游騰林 TENG-LIN YU | Mail: [email protected] NCCU - 資料視覺化工作坊要怎麼跟學校說學校有哪些問題?
33

文字雲(不分類) • 將黑特東華上的所有貼文做斷詞後，根據出現次數設定為詞的大小，藉此繪製出的文字雲如果未預先對文本進行分群/分類，繪製出的文字雲將沒有任何意義! (也看不出個所以然)

游騰林 TENG-LIN YU | Mail: [email protected] NCCU - 資料視覺化工作坊文本轉向量
35 [-1.27, -3.76, … , 0.05, -0.57] [深夜在校園遇到…] [ 0.08, -1.25, … , -5.52 , 0.13] [這是一個真實的…] [ 0.57, 0.17, … , -0.63, 0.03] [就在今天我在…] [ 0.21, 0.91, … , -0.14 ,0.22] [……] 語言模型 11,468 則貼文文本特徵 [-1.27, -3.76, … , 0.05, -0.57] [ 0.08, -1.25, … , -5.52 , 0.13] [ 0.57, 0.17, … , -0.63, 0.03] [ 0.21, 0.91, … , -0.14 ,0.22]

游騰林 TENG-LIN YU | Mail: [email protected] NCCU - 資料視覺化工作坊透過文本向量進行分群
36 此處以 2 維空間示意 (在這個分析案中用了 512 維) 分群流程說明 1. 透過轉換後的文本向量進行分群 1. 想像不同的文本是不同的人，X 和 Y 軸分別代表身高和體重 2. 我們可以將人依據身材分成不同的群 2. 跑分群模型，測試不同分群數時的效度 3. 解析分群的結果與意義問題的關鍵在於轉換出的文本向量好不好理論上語義相近的文本的距離要接近，反之較遠

游騰林 TENG-LIN YU | Mail: [email protected] NCCU - 資料視覺化工作坊所以具體要怎麼將文本轉向量?
37

游騰林 TENG-LIN YU | Mail: [email protected] NCCU - 資料視覺化工作坊早期的方式(2013)
: 詞向量模型 • 以詞的共現關係來訓練模型 • Cbow • Skip-gram • 取得詞向量 • 經過模型訓練後，可以將每個詞轉換為 K 維的數值 • 後續應用 • 以詞向量取代詞本身進行分析 38 Ref: 通俗易懂理解——Skip-gram和CBOW算法原理通常會將 K 值設定在100 - 400維具體會再根據文本數量、複雜度調整詞向量的訓練方式 – window size = 1

游騰林 TENG-LIN YU | Mail: [email protected] NCCU - 資料視覺化工作坊早期的方式(2013):
詞向量模型 – 範例 • 這是 word2vec 模型通過黑特東華 11,000 則貼文後，學習到的詞向量 • 取得各個詞之後我們就能計算不同詞之間的距離，並通過距離還衡量兩兩間的相似度 • 詞向量的結果會跟主觀經驗有一些落差，因為模型能學習的資料僅限於這些貼文 • 然而即使是人，在評估不同詞之間的相似度其實也會存在落差 39

游騰林 TENG-LIN YU | Mail: [email protected] NCCU - 資料視覺化工作坊近期的方式(2020):
🤗 Transformers • Hugging Face (github.com) • Hugging Face 官宣 1亿美元C轮融资，估值20亿美元 40 Ref: Transformers: State-of-the-Art Natural Language Processing

游騰林 TENG-LIN YU | Mail: [email protected] NCCU - 資料視覺化工作坊 Sentence-Transformer
使用方式 1. 安裝套件 2. 載入模型 3. 將文本轉向量 41 Ref: Sentence-Transformer的使用及fine-tune教程 Sentences 即是我們抓取的貼文，將其放入 Sentence-Transformer 的模型抽取文本的向量

游騰林 TENG-LIN YU | Mail: [email protected] NCCU - 資料視覺化工作坊抽取文本向量
42 以簡化的 2 維空間示意經過 Sentence-Transformer 將貼文都轉成向量後面就能再接分群模型對文本做分群 [-1.27, -3.76, … , 0.05, -0.57] [ 0.08, -1.25, … , -5.52 , 0.13] [ 0.57, 0.17, … , -0.63, 0.03] [ 0.21, 0.91, … , -0.14 ,0.22]

游騰林 TENG-LIN YU | Mail: [email protected] NCCU - 資料視覺化工作坊分群模型
• Kmeans 分群演算法 1. 決定要將資料分為 k 群 2. 隨機初始化 k 個點在資料空間的位置 3. 計算每個樣本最靠近哪個ｋ點 4. 計算群中心，並更新 k 的點的位置 5. 反覆做 3 – 4 的步驟直到收斂 43 Kmeans 分群迭代過程但是問題的關鍵在於 k 值如何決定?

游騰林 TENG-LIN YU | Mail: [email protected] NCCU - 資料視覺化工作坊分群模型
– 如何決定分群組數 • 如何決定合適的分群組數 • By 統計指標 • Elbow • Silhouette • Gap statistic • By 領域知識 • 分群組數沒有絕對的對或錯 • 顆粒度粗: 模型可能會說有一群貼文都在討論學生宿舍的議題 • 顆粒度細: 模型可能會再將宿舍議題拆分成宿舍的環境的問題、宿舍的安寧等等的問題 44 Ref: 2.3. Clustering — scikit-learn 1.1.2 documentation 分群的顆粒度太粗會看不出東西，分的太細也會增加後續分析的工作量，喪失分群的目的 Elbow point

游騰林 TENG-LIN YU | Mail: [email protected] NCCU - 資料視覺化工作坊整體流程回顧
• 步驟1: 斷詞 • 新增 SEG_MESSAGE 欄位 • 步驟2:找出代表關鍵詞 • 新增 TFIDF_KWS 欄位 • 步驟3: 抽取文本向量 • 新增 DOC_VECTORS • 步驟4: 分群模型 • 新增 CLUSTER 欄位 45

游騰林 TENG-LIN YU | Mail: [email protected] NCCU - 資料視覺化工作坊各分群貼文數的長條圖
• 在這次的分析中我共分了 40 群，X軸是不同的分群結果，Y軸為數量 • 如下圖的觀察，有些議題的貼文數較多，有些議題則較少 46

游騰林 TENG-LIN YU | Mail: [email protected] NCCU - 資料視覺化工作坊分群與時間的熱力圖
47

游騰林 TENG-LIN YU | Mail: [email protected] NCCU - 資料視覺化工作坊黑特議題
48 交通安全 1,383 則貼文宿舍環境 983 則貼文感情問題 451 則我先挑出幾個數量較多的議題做討論，後面還有其他許多類型但數量相對較少的貼文

游騰林 TENG-LIN YU | Mail: [email protected] NCCU - 資料視覺化工作坊東華大學的組成成員
49 學校一/二級主管 1 2 2 3 學生家長店家/房東其實還有畢業校友 / 地方居民…等等不同角色稍後要請大家切換到不同身份來想事情 • 校長 / 學務長 / 教務長 / 學院院長 • 各系所主管/教授 • 各系所學 / 碩 / 博士班學生 • 學生家長 • 校內外餐飲店家 • 校外房東

游騰林 TENG-LIN YU | Mail: [email protected] NCCU - 資料視覺化工作坊交通安全
• 交通安全的子議題 • 停車擦撞/賠償 • 違規/違停 • 麵包坡 • 車禍 • 背後的關係人與關心的事情 • 學校&家長: 降低事故、校園安全 • 學生: 交通便利性 50 Cluster Num: 19, 30, 37, 16, 21

游騰林 TENG-LIN YU | Mail: [email protected] NCCU - 資料視覺化工作坊宿舍環境
51 • 宿舍安全的子議題 • 吵鬧: 深夜玩遊戲/講電話 • 公德心: 泡麵倒在飲水機/冰箱清理 • 洗衣服: 衣服被誤/偷拿 • 垃圾分類 • 背後的關係人與關心的事情 • 學校: 希望學生能和諧相處 • 學生: 有人想玩遊戲，有人想要正常作息 Cluster Num: 3, 9, 22, 28

游騰林 TENG-LIN YU | Mail: [email protected] NCCU - 資料視覺化工作坊感情問題
52 • 感情問題的子議題 • 吵架 • 分手: 分手衍生受傷/抹黑攻擊 • 劈腿 • 背後的關係人與關心的事情 • 家長 • 學生 Cluster Num: 27, 29

游騰林 TENG-LIN YU | Mail: [email protected] NCCU - 資料視覺化工作坊分群總覽(1/2)
53 分群0 分群1 分群2 分群3 分群4 分群5 分群6 分群7 分群8 分群9 分群10 分群11 分群12 分群13 分群14 分群15 分群16 分群17 分群18 分群19

游騰林 TENG-LIN YU | Mail: [email protected] NCCU - 資料視覺化工作坊分群總覽(2/2)
54 分群20 分群21 分群22 分群23 分群24 分群25 分群26 分群27 分群28 分群29 分群30 分群31 分群32 分群33 分群34 分群35 分群36 分群37 分群38 分群39

游騰林 TENG-LIN YU | Mail: [email protected] NCCU - 資料視覺化工作坊 QA?
55

資料視覺化工作坊

資料視覺化工作坊

More Decks by tlyu0419

Other Decks in Technology

Featured

Transcript