Upgrade to Pro — share decks privately, control downloads, hide ads and more …

應用機器學習與深度學習方法在網路傷害性新聞與惡意評論偵測辨識上之研究.pdf

 應用機器學習與深度學習方法在網路傷害性新聞與惡意評論偵測辨識上之研究.pdf

D82180999c1d0153e03471ec4ead6a11?s=128

Yi-Zhen, Chen

July 14, 2021
Tweet

Transcript

  1. 應用機器學習與深度學習方法在網路 傷害性新聞與惡意評論偵測辨識上之研究 報 告 者 : 陳怡蓁 中 原 大

    學 資 訊 管 理 學 系 碩 士 學 位 論 文 複 審 報 告 The Research on the Detection and Identification of Harmful News and Toxic Comments on the Internet by Applying Machine Learning and Deep Learning Approaches
  2. 目 錄 第一章 緒 論 第二章 文獻探討 1-1 研究背景 1-2

    研究動機 1-3 研究問題與目的 2-1 傷害性新聞 2-2 惡意評論 2-3 自然語言處理技術 2-4 人工智慧於傷害性新聞與惡意評論的相關研究
  3. 第三章 研究方法與設計 目 錄 3-1 研究架構 3-2 選擇資料集 3-3 資料前處理

    3-4 資料平衡與切分資料集 3-5 機器學習分類模型 3-6 深度學習分類模型 3-7 模型評估與討論
  4. 第四章 實驗結果與分析 目 錄 第五章 結 論 5-1 研究結論 5-2

    研究貢獻 5-3 實務貢獻 5-4 未來展望 4-1 實驗1-9成果 4-2 探討不同預測方法成效 4-3 實驗總結
  5. 第一章 緒 論

  6. 6 1-1 研究背景  根據「各國遭受外國政府假消息攻擊程度」進行之調查 » 凸顯了民主國家容易遇到操弄言論自由的手段 臺灣從2013年開始就成為受外國假消息攻擊最嚴重的國家。 (V-Dem Institute,

    2020) 假消息的氾濫與沉淪已然成為現今社會混亂的主要根源 社群媒體的過度使用導致網路惡意行為層出不窮 » 發送惡意評論是最常見的網路惡意行為 » 惡意評論將迫使目標對象或接收者承受負面影響,是本研究所著重討論的重點。  網路用戶傷害、攻擊某個對象或特定群體。Ex. 使用種族歧視言論引起民族仇恨。
  7. 7 在社群媒體平台中,假消息最常見形式為假新聞或虛假言論。  歐洲委員會以新的概念框架將假消息定義成資訊亂象(Information disorder) 不實資訊與惡意資訊皆具傷害意圖的內容, 也統稱作傷害性新聞(Harmful News), 將造成閱聽者負面影響與傷害其心理健康。 (Derakhshan

    & Wardle, 2017) 假新聞 → 資訊亂象 → 傷害性新聞 » 依據資訊內容是否屬實和是否造成傷害 將資訊亂象分為三個類型 傷害性新聞的內容將是本研究著重討論的重點。 1-1 研究背景
  8. 8 網路 假消息 網路 新聞 社群 評論 不實資訊 (虛假/具傷害) 惡意資訊

    (真實/具傷害) 傷害性 新聞 惡意 評論 常見形式 資訊亂象框架中 含傷害性的兩個類型 本研究著重討論的重點 1-1 研究背景 其他 形式
  9. 9 1-2 研究動機 傷害性新聞與惡意評論息息相關 機器學習與深度學習的應用都有部分研究成果產出 尚未有研究將兩者進行共同的分析與比較討論。 » 本研究欲針對兩者的共同點進行延伸研究,想比較各種預測方法 在傷害性新聞與惡意評論上的不同,以及探討兩者在特徵上的差異。 過去研究多將傷害性新聞與惡意評論看做不同的分類任務

    傷害性新聞與負面報導可能使閱聽者延伸出激烈討論, 增加發布惡意評論的動機,甚至造成網路霸凌。 機器學習與深度學習方法,能實現自動化偵測, 近年來的網路新聞或社群評論相關研究上,取得不錯表現。 » 本研究試著藉由人工智慧技術來探討傷害性新聞與惡意評論的內容。
  10. 10 1-3 研究問題與目的 在機器學習與深度學習方法中, 建立一個能有效偵測網路傷害性新聞與惡意評論之辨識模型。 目的一 模型在訓練過程之中,所學習到的特徵內容究竟為何? 利用預測結果來探討傷害性新聞與惡意評論之間的特徵差異。 探討網路傷害性新聞與惡意評論於不同預測方法的成效, 兩者有較為適合應用的分類任務或情況嗎?

    目的二 目的三 進而協助揭露發佈者的惡意動機,避免進一步的消息傳播。 使用機器學習方法取得兩者的相關特徵集合與關鍵字內容。 機器學習與深度學習方法,皆可使用在傷害性新聞與惡意評論分析辨識之中, 但不同的預測模型架構所獲得的效果為何,是否會有不同結果產生?
  11. 第二章 文獻探討

  12. 12  不實資訊(Dis-information):指故意分享虛假資訊,並造成接收者身心靈傷害。 例如:錯誤語競、冒名頂替內容、操控內容、捏造內容  惡意資訊(Mal-information):指分享真實資訊,卻造成接收者或目標對象傷害。 例如:洩漏、騷擾、仇恨言論 假消息可根據「資訊虛假的程度」和「造成傷害與否」分成3類,其中: 2-1 傷害性新聞

    根據歐洲委員會的資訊亂象報告 從假新聞的定義中,針對新聞情緒所造成的影響,找出類似傷害性新聞的特質 » 因為媒體自身立場與偏見,來針對特定目標對象進行攻擊或傷害所撰寫的新聞文章, 可以被定義在傷害性新聞的範疇內。  假新聞的特徵包括含有誤導標題或帶偏見的新聞內容。(“Fake News,” 2021)  媒體偏見導致報導偏頗,起到攻擊特定人物或帶動輿論方向作用。(“Journalism Ethics and Standards,” 2021)
  13. 13 媒介傷害指在使用傳播媒介的過程,因受眾接收到傳播内容中的負面資訊, 從而導致接收者情感上的不適與痛苦,造成其心理與精神層面上的損失或名譽受損。 有學者將媒體利用報導來對受眾造成負面傷害的現象,囊括至媒介傷害的概念裡。 (杨光跃, 2013) » 新聞媒體或發布者為試圖挑起閱聽者的負面情緒,或想針對特定對象進行攻擊與傷 害,因而所撰寫出帶有攻擊、負面資訊的文章內容。 聚焦本研究的傷害性新聞定義:

    2-1 傷害性新聞
  14. 14 2-2 惡意評論  泛指粗魯、無禮或不予尊重的言論,通常會有針對的目標對象或團體。(Risch & Krestel, 2020)  歸類於網路仇恨(Online

    Hate)的言論形式,定義為基於偏見、敵對動機的惡意評論。(Cohen‐Almagor, 2011) 評論類型 惡意評論定義 仇恨言論與 身分仇恨 身份仇恨會針對由宗教、性取向、種族、性別或其他群體, 進行整個群體的攻擊或仇視形式,此類型言論也泛指一般常見的仇恨言論。 淫穢言語與褻瀆 此類型言論主要是考量是否有髒話或辱罵的用語存在。 侮辱 涉及到目標對象個人或群體的粗魯、無禮或冒犯性言論。 威脅 威脅目標對象的人身或生命安全。 其他仇恨言論 有些惡意評論需要在特定情境下才會成立。 例如:在特定主題的討論區刻意擾亂,或發送無意義卻會擾亂觀感的言論。 (Risch & Krestel, 2020) 學者Krestel將惡意評論分成多種類型來進行定義描述
  15. 15 2-2 惡意評論 惡意評論可依據內容被概括成各種標籤與類型  以分類問題來看,將惡意評論作為多標籤分類問題較能有效反映現實世界。  本研究旨在辨識出具有攻擊與傷害意圖的惡意言論內容, 因此不特定指定某些類型的惡意評論,而是概括所有的惡意評論(即視為二分類問題)。 惡意(Toxic)

    仇恨言論(Investigation of hate) 人身攻擊(Personal attacks) 在線騷擾(Online harassment) 辱罵性語言(Abusive language) 可恨(Hatefulness) 侮辱(Insults) 挑釁(Provocation) 性別歧視(Sexism) 威脅(Threats) 網路霸凌(Cyberbullying) 攻擊性(Aggression) 身分仇恨(Identity Hate) 惡意評論所含的情感特徵或特殊用語可初步評斷該言論是否具有惡意與傷害性。
  16. 16 2-3 自然語言處理技術 (NLP) 目的:探討機器如何處理及運用自然語言內容。 情感分析(Sentiment Analysis) 目的:針對文字內容進行情緒極性分類,判斷屬於正向(Positive)還是負向(Negative)。  關鍵字匹配方法:利用匹配情感詞典中的情緒單詞,來判斷字詞的情感極性。

     統計方法:使用監督式學習分類,如機器學習、深度學習方法,將情感分析作為分類問題來進行處理。  概念級方法:利用大型語料庫與知識庫為概念,試著檢測出隱含或細微表達的情感特徵。  情感分析技術也被廣泛應用於惡意文本的檢測上。 (Ali et al., 2018; Tubishat et al., 2018)
  17. 17 2-3 自然語言處理技術 (NLP) 詞向量(Word Vector) 將單詞嵌入至向量空間,使語意相似的單詞都分佈在相近位置,也稱作詞嵌入(Word Embeddings)。  Word2vec模型

    1. 連續詞袋模型(CBOW) 利用上下文單詞來預測出中心單詞。 » 有研究表明,詞向量技術對檢測惡意評論有良好的效果。(Sahlgren et al., 2018)  BERT模型(Bidirectional Encoder Representations from Transformers) ► 基於Transformer的雙向編碼器表示技術,可以動態調整詞向量, 使語言模型可以進行雙向的上下文整合,能解決詞義消歧,也學習句子間的關係。 2. Skip-gram模型 透過中心單詞來預測兩側的上下文單詞。
  18. 18 2-3 自然語言處理技術 (NLP) BERT架構的建置主要分成兩階段 1. 預訓練階段:基於雙向Transformer的深度語言模型上,使用資料進行預訓練。 1) MLM模型 隨機遮掩掉句子中的部分單詞,以訓練語言模型去預測這些單詞。

    2) NSP模型 使用二分類模型來訓練理解句子之間關係,進行「是否為上下連續句子」的預測。 2. 微調階段:針對目標任務的需求去微調模型,即可作為該任務的語言模型。  BERT主要可處理四類任務: (1) 句子對分類 (2) 單一句子分類 (3) 問答句子預測 (4) 序列標註問題  BERT被廣泛應用於自然語言處理領域上,相關研究呈暴風式成長。
  19. 19 2-4 人工智慧於傷害性新聞與惡意評論的相關研究 ► 機器學習方法(Machine Learning Methods) » 以特徵學習為主,良好的特徵擷取將可以提升新聞檢測的準確性。 »

    特徵擷取是建立良好文本分類模型中最為關鍵的步驟。(Fehn Unsvåg & Gambäck, 2018) » 通常會藉由取得情感特徵提升辨識準確性,因為惡意評論多含有負面文字資訊。 傷害性新聞辨識研究 傷害性新聞研究甚少,利用新聞類型偵測的相關研究,來學習有助於傷害性新聞的辨識方法。 新聞文章通常具有情感內容 ,許多研究開始加入自然語言處理、情感分析等技術。 (Padmaja et al., 2013; Strapparava & Mihalcea, 2010) 惡意評論辨識研究  早期採用的人為標註技術耗費大量時間與成本,還存在標註人員的主觀意識認定問題。  人工智慧技術讓此類任務可進行自動化檢測,因此使用機器與深度學習方法的相關研究也越來越多。 ► 深度學習方法(Deep Learning Methods) » 藉由分析龐大數據集,觀察資料的分層特徵,進一步學習來達成分類任務。(Goodfellow et al., 2016)
  20. 第三章 研究方法與設計

  21. 21 3-1 研究架構  本研究將分作六個階段進行: 1. 使用資料集 2. 資料前處理 3.

    資料平衡與切分資料集 4. 建立機器學習分類模型 5. 建立深度學習分類模型 6. 探討不同方法成效
  22. 22 3-2 使用資料集 惡意評論資料集(KaggleTC)  Kaggle上惡意評論分類競賽(Toxic Comments Classification Challenge)所提供的資料集, 已含有標籤的評論資料共計159,571筆

     將評論標註為無惡意或其他6種惡意評論分類,各標籤以獨立欄位存在。 傷害性新聞資料集(HNC)  取自於2020年龔芸青發表的傷害性新聞研究中所創建之傷害性新聞資料集。 目前共計含有11,030筆新聞文章資料。  將新聞文章分類成傷害意圖與否,可作為本研究所建模型的分類依據。  含有的情感類別標註內容(情感極性分數、八種情緒類別)可作為機器學習模型的特徵值。
  23. 23 3-2 使用資料集 傷害性文本資料集(HNC&KaggleTC)  建立傷害性文本泛化預測模型所需使用的訓練集與測試集。  結合了傷害性新聞與惡意評論,兩種不同的文本結構內容。  資料來源:相同資料數量的傷害性新聞與惡意評論資料集內容(其標籤比1:1)

    Harmful 資料 non-Harmful 資料 傷害性新聞資料集 惡意評論資料集 Harmful 資料 non-Harmful 資料 傷害性文本資料集 4,223筆 4,223筆 4,223筆 4,223筆 共13,512筆 合併 抽取 相同數量 抽取 相同數量
  24. 24 3-3 資料前處理 資料清理 建構二分類標籤  將使用NLTK套件進行斷詞、過濾標點符號、表情符號、超連結標籤、停用詞,完成資料清理。  使用SymSpell套件進行拼寫檢查(Spell Check),還原拼錯的單詞。

     依定義整理資料集的標籤值, 並歸類成本研究對應的傷害與非傷害二分類標籤。  主要針對使用的惡意評論資料集進行標籤歸類。  傷害性新聞資料集原先即含傷害性二分類的標籤, 所以不需要建構二分類標籤。 原資料集標籤 對應標籤 惡意(Toxic) 1 (傷害性) 嚴重惡意(Severe_Toxic) 淫穢(Obscene) 威脅(Threat) 侮辱(Insult) 身分仇恨(Identity_Hate) 非惡意(Non-Toxic) 0 (非傷害性)
  25. 25 3-3 資料前處理 特徵擷取  本研究將針對清理後的資料集內容蒐集多種類別的特徵,將用於機器學習分類模型所輸入的特徵。  文本相關特徵種類參考學者Salminen和鄭廉恩在網路仇恨與網路霸凌偵測研究中 對於文本內容所取得的特徵種類 。(Salminen

    et al., 2020; 鄭廉恩, 2018)  情感特徵的取得參考學者龔芸青於傷害性新聞研究中情感類別標註內容(情感極性分數、八種情緒 類別)所取得的方式。(龔芸青, 2020)  共取得五種特徵類別 1. 基礎特徵 2. 情感特徵 3. 詞向量與段落向量特徵 4. BERT特徵 5. 詞袋特徵
  26. 26 特徵欄位名稱 特徵欄位說明定義 資料型態 txt_len 文本長度,即文本總字數。 整數 cap_n 文本中的全英大寫字詞出現次數。 整數

    cap_mean 文本中大寫字詞出現次數除以文本長度。 浮點數 num_n 文本中出現數字的數量。 整數 num_mean 文本中出現數字的數量除以文本長度。 浮點數 sen_n 文本中的句子總數。 整數 3-4 特徵處理 基礎特徵類別 使用文本分類任務中最為基礎的特徵
  27. 27  情感極性分數(ave_sentiment) ► 使用R語言套件sentimentr 取得每筆文本內容中的平均情感分數。 ► 情感分數的數值範圍介於 -1 至

    1 之間 數值趨近於-1顯示該文本平均屬於負面情感,數值趨近於1則顯示該文本平均屬於正面情感。 3-4 特徵處理 參考傷害性新聞資料集的情感特徵取得方法,為惡意評論資料集加入情感特徵。 情感特徵類別 » 使用R語言tidytext套件,進行以下八種情緒類別標記: » 將計算文本中較為顯著的情緒標籤,以0 或 1來代表無或有此類情緒。  8種情緒標籤 憤怒(anger)、期待(anticipation)、厭惡(disgust)、恐懼(fear) 喜悦(joy)、悲傷(sadness)、驚訝(surprise)、信任(trust)
  28. 28  段落向量(Doc2vec) 為詞向量的延伸技術,可以將它理解成代表一個句子的向量表示。 將每個句子映射到向量空間,讓相似語義的句子會落在相似向量空間位置。  詞向量(Word2vec) 解決傳統文本特徵無法顯示單詞的位置資訊,以及上下文的重要性。 3-4 特徵處理

    詞向量與段落向量特徵類別 » 本研究使用gensim套件來進行詞向量與段落向量的特徵取得。 特徵欄位名稱 特徵欄位說明定義 資料型態 w2c_1至w2c_50 單詞的向量表示法,共取得50個。 浮點數 d2c_1至d2c_50 段落的向量表示法,共取得50個。 浮點數
  29. 29 BERT利用注意力機制來處理輸入和輸出之間的依賴性。 消除了對先前單詞的依賴性,因此有效提升模型效能,從而提升長期建模依賴性。 » 本研究使用BERT BASE 預訓練模型來進行生成BERT向量特徵, 此架構由768個隱藏單元所組成,因此每筆文本內容的向量特徵維度皆為768。 3-4 特徵處理

    BERT特徵 (基於分布的向量特徵) 特徵欄位名稱 特徵欄位說明定義 資料型態 bert_1至bert_768 BERT的向量表示法,輸出長度為768。 浮點數 » 本研究使用Simple Transformers套件來進行BERT特徵取得。
  30. 30  詞袋 (Bag of words,BOW) 將文本內容視為若干個詞彙的集合,計算詞彙表中這個單詞的出現次數。 向量表示即為每個單詞在文本中出現的頻率次數。 3-4 特徵處理

    詞袋相關特徵 (基於計數的向量特徵)  TF-IDF TF(詞頻) = 某單詞在文章中的出現次數 文章總詞彙量 IDF 逆向檔案頻率 = log( 語料庫中的檔案總數 包含某單詞的檔案數目 + 1 ) 通過相對頻率來對單詞出現次數進行加權, 即 詞頻 與 逆向檔案頻率的結合。 特徵名稱 特徵說明定義 資料型態 BOW 向量維度由語料庫所含詞彙量決定。 整數 TF-IDF 向量維度由語料庫所含詞彙量決定。 浮點數
  31. 31 3-4 資料平衡與切分資料集 傷害性(Harmful) 非傷害性(non-Harmful) 總計 比例 HNC 4,223 6,807

    11,030 1:1.6 Kaggle TC 9,865 149,706 159,571 1:15  傷害性新聞資料集與惡意評論資料集,皆存在不同程度的資料不平衡  資料不平衡有可能導致模型的召回率(Recall score)表現低落。 資料不平衡  使用兩種資料平衡方法 1. 隨機抽樣平衡(隨機抽樣多數樣本,使其與少數樣本平衡) 2. SMOTE平衡(利用少數樣本生成新樣本,使其與多數樣本平衡) ※ 本研究中少數樣本為傷害性(Harmful)樣本;多數樣本為非傷害性(non-Harmful)樣本
  32. 32 切分資料集 訓練集筆數 (傷害性/非傷害性) 測試集筆數 (傷害性/非傷害性) 傷害性新聞資料集 (原始未平衡) HNC (3,378/5,962)

    共9,340筆 (845/845) 共1,690筆 (隨機抽樣平衡) HNC (3,378/3,378) 共6,756筆 (SMOTE平衡) HNC (5,962/5,962) 共11,924筆 惡意評論資料集 (原始未平衡) KaggleTC (7,892/147,733) 共155,625 筆 (1,973/1,973) 共3,946筆 (隨機抽樣平衡) KaggleTC (7,892/7,892) 共15,784筆 (SMOTE平衡) KaggleTC (147,733/147,733) 共 295,466筆 傷害性文本資料集 (隨機抽樣平衡) HNC&KaggleTC (6,756/6,756) 共13,512筆 (1,690/1,690) 共3,380筆 (SMOTE平衡) HNC&KaggleTC (11,924/11,924) 共23,848筆 測試集:將維持資料標籤比例為1:1,抽取數量為原始資料集中傷害性樣本總數的20%。 3-4 資料平衡與切分資料集
  33. 33 3-5 機器學習分類模型 機器學習模型  探討傷害性新聞與惡意評論於機器學習方法上的預測成效。  訓練前需進行人工特徵擷取,再輸入不同特徵類別至分類器進行模型訓練。

  34. 34 3-5 機器學習分類模型 實驗列表 實驗編號 實驗名稱 實驗目的 實驗1 不同特徵類別的分類器建模 1.

    觀察不同類別特徵的預測效果 2. 找出較佳的特徵組合與分類器模型 實驗2 資料平衡方法比較 比較各資料平衡方法的預測成效 實驗3 特徵選擇前後比較 確定各訓練集較佳的特徵集合內容 實驗4 重要特徵集合分析 分析與探討各分類模型的重要特徵集合內容 實驗5 預測其他資料集表現 各分類模型預測其他測試集的成效 實驗6 詞袋特徵分類模型 探討詞袋特徵分類模型的預測成效 實驗7 取得關鍵字列表 討論與觀察各資料集於傷害性樣本的關鍵字內容
  35. 35 類別編號 特徵內容說明 單一特徵類別 A 只使用基礎類別特徵,共計6項特徵。 B 只使用情緒類別特徵,共計9項特徵。 C 只使用詞向量與段落向量特徵,共計100項特徵。

    D 只使用BERT向量特徵,共計768項特徵。 組合特徵類別 E 使用A、B兩種類別的特徵集合,共計15項特徵。 F 使用A、B、C三種類別的特徵集合,共計115項特徵。 G 使用A、B、C、D所有類別的特徵集合,共計883項特徵。 特徵類別編號 分類器模型 1. 邏輯回歸(LR) 3. XGBoost 2. 支援向量機(SVM) 4. 多層感知器(MLP)
  36. 36  搭配K折交叉驗證方法(K-fold Cross-Validation) 在訓練過程中抽換不同份驗證資料集,以提升驗證資料集對模型訓練好壞的評估效果。 交叉驗證 特徵選擇  使用特徵遞減消除法(Recursive Feature

    Elimination,RFE) 利用特徵重要性係數,判斷出模型關鍵的特徵屬性,以縮減資料維度與提升模型的訓練效率。 » 本研究使用Scikit-learn套件中RFECV模組來進行特徵選擇並搭配交叉驗證進行新的模型訓練。  針對本研究(正樣本:傷害性樣本;負樣本:非傷害性樣本) 特徵重要性係數>1 的特徵屬性為傷害性樣本之重要特徵 特徵重要性係數<1 的特徵屬性為非傷害性樣本之重要特徵 ※ 特徵重要性係數明顯高於其他特徵的特徵屬性可視為關鍵特徵。
  37. 37  混淆矩陣(Confusion Matrix) 實際為傷害 實際為非傷害 預測 為傷害 TP 真陽性

    (True Positive) FP 偽陽性 (False Negative) 預測 為非傷害 FN 偽陰性 (False Negative) TN 真陰性 (Ture Negative)  預測率(Precision score) precision = 𝑇𝑃 𝑇𝑃 + 𝐹𝑃  召回率(Recall score) recall = 𝑇𝑃 𝑇𝑃 + 𝐹𝑁  F1-Score 𝐹1 𝑆𝑐𝑜𝑟𝑒 = 2 ∗ 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 ∗ 𝑟𝑒𝑐𝑎𝑙𝑙 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 + 𝑟𝑒𝑐𝑎𝑙𝑙 𝑎𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = 𝑇𝑃 + 𝑇𝑁 𝑇𝑃 + 𝐹𝑃 + 𝐹𝑁 + 𝑇𝑁  準確率(Accuracy) 評估指標
  38. 38 關鍵字列表(BOW) 加權關鍵字列表(TF-IDF) 文檔1 文檔2 文檔N 傷害性樣本 … 傷害性樣本 全歸類成一個文檔

    非傷害性樣本 全歸類成一個文檔 整個語料庫 只有兩個文檔 單詞 文檔1 文檔2 … 文檔N 總計 ‘Harmful word’ 3 2 … 1 6 單詞 傷害性文檔 非傷害性文檔 ‘Harmful word’ 0.479 0.000  利用BOW特徵彙整每個單詞總出現頻率  以出現次數高至低進行排序, 可得傷害性樣本最常出現的單詞。  缺點:僅以出現頻率加總計算, 無法體現單詞是否只高頻率出現於傷害性樣本中。  TF-IDF值與單詞於文檔出現次數成正比, 但與單詞於整個語料庫出現次數成反比。  傷害性文檔占比超過70%的單詞進行排序, 以TF-IDF值高至低進行排序,可得加權關鍵字。  加權關鍵字能體現單詞是否只出現於傷害性文檔。
  39. 39  探討傷害性新聞與惡意新聞於深度學習架構上的預測成效。  不需人工特徵擷取,直接利用清理過後的文本內容進行模型訓練。 深度學習模型 3-6 深度學習分類模型

  40. 40 實驗列表 實驗編號 實驗名稱 實驗目的 實驗8 BERT 預訓練模型建構 找出三種訓練集各自較佳的預訓練模型與門檻值組合 實驗9

    預測不同資料集 預測其他測試集的預測成效 3-6 深度學習分類模型
  41. 41 使用預訓練模型架構 模型名稱 模型層數 隱藏單元 注意力機制數 參數量 BERT BASE-CASED 12-layer

    768-hidden 12-heads 109M parameters BERT BASE-UNCASED 12-layer 768-hidden 12-heads 110M parameters BERT LARGE-UNCASED 24-layer 1024-hidden 16-heads 340M parameters BERT LARGE-CASED 24-layer 1024-hidden 16-heads 340M parameters 門檻值 ※ CASED表示區分英文大小寫,UNCASED表示不區分英文大小寫  預設門檻值(0.5) 預設下模型所預測出的概率,會依照門檻值進行類別歸類,超過0.5即將此樣本歸類至正樣本(傷害性樣本)。  最佳門檻值 利用繪製ROC曲線找出真陽性率最高與偽陽性率最低點來決策出適合此模型的門檻值。
  42. 42  利用特徵選擇探討較具鑑別度的特徵屬性 探討特徵差異  BOW 與 TF-IDF 提取兩種關鍵字列表 »

    讓本研究可針對兩者的傷害性內容中,各具有何種較有鑑別度的特徵 或關鍵字來進行討論。 利用實驗1、6、8不同方法所建構的分類模型進行比較, 並藉由實驗2、3提升分類模型的預測效果,以及在實驗5、9中測試模型於不同結構內容的預測效果。 3-7 模型評估與討論  統一使用混淆矩陣相關指標來評估預測模型成效 探討不同預測方法成效 利用實驗4、7探討傷害性新聞與惡意評論之間的特徵差異
  43. 第四章 實驗設計與結果

  44. 44 實驗一:不同特徵類別的分類器建模 資料集 特徵類別 分類器 準確率 預測率 召回率 F1 傷害性新聞

    資料集 編號F (基礎+情緒+詞) LR 0.68 0.70 0.63 0.66 惡意評論 資料集 編號G (基礎+情緒+詞+BERT) SVM 0.89 0.88 0.89 0.89 傷害性文本 資料集 編號G (基礎+情緒+詞+BERT) SVM 0.77 0.79 0.74 0.76  顯示各資料集中較佳的特徵類別與搭配分類器模型 小結 1. 使用情緒特徵與BERT特徵類別(編號B、D) 皆能夠提升惡意評論、傷害性文本分類模型的分類效果, 但使用詞向量與段落向量(編號C)特徵時效果卻低落。 2. 使用向量類別(詞向量與段落向量、BERT)皆能夠提升傷害性新聞的分類效果。
  45. 45 實驗二:資料平衡方法比較 資料平衡方式 準確率 預測率 召回率 F1 傷害性新聞 資料集 原始未平衡

    0.65 0.76 0.43 0.55 隨機抽樣平衡 0.68 0.70 0.63 0.66 SMOTE平衡 0.67 0.68 0.62 0.65 惡意評論 資料集 原始未平衡 0.79 0.98 0.59 0.74 隨機抽樣平衡 0.89 0.89 0.89 0.89 SMOTE平衡 0.89 0.91 0.87 0.89 傷害性文本 資料集 隨機抽樣平衡 0.77 0.79 0.74 0.76 SMOTE平衡 0.76 0.79 0.71 0.75  顯示各資料集於不同資料平衡方法中,較佳的特徵類別與搭配分類器模型進行比較 小結 1. 資料平衡方法能提升正確預測傷害性樣本的數量,進而提升整體召回率。 可推斷資料集的平衡狀態確實影響模型效果。 2. 隨機抽樣平方法對於正確辨識樣本(TP與TN)的表現也略優於SMOTE平衡方法, 因此三種資料集皆選用隨機抽樣平衡方法來處理資料不平衡狀況。
  46. 46 實驗三:特徵選擇前後比較 使用特徵選擇與否 準確率 預測率 召回率 F1 傷害性新聞 資料集 原先特徵集合

    (特徵數:115) 0.68 0.70 0.63 0.66 特徵選擇後 (特徵數:93) 0.68 0.70 0.64 0.67 惡意評論 資料集 原先特徵集合 (特徵數:883) 0.89 0.89 0.89 0.89 特徵選擇後 (特徵數:569) 0.89 0.89 0.89 0.89 傷害性文本 資料集 原先特徵集合 (特徵數:883) 0.77 0.79 0.74 0.76 特徵選擇後 (特徵數:569) 0.77 0.79 0.73 0.76 小結 1. 特徵選擇後的模型,除能有效降維外,大多能維持或提升模型效果。 2. 傷害性新聞與惡意評論分類模型,皆提升正確預測傷害性樣本的效果。 3. 傷害性文本分類模型在經過特徵選擇後的效果略降, 因此使用原先從實驗1選出的特徵集合,作為最終使用的特徵集合內容。
  47. 47 實驗四:重要特徵集合分析 小結 1. 三種分類模型大多仰賴向量相關特徵作為傷害性樣本的重要特徵, 並且傷害性樣本沒有較為關鍵的特徵屬性。 2. 在傷害性新聞、惡意評論分類模型中, 情感極性分數扮演著非傷害性樣本的關鍵特徵。 3.

    在傷害性新聞分類模型中,兩類別的重要特徵集合中含少量情感特徵, 推論某些情感特徵對於傷害性新聞的預測具有重要性。 4. 在傷害性新聞、惡意評論分類模型中,傷害性樣本需仰賴較多的特徵數目, 但傷害性文本分類模型中有減少趨勢, 推論混合不同傷害性內容有助於提升對傷害性樣本的預測能力。 5. 在傷害性新聞分類模型中,兩種類別的重要性係數皆不高, 因此預測正確樣本的能力會低於惡意評論、傷害性文本分類模型。
  48. 48 實驗五:預測其他資料集表現 測試集 使用模型 傷害性新聞測試集 惡意評論測試集 傷害性文本測試集 傷害性新聞 分類模型 AC

    PRE REC F1 AC PRE REC F1 AC PRE REC F1 0.68 0.70 0.64 0.67 0.51 0.52 0.32 0.40 0.60 0.63 0.48 0.54 惡意評論 分類模型 AC PRE REC F1 AC PRE REC F1 AC PRE REC F1 0.62 0.67 0.48 0.56 0.89 0.89 0.89 0.89 0.76 0.80 0.68 0.74 傷害性文本 分類模型 AC PRE REC F1 AC PRE REC F1 AC PRE REC F1 0.67 0.69 0.62 0.65 0.87 0.87 0.88 0.87 0.77 0.79 0.74 0.76 小結 1. 長文結構不適合預測於短文結構的內容中。 2. 短文結構不適合預測於長文結構的內容中。 3. 傷害性文本分類模型的表現,與各分類模型自身預測效果有著相近表現。 顯示本研究的傷害性內容泛化預測模型,有著不錯泛化的表現。 *灰色網底為各分類模型於自身測試集的預測效果 *AC : 準確率 ; PRE : 預測率 ; REC : 召回率 ; F1: F1 score
  49. 49 實驗六:詞袋特徵分類模型 資料集 分類器 使用詞袋特徵 準確率 預測率 召回率 F1 傷害性新聞

    資料集 SVM BOW 0.60 0.63 0.50 0.56 TF-IDF 0.65 0.77 0.42 0.55 惡意評論 資料集 SVM BOW 0.92 0.92 0.92 0.92 TF-IDF 0.93 0.94 0.92 0.93 傷害性文本 資料集 LR BOW 0.75 0.75 0.76 0.75 TF-IDF 0.79 0.81 0.75 0.78  顯示各資料集中較佳的分類器模型 小結 1. 使用詞袋特徵來預測傷害性新聞,無法獲得有效的辨識效果。 2. 惡意評論與傷害性文本分類模型,詞袋分類方法上有著不錯預測效果, 可推斷資料集內容中含有傷害性樣本常出現的高頻率關鍵字。
  50. 50 實驗七:取得關鍵字列表 NO 單詞 傷害性樣本 非傷害性樣本 1 twitter 0.078 0.033

    2 com 0.044 0.018 3 pic 0.039 0.014 4 video 0.031 0.010 5 realdonaldtrump 0.028 0.012 6 black 0.023 0.008 7 fake 0.020 0.008 8 tips 0.019 0.008 9 tweet 0.018 0.007 10 woman 0.016 0.006 11 moore 0.013 0.005 12 county 0.013 0.005 13 hate 0.012 0.004  傷害性新聞資料集的加權關鍵字列表 小結 1. 傷害性新聞的兩類別加權詞頻差異不大,所以 傷害性樣本沒有高頻出現的關鍵字, 也因此詞袋特徵對傷害性新聞的預測效果不佳。
  51. 51 實驗七:取得關鍵字列表 NO 單詞 傷害性樣本 非傷害性樣本 1 fuck 0.479 0.002

    2 shit 0.158 0.003 3 fucking 0.155 0.002 4 nigger 0.149 0.000 5 suck 0.147 0.001 6 ass 0.137 0.002 7 faggot 0.095 0.001 8 fat 0.093 0.001 9 bitch 0.087 0.001 10 cunt 0.073 0.001 11 hate 0.072 0.007 12 moron 0.070 0.000 13 die 0.069 0.002 14 sucks 0.067 0.000 15 jew 0.063 0.001  惡意評論資料集的加權關鍵字列表 小結 1. 傷害性新聞的兩類別加權詞頻差異不大,所以 傷害性樣本沒有高頻出現的關鍵字, 也因此詞袋特徵對傷害性新聞的預測效果不佳。 2. 惡意評論分類模型幾乎依據內容是否含粗俗單詞 去判斷,因此在詞袋分類方法上,惡意評論分類 模型的表現優異。
  52. 52 實驗七:取得關鍵字列表 NO 單詞 傷害性樣本 非傷害性樣本 1 fuck 0.089 0.001

    2 twitter 0.072 0.030 3 nigger 0.046 0.000 4 suck 0.043 0.000 5 pic 0.036 0.013 6 fucking 0.036 0.001 7 video 0.029 0.011 8 bitch 0.028 0.000 9 ass 0.027 0.001 10 realdonaldtrump 0.026 0.010 11 faggot 0.026 0.000 12 shit 0.023 0.001 13 black 0.022 0.009 14 cunt 0.021 0.000 15 kill 0.019 0.003  傷害性文本資料集的加權關鍵字列表 小結 1. 傷害性新聞的兩類別加權詞頻差異不大,所以 傷害性樣本沒有高頻出現的關鍵字, 也因此詞袋特徵對傷害性新聞的預測效果不佳。 2. 惡意評論分類模型幾乎依據內容是否含粗俗單詞 去判斷,因此在詞袋分類方法上,惡意評論分類 模型的表現優異。 3. 傷害性關鍵字表似乎存在同一主題的關鍵字, 猜測當新聞主題或內容含有川普的推特消息時, 很有可能是傷害性新聞。 ► 推斷爭議人物於某主題的新聞文章, 遭操弄成傷害性新聞可能性較高。 唐納·川普 推特帳號 推特的 縮網址開頭 推特
  53. 53 實驗八:使用不同BERT預訓練模型的分類結果之比較 預訓練模型 門檻值 準確率 預測率 召回率 F1 傷害性新聞 資料集

    BERTLARGE-CASED 最佳 (0.469) 0.67 0.67 0.67 0.67 惡意評論 資料集 BERTBASE-CASED 預設 (0.5) 0.94 0.92 0.97 0.95 傷害性文本 資料集 BERTBASE-CASED 最佳 (0.446) 0.81 0.81 0.81 0.81 小結 選擇正確預測較多傷害性樣本的模型與門檻值,作為較好的模型組合。 1. 最佳門檻值幾乎能提升模型召回率、F1分數。 2. 區分大小寫的預訓練架構其預測效果較好。  顯示各資料集中較佳的預訓練模型與門檻值
  54. 54 實驗九:預測其他資料集表現 測試集 使用模型 傷害性新聞測試集 惡意評論測試集 傷害性文本測試集 傷害性新聞 分類模型 AC

    PRE REC F1 AC PRE REC F1 AC PRE REC F1 0.67 0.67 0.67 0.67 0.59 0.55 0.99 0.70 0.63 0.59 0.83 0.69 惡意評論 分類模型 AC PRE REC F1 AC PRE REC F1 AC PRE REC F1 0.52 0.89 0.05 0.09 0.94 0.92 0.97 0.95 0.73 0.92 0.51 0.66 傷害性文本 分類模型 AC PRE REC F1 AC PRE REC F1 AC PRE REC F1 0.68 0.69 0.66 0.67 0.94 0.92 0.96 0.94 0.81 0.81 0.81 0.81 *灰色網底為各分類模型於自身測試集的預測效果 *AC : 準確率 ; PRE : 預測率 ; REC : 召回率 ; F1: F1 score 小結 ※ 與實驗五結果相似。 1. 長文結構不適合預測於短文結構的內容中,反之亦然。 2. 傷害性文本分類模型的表現,與各分類模型自身預測效果有著相近表現。 與機器學習方法相比,傷害性內容泛化模型在深度學習方法上有著更好的表現。
  55. 55 探討不同預測方法成效 評估指標 不同方法的模型 準確率 預測率 召回率 F1分數 機器學習分類模型 (使用特徵選擇的編號F與LR分類器)

    0.68 0.70 0.64 0.67 詞袋特徵分類模型 (使用TF-IDF與SVM分類器) 0.65 0.77 0.42 0.55 深度學習分類模型 (使用BERTLARGE-CASED 與最佳門檻值) 0.67 0.67 0.67 0.67 過去傷害性新聞研究 (龔芸青, 2020) 0.663 0.663 0.663 0.663 傷害性新聞分類模型  本研究與過去研究相比並無太大提升,但能以較少硬體成本的機器學習方法達到 與深度學習架構有相近表現,方便日後快速進行模型部署。  使用詞袋特徵所建立的分類模型效果並不好, 而有使用詞向量特徵的機器學習與深度學習方法,則有平均67%表現。 可推斷長文架構的傷害性新聞,需透過詞向量相關特徵,才能提升模型預測能力。
  56. 56 探討不同預測方法成效 評估指標 不同方法的模型 準確率 預測率 召回率 F1分數 機器學習分類模型 (使用特徵選擇的編號G與SVM分類器)

    0.89 0.89 0.89 0.89 詞袋特徵分類模型 (使用TF-IDF與SVM分類器) 0.93 0.94 0.92 0.93 深度學習分類模型 (使用BERTBASE-CASED 與預設門檻值) 0.94 0.92 0.97 0.95 過去惡意評論二分類研究 (Georgakopoulos et al., 2018) 0.912 0.92-0.93 0.91-0.92 約0.91 惡意評論分類模型  惡意評論分類模型在本研究的三種預測方法上有著平穩表現。  與過去研究比較,同樣是使用深度學習分類模型,本研究方法能優於過去研究。  惡意評論不需仰賴向量特徵,即在詞袋特徵分類模型上獲得90%以上的表現。
  57. 57 探討不同預測方法成效 評估指標 不同方法的模型 準確率 預測率 召回率 F1分數 機器學習分類模型 (使用特徵選擇的編號G與SVM分類器)

    0.77 0.79 0.74 0.76 詞袋特徵分類模型 (使用TF-IDF與LR分類器) 0.79 0.81 0.75 0.78 深度學習分類模型 (使用BERTBASE-CASED 與最佳門檻值) 0.81 0.81 0.81 0.81 傷害性文本分類模型  使用深度學習方法建模可以提升模型預測效果,達到81%。  與傷害性新聞分類模型相比,加入惡意評論資料後能幫助提升模型的分類效果。
  58. 58 傷害性新聞 惡意評論 不同類別特徵 預測表現 同  BERT特徵能提升模型預測效果。 異 情緒特徵、詞袋特徵預測效果不高

    情緒特徵、詞袋特徵能提升預測效果 不同資料平衡方法 預測表現 同  資料平衡時模型預測能力有效上升。  隨機抽樣平衡方法獲得更好預測結果。 特徵選擇後的 重要特徵 同  情感極性分數同為非傷害性樣本的關鍵特徵。 異 某些情緒特徵有助於預測傷害性新聞 BERT特徵是傷害性樣本重要特徵內容 觀察傷害性樣本 關鍵字 異 1. 同一主題的關聯單字為傷害性樣本關鍵字,推測 某主題或人物的相關新聞容易出現傷害性新聞。 1. 傷害性樣本出現極高比例粗俗單詞 2. 詞袋特徵分類有著優異效果。
  59. 第五章 結 論

  60. 60 研究結論 建立有效偵測傷害性新聞與惡意評論的辨識模型 探討特徵差異  傷害性文本分類模型,證明加入不同結構內容可提升泛化能力。  惡意評論在使用情緒、詞袋、BERT特徵時能提升分類表現,粗俗單詞明顯為傷害性關鍵字。  傷害性新聞有較多的文字與段落、專用術語,也可能因自身立場或倫理標準而有著不同認定標準。

    辨識仰賴向量相關技術的特徵內容,但也存在少量的情緒特徵為重要特徵。  不同領域的傷害性新聞文章,包含的傷害意圖可能有著不同的認定。 如政治新聞文章中出現較具爭議的政治人物時,文章撰寫者對其進行操弄的機會較大。 不同預測方法成效  傷害性新聞分類模型須在使用詞向量相關特徵的方法上,平均達到67%的預測表現, 但使用詞袋特徵進行分類的成效不彰。  惡意評論分類模型平均獲得90%表現,深度學習方法中預測模型的召回率可達97%。
  61. 61 研究貢獻 未來展望 實務貢獻  傷害性新聞、惡意評論、傷害性文本的分類模型,各別有68%、94%、81%的準確率表現。  探討出各分類模型較倚賴的重要特徵類別,以及觀察加權關鍵字內容。  提出的傷害性文本分類模型,為將來需要防範傷害性內容的社群平台提供實務應用可能。

     三種方法的分類模型,預測效果無太大差別,深度學習方法至多提升5-7%的分類表現。 未來部署模型時,可選擇機器學習方法,即可達到與深度學習架構相近的預測效果。  期盼協助各社群平台,提早揭露新聞或評論發佈者的惡意動機,除了避免傷害性消息傳播外, 也能在進行文章或評論內容瀏覽前,提供內容含有傷害意圖提醒。  推斷不同新聞類型的文章其關鍵傷害性內容可能有所不同。 未來可先針對爭議話題進行預分類。  傷害性新聞文本結構太長,產生許多干擾辨識的特徵。 可試著過濾掉該領域內的停用詞,即較無重點或與特定主題無關的單詞。
  62. 報 告 結 束 感謝聆聽與建議